Strata research · RAG · 2026-10〜11

長く考えても、表は読めない

鉄道会社の旅客営業規則(PDF、98 ページ、料金表や距離表を多く含む)を資料にした RAG で、表の読み取りと回答を、Strata で動かすモデルで確かめました。モデルの「思考の強度」を変えると精度がどう変わるか、そして料金の質問を誤る本当の原因はどこにあるかを調べています。

CPU
Core i7-7800X
RAM
64 GB(11 月 5 日の測り直しは 125 GiB)
GPU
RTX 3060 + RTX 5060 Ti(層を分割)
Strata
0.2.4.2(公式)
Summary

要約と目次

要約

  • 思考時間の長さは、精度と相関しませんでした。表を文字に起こす作業では、一番長く考える設定が、最も悪い結果(誤り 32 か所、2 枚で約 33 分)と最も良い結果の両方を出しました。考えている間、同じ文章を 16 回くり返していた回もあります。
  • 思考は、確信を強めても正しさは保証しませんでした。規則を当てはめる質問で、弱い思考は 3 回とも結論を言い切りましたが、3 回とも条文の読み違いでした。思考なしと最も強い思考は断定しませんでした。この質問は解釈で答えが分かれ、資料だけでは決まらないので、断定しないのがよい答え方です(11 月 4 日の再確認)。
  • どの資料にも使える指示を足しても、精度は変わりませんでした。11 月 4 日に、Strata 0.2.10 で同じ傾向を確かめ、別の資料(家電の取扱説明書)でも試しました。Strata 導入前を含むすべての試験は、一覧にまとめています。
  • 料金表の質問を誤った原因は、モデルではありませんでした。表を検索用の文字に直す段階で「どの列がどの駅か」が失われていました。そこを直すと、思考なしで 18〜45 秒、正しく答えるようになりました(直す前は、思考ありで 9〜21 分かかり、3 回中 1 回は誤答)。
  • 表の読み取りの正確さは、2 つのモデルでほぼ同じでした。差が出たのは、モデル自身が「読めなかった」と申告して読み取りが捨てられたことと、出力の上限が小さすぎたことでした。
  • 回答のモデルを大きなものに替えても、正答は増えませんでした。14 問で、正しく言い切ったのは今のモデルが 13 問、ずっと大きなモデルが 10 問でした。大きなモデルは誤りを言い切りませんでしたが、根拠に質問の言葉がないと結論を濁し、この PC では約 3.6 倍の時間がかかりました。
  • PC を替えるだけで、解釈で分かれる質問の答えが変わりました。11 月 5 日に、RAM を 125 GiB に増やした i7 の PC で同じ試験をし直しました。表の読み取りと事実の 13 問はほぼ同じで、回答は 1〜3 割速くなりました。一方、通信制の質問では、同じ重み・温度 0 でも、Qwen と Strata 導入前の llm-jp が 3 回とも「買えない」と言い切りました。DeepSeek は 2 台の PC で合わせて 16 回、一度も言い切りませんでした。

Verdict

総合評価

このページの試験すべて(2026 年 10 月 25 日〜11 月 5 日)をまとめると、この RAG は事実の検索には実用になり、回答のモデルは Strata で動かす Qwen(Qwen3.8-Flash-Next)の思考なしが最もよい、という結果でした。規則を当てはめたり解釈したりする質問には、まだ頼れません。

項目評価根拠
事実の検索(金額、数値、書かれている可否)◎Qwen・強度 0 で、この資料 13 問はどの版でも全問、作るときに見ていない家電の取扱説明書 14 問も全問、正しく言い切りました。誤りを言い切った答えはありません。
表の読み取り(索引を作る段階)○普通の表はどのモデルもほぼ同じ(一致 0.85〜0.90)。階段状の料金表は Strata のQwen が誤り 6〜8 で最もよく、Strata 導入前は誤り 214 か、読み取りが空でした。
規則の当てはめ・解釈△通信制の質問では、同じ設定でも回によって答えが揺れ、思考を足すと「買えない」と言い切ることが増えました(6 回中 5 回)。どの資料にも使える指示を足しても直りませんでした。11 月 5 日に PC を替えて測り直すと、Qwen は強度 0 でも 3 回とも言い切りました。
速さ○1 問 26 秒(Qwen、0.2.10。11 月 5 日の i7 の PC では 19 秒)。その大部分は CPU での検索(24〜28 秒)です。
資料を選ばないか○回答、検索の計画、表の読み取りのプロンプトに、この資料に固有の言葉はありません。階段状の表の直し方とプロンプト A の例には、料金表の発想が残っています。
◎ そのまま使える ○ 使えるが注意点あり △ まだ頼れない。

回答のモデル

モデル13 問:正しく言い切った濁した・回答なし平均時間性格
Qwen3.8-Flash-Next(Strata)13026 秒速く、正確で、言い切る。解釈の質問でだけ揺れる。
DeepSeek-V4.1-Flash(Strata)10352 秒誤りは言わないが、根拠が言葉どおりでないと濁す。
llm-jp-4.1-8b-thinking(Strata 導入前)11239 秒精度は近い。考えるうちに回答の長さの上限で切れることがある。
同じ検索・同じプロンプト、通信制以外の 13 問、強度 0。時間は 11 問の平均で、検索を含みます(0.2.10 の値。llm-jp は GPU 1 枚)。

Strata が変えたこと

弱点と課題

次にすること


Findings

わかったこと

相関なし

長く考えても精度は上がらない

思考の強度を上げると時間は最大で十数倍になりましたが、誤りは減りませんでした。同じ条件でくり返しても、結果は大きくぶれました。

最初の 1 割

答えは考え始めで決まる

長い思考の中身を見ると、答えは最初の 1 割ほどで決まり、残りは同じ確認のくり返しでした。最初の読み違いは、考え直しても直りません。

3 回とも誤り

言い切ることと正しいことは別

規則の条文を当てはめる質問で、弱い思考は 3 回とも自信を持って同じ誤りを答えました。思考なしの 1 回は、除外の規定を正しく指摘していました。表を引くだけの質問では、思考の有無で答えは変わりません。

18 秒

原因は表の書き方だった

階段状の料金表を「出発 → 行き先: 料金」の行に直して登録すると、思考なしでも正しく答えました。直す前は、思考ありで 9〜21 分かかっていました。

結論:思考の長さより、資料の形

RAG の精度を決めたもの

思考長さは精度と相関しない。効くのはぶれを抑えるところまで

弱い思考は、くり返したときの崩れ方を小さくしました。一方で、条文の読み違いを自信のある答えに変えることもありました。強い思考は時間がかかるうえ、同じ文章のくり返しに入ったり、結論を濁したりしました。

資料表の意味が文字に残っているかで決まる

どの列が何を表すかが検索用の文字に残っていないと、モデルは推理で埋めるしかなく、当たるかどうかは運しだいになります。


Setup

資料と条件


Table reading

表の読み取り:2 つのモデル

承認済みの表 10 枚(様式、距離表、運賃表、料金表、危険品の表)を、2 つのモデルに読ませました。どちらも思考なしです。

表Qwengemma
距離表・運賃表(3 枚)0.99〜1.000.99〜1.00
JR 線連絡の料金表1.000.97
特急料金表(上)0.970.98
特急料金表(下)0.970.89 ※
1 枚あたりの時間(平均)106 秒52 秒
数字の一致(F1)。※ gemma はこの表と危険品の表を自分で「読めない」と申告したため、パイプラインでは読み取りが捨てられていました。申告を無視して採点した値です。

Excerpt

実物で見る:料金表の読み取り

一番差が出た特急料金表 2 枚について、印刷された表と、モデルが書いた読み取りをそのまま並べました。の欄は、画像から人が書き写した料金と違う値です。料金が抜けている場合は欄に印を付けられないので、誤りの数に「うち抜け」として示しています。すべて空の行は省いています。

特急料金表(上):新宿から

特急料金表(上):新宿から
印刷された表(PDF を 144 dpi で切り出し。押すと原寸)
gemma・強度 0料金の誤り 0・69 秒
小田原線 江ノ島線
新宿4504504506006007007009501,150600700700
5005005006506507507501,0001,200650750750
新百合ヶ丘450450450450450600700900 450450600
500500500500500650750950 500500650
町田450450450450450700900
500500500500500750950
相模大野450450450450700900 450450450
500500500500750950 500500500
海老名450450450600800
500500500650850
本厚木450450600800
500500650850
伊勢原450450650
500500700
秦野450650
500700
小田原
200
箱根
湯本
大和 450450
500500
藤沢 450
500
片瀬
江ノ島
上段チケットレス特別急行料金 大人
下段特別急行料金 大人
Qwen・強度 0料金の誤り 2・71 秒(うち抜け 2)
新宿4504504506006007007009501,150600700700
5005006506507507501,0001,200650750750
新百合ヶ丘450450450450450600700900450450600
500500500500500650750950500500650
町田450450450450450700900———
500500500500500750950———
相模大野450450450450700900450450450
500500500750950500500500
海老名450450450600800———
500500500650850———
本厚木450450600800———
500500650850———
伊勢原450450650———
500500700———
秦野450650———
500700———
小田原-———
200———
箱根湯本———
大和450450
500500
藤沢450
500
片瀬江ノ島
Qwen・強度 3料金の誤り 12・927 秒(うち抜け 3)
新宿4504504506006007007009501,150600700700
新宿5005006506507507501,0001,200650750750
新百合ヶ丘450450450450600700700900450450600
新百合ヶ丘500500500500650750950500500650
町田450450450450600700900450450600
町田500500500500650750950500500650
相模大野450450450450700900450450450
相模大野500500500500750950500500500
海老名450450450600800−−−
海老名500500500650850−−−
本厚木450450600800−−−
本厚木500500650850−−−
伊勢原450450650−−−
伊勢原500500700−−−
秦野450650−−−
秦野500700−−−
小田原−−−−
小田原200−−−
箱根湯本−−−
箱根湯本−−−
大和450450
大和500500
藤沢450
藤沢500
片瀬江ノ島
Qwen・強度 3・プロンプト A料金の誤り 2・1191 秒(うち抜け 1)
新宿4504504506006007007009501,150600700700
新宿5005006506507507501,0001,200650750750
新百
合ヶ丘
450450450450450600700900450450600
新百
合ヶ丘
500500500500500650750950500500650
町田450450450450450700900———
町田500500500500500500750950———
相模大野450450450450700900450450450
相模大野500500500500750950500500500
海老名450450450600800———
海老名500500500650850———
本厚木450450600800———
本厚木500500650850———
伊勢原450450650———
伊勢原500500700———
秦野450650———
秦野500700———
小田原-———
小田原200———
箱根
湯本
———
箱根
湯本
———
大和450450
大和500500
藤沢450
藤沢500
片瀬
江ノ島
上段チケットレス特別急行料金 大人
下段特別急行料金 大人
DeepSeek・強度 0料金の誤り 14・75 秒
新宿4504504506006007007009501,150600700700
新宿5005005006506507507501,0001,200650750750
新百合ヶ丘450450450450450600700900450450600
新百合ヶ丘500500500500500650750950500500650
町田450450450450450700900———
町田500500500500500750950———
相模大野450450450450450700900450450450
相模大野500500500500500750950500500500
海老名450450450450600600800———
海老名500500500500650650850———
本厚木450450450600600800———
本厚木500500500650650850———
伊勢原450450450650———
伊勢原500500500700———
秦野450450650———
秦野500500700———
小田原————
小田原200———
箱根湯本———
大和450450
大和500500
藤沢450
藤沢500
片瀬江ノ島
以前の視覚モデル Qwen2.5-VL-7B(Strata 導入前)・ページ全体料金の誤り 118・73 秒(ページ全体を読んだ時間)(うち抜け 9)
新宿4504504506006007007009501,150600700700
5005005006506507507501,0001,200650750750
新百合ヶ丘450450450450450450600700900450450600
500500500500500500650750950500500650
町田450450450450450450700900900450450450
500500500500500500750950950500500500
相模大野450450450450450450600800800450450450
500500500500500500750950950500500500
海老名450450450450450450600800800450450450
500500500500500500650850850500500500
本厚木450450450600800800800800800450450450
500500500650850850850850850500500500
伊勢原500500500700700700700700700500500500
秦野450450450600700700700700700500500500
小田原200200200200200200200200200200200200
箱根湯本450450450450450450450450450450450450
大和500500500500500500500500500500500500
藤沢500500500500500500500500500500500500
片瀬江ノ島

特急料金表(下):北千住から

特急料金表(下):北千住から
印刷された表(PDF を 144 dpi で切り出し。押すと原寸)
gemma・強度 0料金の誤り 56・70 秒(うち抜け 6)モデル自身が「読めない」と申告
北千住〜小田原・箱根湯本北千住〜片瀬江ノ島
北千住660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
大手町660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
甕ケ間660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
表参道660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
450
500
450
500
450
500
450
500
600
650
700
750
900
950
600
650
600
650
成城学園前
450
500
450
500
450
500
450
500
600
650
700
750
900
950
新百合ヶ丘
450
500
450
500
450
500
450
500
600
650
700
750
900
950
町田
450
500
450
500
450
500
450
500
600
650
700
750
900
950
相模大野
450
500
450
500
450
500
450
500
600
650
700
750
900
950
450
500
450
500
海老名
450
500
450
500
450
500
450
500
600
650
700
750
800
850
本厚木
450
500
450
500
450
500
450
500
600
650
700
750
800
850
伊勢原
450
500
450
500
450
500
450
500
650
700
小田原
ー
200
箱根湯本
ー
藤沢
450
500
片瀬江ノ島
Qwen・強度 0料金の誤り 4・76 秒(うち抜け 4)
北千住660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
大手町660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
霞ヶ関660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
表参道660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
成城
学園前
450
500
450
500
450
500
450
500
450
500
600
650
700
750
900
950
600
650
600
650
新百
合ヶ丘
450
500
450
500
450
500
450
500
450
500
700
750
900
950
——
町田450
500
450
500
450
500
450
500
700
750
900
950
——
相模
大野
450
500
450
500
450
500
700
750
900
950
450
500
450
500
海老名450
500
600
650
800
850
——
本厚木450
650
600
850
——
伊勢原450
500
650
700
——
小田原—
200
——
箱根湯本——
藤沢450
500
片瀬
江ノ島
Qwen・強度 3料金の誤り 20・1060 秒
北千住660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
大手町660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
霞ヶ関660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
表参道660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
成城学園前成城学園前450
500
450
500
450
500
450
500
450
500
600
650
700
750
900
950
600
650
600
650
新百合ヶ丘新百合ヶ丘450
500
450
500
450
500
450
500
450
500
700
750
900
950
——
町田町田町田450
500
450
500
450
500
450
500
700
750
900
950
——
相模大野相模大野相模大野相模大野450
500
450
500
450
500
450
500
700
750
900
950
450
450
450
450
海老名海老名海老名海老名海老名450
500
450
500
450
500
450
500
600
650
800
850
—
本厚木本厚木本厚木本厚木本厚木本厚木450
500
450
500
450
500
600
650
800
850
—
伊勢原伊勢原伊勢原伊勢原伊勢原伊勢原伊勢原450
500
450
500
450
500
650
700
—
小田原小田原小田原小田原小田原小田原小田原小田原450
500
450
500
—
200
—
箱根湯本箱根湯本箱根湯本箱根湯本箱根湯本箱根湯本箱根湯本箱根湯本箱根湯本——
藤沢藤沢藤沢藤沢藤沢藤沢藤沢藤沢藤沢藤沢450
500
片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島片瀬江/島
Qwen・強度 3・プロンプト A料金の誤り 1・1192 秒
北千住660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
大手町660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
霞ヶ関660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
表参道660
710
660
710
660
710
660
710
810
860
810
860
810
860
1,160
1,210
1,360
1,410
910
960
910
960
成城
学園前
450
500
450
500
450
500
450
500
450
500
600
650
700
750
900
950
600
650
600
650
新百
合ヶ丘
450
500
450
500
450
500
450
500
450
500
700
900
900
950
--
町田450
500
450
500
450
500
450
500
700
750
900
950
--
相模
大野
450
500
450
500
450
500
700
750
900
950
450
500
450
500
海老名450
500
450
500
600
650
800
850
--
本厚木450
500
600
650
800
850
--
伊勢原450
500
650
700
--
小田原-
200
--
箱根湯本--
藤沢450
500
片瀬
江ノ島
DeepSeek・強度 0料金の誤り 22・91 秒(うち抜け 1)
北千住6606606606608108108101,1601,360910910
7107107107108608608601,2101,410960960
大手町6606606606608108108101,1601,360910910
7107107107108608608601,2101,410960960
霞ヶ関6606606606608108108101,1601,360910910
7107107107108608608601,2101,410960960
表参道6606606606608108108101,1601,360910910
7107107107108608608601,2101,410960960
成城学園前450450450450450450600700900600600
500500500500500500650750950650650
新百合ヶ丘450450450450450450700900——
500500500500500500750950——
町田450450450450450450700900——
500500500500500500750950——
相模大野450450450450450450700900450450
500500500500500500750950500500
海老名450450450600800——
500500500650850——
本厚木450450600800——
500500650850——
伊勢原450450650——
500500700——
小田原—200——
箱根湯本——
藤沢450
500
片瀬江ノ島
以前の視覚モデル Qwen2.5-VL-7B(Strata 導入前)・ページ全体料金の誤り 96・73 秒(ページ全体を読んだ時間)(うち抜け 12)
北千住6606606606608108101,1601,360910910
7107107107108608601,2101,410960960
大手町6606606606608108101,1601,360910910
7107107107108608601,2101,410960960
霞ヶ関6606606606608108101,1601,360910910
7107107107108608601,2101,410960960
表参道6606606606608108101,1601,360910910
7107107107108608601,2101,410960960
成城学園前450450450450450600700900600600
500500500500500650750950650650
新百合ヶ丘450450450450450700900900450450
500500500500500750950950500500
町田450450450450450700900900450450
500500500500500750950950500500
相模大野450450450450450700900900450450
500500500500500750950950500500
海老名450450450450450700900900450450
500500500500500750950950500500
本厚木450450450600800800800800800450450
500500500650850850850850850500500
伊勢原500500500700700700700700700500500
小田原200200200200200200200200200200200
箱根湯本450450450450450450450450450450450
藤沢450450450450450450450450450450450
片瀬江ノ島
92

Thinking strength

思考の強度と精度

一番難しい特急料金表の 2 枚(料金 48 行)で、思考の強度、プロンプト、くり返しを変えて読み取らせました。続けて、RAG の回答でも強度を変えました。

表を文字に起こす

設定誤り(2 枚)時間(2 枚)
gemma・強度 056139 秒
Qwen・強度 06147 秒
強度 0・プロンプト B4161 秒
強度 0・プロンプト A4125 秒
強度 14 → 17(同じ条件で 2 回)約 310 秒
強度 1・プロンプト B7623 秒
強度 1・プロンプト A7341 秒
強度 25517 秒
強度 3321,987 秒
強度 3・プロンプト A32,383 秒
DeepSeek・強度 036166 秒
DeepSeek・強度 1572,286 秒
gemma・DeepSeek と書いた行のほかは、すべて Qwen。DeepSeek は 2026 年 11 月 4 日に、新しい版の Strata と別の PC で測りました。生成の揺らぎ(温度)は 0。強度 3 は、上の表 1 枚だけを測り直すと誤り 1(1,066 秒)でした。

揺らぎを少し上げて(温度 0.6)、同じ設定を 3 回ずつくり返すと、ぶれの大きさが見えます。

設定(温度 0.6)1 回目2 回目3 回目
強度 074073
強度 14416
誤りの数(2 枚)。

長い思考の中身

16 回、同じ文章をくり返していた

強度 3 で約 18 分かかった回の思考を保存して調べると、約 1,400 文字の同じ文章が一字一句そのまま 16 回くり返されていました。サーバーが思考を打ち切るまで続き、くり返しの中で書かれた下書きはすべて、最終的な答えと同じでした。

考えていた内容は「この表の見出しの行はどれか」「どちらが出発でどちらが行き先か」でした。この料金表には見出しの行がなく、問いに答えが出ないまま同じ確認を回り続けていました。答えは、思考の最初の 1 割ほどで決まっていました。

質問に答える

同じ資料で、性質の違う 3 つの質問に答えさせました。回答のモデルはQwen です。

質問強度 0強度 1(3 回)強度 3
通信制の高校に通います。通学定期は買えますか(規則を当てはめる)63〜88 秒。断定しなかった。1 回は除外の規定まで正しく示した(よい答え)102〜133 秒。3 回とも「買えない」と言い切った(誤り)440 秒。断定しなかった
新宿から南新宿までの営業キロは?(表を引く)43 秒。正しい47 秒。正しい—
北千住から本厚木までのチケットレス特急料金は?(料金表を読む)47 秒。「表から列が特定できない」として答えなかった549〜1,247 秒。3 回中 2 回正しい、1 回は別の列の値1,159 秒。数字は正しいが、根拠の説明が誤り
1 つ目の質問:通学定期の条文が対象から除いているのは通信教育の大学の学生だけで、通信制高校の生徒は除かれていません。条文の上では通学定期は否定されておらず、ほかに面接授業や試験のための割引回数乗車券もあります。ただし実際に買えるかは学校や鉄道会社の扱いによるので、この資料だけでは決まりません。断定しない答えがよい答えです(11 月 4 日の再確認)。

Root cause

料金の質問を誤った本当の原因

誤答した回と正答した回は、同じ根拠(同じ 8 つの断片、同じ順番)を受け取っていました。違いは、モデルが表の列をどう推理したかだけでした。


Fix

直し方と結果

取り込みのとき、階段状の表を見つけて「北千住 → 本厚木: 810」のように、組ごとに 1 行の文字に直して登録するようにしました。見つけ方は表の形だけで判断し、駅名や単位など資料の中身には頼りません。

北千住から本厚木までの料金直す前直した後
強度 047 秒。答えなかった18〜45 秒。正しい(3 回)
強度 1549〜1,247 秒。3 回中 2 回正しい99 秒。正しい
営業キロの質問(正方形の表で、もともと組ごとの行に直されていた)は、直す前も後も同じ答えでした。

Answer models

回答のモデルを比べる:Qwen とDeepSeek

回答のモデルを、Strata で動くもう 1 つの、ずっと大きなllm-jpeepSeek-V4.1-Flash に替えて、同じ資料(表を直した後の版)に 14 の質問をしました。正解は、質問する前に条文から決めています。思考の強度はどちらも 0 です。

質問正解(条文)QwenDeepSeek
北千住から本厚木までのチケットレス特急料金810 円正しい・45 秒正しい・83 秒
新宿から南新宿までの営業キロ0.8 km正しい・34 秒正しい・50 秒
通信制の高校で通学定期は買えるか資料だけでは決まらない(条文上は否定されていない。回数券は買える)断定せず、除外は大学の学生だけと示した(よい答え)・63 秒断定しなかった(除外の規定には触れず)・87 秒
10 歳の子どもの通学定期、3 か月2,280 円正しい・57 秒数字は出したが濁した・169 秒
5 歳の子ども 3 人を大人 1 人が連れて乗る2 人は無料、1 人は小児の運賃正しい・51 秒正しい・136 秒
入場券の料金大人 140 円・小児 70 円正しい・27 秒正しい・108 秒
使わなかった普通乗車券の払い戻し手数料100 円(連絡乗車券は 220 円)正しい・34 秒正しい・122 秒
特急券の払い戻しの期限と手数料列車が出る時刻まで・100 円正しい・37 秒正しい・135 秒
1 km 未満の端数の扱い1 km に切り上げ正しい・24 秒正しい・114 秒
通勤定期の鉄道駅バリアフリー料金1 か月 600 円正しい・24 秒正しい・115 秒
乗っている途中で乗車券の有効期間が切れたら途中下車しなければ着駅まで使える正しい・46 秒正しい・139 秒
猫をケージに入れて乗れるか乗れる(無料、3 辺の和 120 cm・10 kg 以内)正しい・38 秒条件は正しいが濁した・170 秒
スーツケースは何個まで無料で持ち込めるか2 個(30 kg 以内、長さ 2 m まで)正しい・24 秒条件は正しいが濁した・134 秒
使用開始前の定期券の払い戻し手数料220 円正しい・24 秒正しい・111 秒
通信制の質問を除く 13 問で、正しく言い切ったのはQwen が 13 問、DeepSeek が 10 問。通信制の質問は、どちらも断定しませんでした(この質問ではよい答え方。11 月 4 日の再確認)。誤った答えを言い切ったものは、どちらも 0 問でした。時間はDeepSeek が平均で約 3.6 倍です。

Recheck (Nov 4)

11 月 4 日の再確認:新しい版と、どの資料にも使える指示

Strata 0.2.10 で、CPU 2 基の PC を使って同じ質問をし直しました。あわせて、どの資料にも使える指示を 2 つ回答のプロンプトに足して、効くかを試しました。1 つの資料に合わせた指示は使わない、という条件です。

通信制の質問は、解釈で答えが分かれる質問だった

条文を読み直すと、通学定期の規定が除いているのは通信教育の大学の学生だけで、通信制高校の生徒は除かれていません。ただし、実際に通学定期を買えるかは、学校(指定学校か、通学証明書を出すか)や鉄道会社の扱いによります。この資料だけでは決まらないのが運用上の正解です。そこでこの質問は、「回数券は買える」「通学定期は条文上否定されていない(学校しだい)」を示して断定しない答えをよい答えとし、「買えない」と言い切る答えを誤りとして、これまでのすべての回答を採点し直しました。

条件Strata回数よい答え断定しないが不十分「買えない」と言い切った
Qwen・強度 00.2.4.22110
Qwen・強度 10.2.4.23003
Qwen・強度 30.2.4.21010
DeepSeek・強度 0 と 10.2.4.24040
Qwen・強度 00.2.94004
Qwen・強度 00.2.103210
Qwen・強度 10.2.103102
DeepSeek・強度 00.2.103030
DeepSeek・強度 10.2.103210
llm-jp(Strata 導入前の回答モデル)導入前3030
「よい答え」は、回数券を示し、通学定期は条文上否定されていない(除外は大学の学生だけ)か学校しだいだと示して、断定しなかったもの。0.2.4.2 は以前の PC、0.2.9 と 0.2.10 は CPU 2 基の PC。このほか、下の指示を足した 9 回も、すべて言い切った誤りでした。llm-jp は 3 回とも「条件(学校の通学証明書)を満たせば買える」と条件付きで答え、回数券には触れなかったので、「不十分」に数えました。11 月 5 日に PC を替えて測り直した結果は、次の節にあります。

ほかの質問と速さ

どの資料にも使える指示を足すと

回答のプロンプトに、次の 2 つの指示を足して比べました。指示 1:根拠が禁止や除外をはっきり書いていない限り「できない」と結論せず、書かれていることと書かれていないことを分けて答える。指示 2:一般の規定と特定の場合の規定が並ぶとき、特定の規定を、書かれた範囲を超えて一般の規定を打ち消すものとして扱わない。評価には、この資料のほかに、指示を作るときに見ていない家電の取扱説明書(204 ページ)の 14 問も使いました。正解は質問する前に原文から決めています。

設定(Qwen・強度 0、0.2.9)取扱説明書 14 問この資料 13 問通信制の質問(3 回)
今のプロンプト14133 回とも「買えない」
指示 114133 回とも「回数券を買うことになる」
指示 214123 回とも「回数券を買うことになる」
指示 1 と 214133 回とも「回数券を買うことになる」
正しく答えた数。取扱説明書の 14 問には、はっきり「できない」と書かれたもの 7 問、条件付きでできるもの 2 問、書かれていないもの 3 問、事実 2 問を含みます。

Recheck (Nov 5)

11 月 5 日の測り直し:PC を替えると、解釈の質問の答えが変わった

以前の PC(Core i7-7800X、以下 i7)の RAM を 125 GiB に増やし、CPU 2 基の PC で使っていた GPU 2 枚を移しました。そのうえで、11 月 4 日と同じ Strata 0.2.10、同じ設定、同じ索引、同じ質問で測り直しました。違うのは PC だけです。

条件通信制以外の 13 問:正しく言い切った11 問の平均時間通信制:よい答え通信制:「買えない」と言い切った
Qwen・強度 013(13)19 秒(26 秒)0(2)3(0)
Qwen・強度 1——0(1)3(2)
DeepSeek・強度 011(10)46 秒(52 秒)2(0)0(0)
DeepSeek・強度 1——2(2)0(0)
llm-jp(Strata 導入前の回答モデル)11(11)28 秒(39 秒)0(0)3(0)
i7 の値。かっこの中は 11 月 4 日の CPU 2 基の PC の値です。通信制の質問は各 3 回。Qwen・強度 0 の 1 回は「通学定期ではなく、回数券を購入できます」という答えで、上の指示 1 と同じ言い換えなので、言い切りに数えました。時間は検索を含む 1 問あたり。
Recheck (Nov 5, evening)

11 月 5 日夕方:Qwen の expert を 4 ビットの NVFP4 にしても、答えの質は変わらなかった

Qwen3.8-Flash-Next の expert を、UD-Q4_K_XL から NVFP4(NVIDIA の 4 ビットの形式、Strata 用の GPTQ 版)に替えました。expert が 12% 小さくなり、長いプロンプトの読み込みと生成が速くなります(研究ページ)。小さくした分だけ答えが悪くならないかを、同じ i7 の PC、同じ索引、同じ質問で、UD と同じ時間帯に比べました。どちらも、昼に見つけた速い層の分け方を使っています。

確かめたものUD-Q4_K_XLNVFP4
通信制以外の 13 問:正しく言い切った(強度 0)1313
11 問の平均時間(強度 0)16 秒15 秒
通信制:よい答え/回数(強度 0)0/30/3
通信制:よい答え/回数(強度 1)0/50/5(1 回は「資料からは断定できない」と濁した)
表の読み取り:10 枚の一致(F1)0.870.87
表の読み取り:1 枚の平均95 秒87 秒
階段状の料金表の誤り(強度 0、上+下)1 + 23 + 0
階段状の料金表の誤り(強度 1、上+下)1 + 71 + 0
各 1 回(通信制の質問は 3 回または 5 回)。時間は検索を含む 1 問あたり。採点は上の節と同じです。

All runs

すべての試験の一覧(Strata 導入前を含む)

同じ切り抜き 10 枚と同じ採点で比べた表の読み取りと、同じ質問で比べた回答を、版と PC の違いも含めて並べました。以前の視覚モデルは Qwen2.5-VL-7B-Instruct です。

表の読み取り

条件Strata10 枚の一致(F1)1 枚の平均階段状の料金表の誤り(上+下)その 2 枚の時間
以前の視覚モデル(Qwen2.5-VL-7B)・ページ全体導入前——118 + 9673 秒(ページ 1 枚)
gemma・強度 0(当時の出力上限 256)導入前——2 枚とも途中で切れ、「読めない」9 + 9 秒
gemma・強度 0(出力上限 8192)導入前0.72(申告を無視すると 0.90)52 秒0 + 5669 + 70 秒
Qwen・強度 00.2.4.20.86106 秒2 + 471 + 76 秒
Qwen・強度 10.2.4.2——1 + 3(再実行で 1 + 16)195 + 125 秒
Qwen・強度 30.2.4.2——12 + 20927 + 1,060 秒
Qwen・強度 00.2.100.8586 秒2 + 669 + 71 秒
Qwen・強度 10.2.10——2 + 13130 + 105 秒
DeepSeek・強度 00.2.100.8896 秒14 + 2275 + 91 秒
DeepSeek・強度 10.2.10——19 + 381,160 + 1,126 秒
Qwen・強度 0(i7)0.2.100.85100 秒3 + 486 + 81 秒
Qwen・強度 1(i7)0.2.10——5 + 169(書式のずれ。直すと 5 + 3)80 + 108 秒
DeepSeek・強度 0(i7)0.2.100.8696 秒20 + 1893 + 86 秒
DeepSeek・強度 1(i7)0.2.10——22 + 381,224 + 1,148 秒
Qwen・強度 0(i7、速い層の分け方、UD)0.2.100.8795 秒1 + 284 + 80 秒
Qwen・強度 1(i7、速い層の分け方、UD)0.2.10——1 + 796 + 55 秒
Qwen・強度 0(i7、NVFP4)0.2.100.8787 秒3 + 075 + 70 秒
Qwen・強度 1(i7、NVFP4)0.2.10——1 + 049 + 57 秒
一致は全トークンの F1。gemma は 10 枚のうち 2 枚を自分で「読めない」と申告し、パイプラインでは捨てられていました(0.72)。申告を無視して採点すると 0.90 です。gemma と 0.2.4.2 は以前の PC(GPU)、0.2.10 は CPU 2 基の PC、「i7」は 11 月 5 日に RAM を 125 GiB に増やした以前の PC。i7 の Qwen・強度 1 の 169 は、1 つのセルの上下 2 つの料金を改行でなく空白でつないだ書式のずれで、空白を改行に直して採点すると 3 です。誤りは 22 + 26 行の料金のうち、違っていた値の数。

回答(この資料の質問)

条件Strata通信制以外の 13 問:正しく言い切った濁した11 問の平均時間通信制の質問(よい答え/回数)
llm-jp(Strata 導入前の回答モデル)導入前111(ほかに 1 問は回答なし)39 秒0/3
Qwen・強度 00.2.4.213035 秒1/2
DeepSeek・強度 00.2.4.2103132 秒0/2
Qwen・強度 00.2.913024 秒0/4
Qwen・強度 00.2.1013026 秒2/3
DeepSeek・強度 00.2.1010352 秒0/3
llm-jp(i7)導入前111(ほかに 1 問は誤り)28 秒0/3
Qwen・強度 0(i7)0.2.1013019 秒0/3
DeepSeek・強度 0(i7)0.2.1011246 秒2/3
Qwen・強度 0(i7、速い層の分け方、UD)0.2.1013016 秒0/3
Qwen・強度 0(i7、NVFP4)0.2.1013015 秒0/3
誤った答えを言い切ったものは、通信制の質問のほかには、i7 の llm-jp の 1 問(幼児 3 人)だけです。0.2.4.2 は以前の PC、0.2.9 と 0.2.10 は CPU 2 基の PC、「i7」は 11 月 5 日に RAM を 125 GiB に増やした以前の PC。llm-jp は、Strata 導入前にこの検索の仕組みで使っていた回答モデルで、GPU 1 枚で動かし、11 月 4 日に同じ検索・同じプロンプトで採点しました。時間は検索を含む 1 問あたり。

Upstream

Strata への報告

この研究の中で Strata の公式に提出した報告です。測定の結果は公式ベンチマークの様式で、見つけた不具合は再現の手順と直し方の案をつけて出しています。


Limits

条件と制限