要約と目次
要約
- 思考時間の長さは、精度と相関しませんでした。表を文字に起こす作業では、一番長く考える設定が、最も悪い結果(誤り 32 か所、2 枚で約 33 分)と最も良い結果の両方を出しました。考えている間、同じ文章を 16 回くり返していた回もあります。
- 思考は、確信を強めても正しさは保証しませんでした。規則を当てはめる質問で、弱い思考は 3 回とも結論を言い切りましたが、3 回とも条文の読み違いでした。思考なしと最も強い思考は断定しませんでした。この質問は解釈で答えが分かれ、資料だけでは決まらないので、断定しないのがよい答え方です(11 月 4 日の再確認)。
- どの資料にも使える指示を足しても、精度は変わりませんでした。11 月 4 日に、Strata 0.2.10 で同じ傾向を確かめ、別の資料(家電の取扱説明書)でも試しました。Strata 導入前を含むすべての試験は、一覧にまとめています。
- 料金表の質問を誤った原因は、モデルではありませんでした。表を検索用の文字に直す段階で「どの列がどの駅か」が失われていました。そこを直すと、思考なしで 18〜45 秒、正しく答えるようになりました(直す前は、思考ありで 9〜21 分かかり、3 回中 1 回は誤答)。
- 表の読み取りの正確さは、2 つのモデルでほぼ同じでした。差が出たのは、モデル自身が「読めなかった」と申告して読み取りが捨てられたことと、出力の上限が小さすぎたことでした。
- 回答のモデルを大きなものに替えても、正答は増えませんでした。14 問で、正しく言い切ったのは今のモデルが 13 問、ずっと大きなモデルが 10 問でした。大きなモデルは誤りを言い切りませんでしたが、根拠に質問の言葉がないと結論を濁し、この PC では約 3.6 倍の時間がかかりました。
- PC を替えるだけで、解釈で分かれる質問の答えが変わりました。11 月 5 日に、RAM を 125 GiB に増やした i7 の PC で同じ試験をし直しました。表の読み取りと事実の 13 問はほぼ同じで、回答は 1〜3 割速くなりました。一方、通信制の質問では、同じ重み・温度 0 でも、Qwen と Strata 導入前の llm-jp が 3 回とも「買えない」と言い切りました。DeepSeek は 2 台の PC で合わせて 16 回、一度も言い切りませんでした。
総合評価
このページの試験すべて(2026 年 10 月 25 日〜11 月 5 日)をまとめると、この RAG は事実の検索には実用になり、回答のモデルは Strata で動かす Qwen(Qwen3.8-Flash-Next)の思考なしが最もよい、という結果でした。規則を当てはめたり解釈したりする質問には、まだ頼れません。
| 項目 | 評価 | 根拠 |
|---|---|---|
| 事実の検索(金額、数値、書かれている可否) | ◎ | Qwen・強度 0 で、この資料 13 問はどの版でも全問、作るときに見ていない家電の取扱説明書 14 問も全問、正しく言い切りました。誤りを言い切った答えはありません。 |
| 表の読み取り(索引を作る段階) | ○ | 普通の表はどのモデルもほぼ同じ(一致 0.85〜0.90)。階段状の料金表は Strata のQwen が誤り 6〜8 で最もよく、Strata 導入前は誤り 214 か、読み取りが空でした。 |
| 規則の当てはめ・解釈 | △ | 通信制の質問では、同じ設定でも回によって答えが揺れ、思考を足すと「買えない」と言い切ることが増えました(6 回中 5 回)。どの資料にも使える指示を足しても直りませんでした。11 月 5 日に PC を替えて測り直すと、Qwen は強度 0 でも 3 回とも言い切りました。 |
| 速さ | ○ | 1 問 26 秒(Qwen、0.2.10。11 月 5 日の i7 の PC では 19 秒)。その大部分は CPU での検索(24〜28 秒)です。 |
| 資料を選ばないか | ○ | 回答、検索の計画、表の読み取りのプロンプトに、この資料に固有の言葉はありません。階段状の表の直し方とプロンプト A の例には、料金表の発想が残っています。 |
回答のモデル
| モデル | 13 問:正しく言い切った | 濁した・回答なし | 平均時間 | 性格 |
|---|---|---|---|---|
| Qwen3.8-Flash-Next(Strata) | 13 | 0 | 26 秒 | 速く、正確で、言い切る。解釈の質問でだけ揺れる。 |
| DeepSeek-V4.1-Flash(Strata) | 10 | 3 | 52 秒 | 誤りは言わないが、根拠が言葉どおりでないと濁す。 |
| llm-jp-4.1-8b-thinking(Strata 導入前) | 11 | 2 | 39 秒 | 精度は近い。考えるうちに回答の長さの上限で切れることがある。 |
Strata が変えたこと
- 大きかったのは、索引を作る段階です。階段状の料金表を読めるようになり、料金の質問(北千住→本厚木 810 円など)に答えられるのはそのおかげです。
- 回答の正確さの差は小さいものでした。Strata 導入前の回答モデルの 11 問に対し、13 問です。
弱点と課題
- 解釈で答えが分かれる質問。「資料だけでは決まらず、何によるか」を安定して答えられません。プロンプトに指示を足しても直りませんでした。
- 思考は逆効果。回答でも表の読み取りでも、誤りを言い切ることが増え、時間も大きく延びました。思考なしが正しい設定です。
- 回ごとの揺らぎ。温度 0 でも、日や版によって答えが変わることがあります。多くの結果は各質問 1 回です。11 月 5 日には、PC を替えただけで、通信制の質問の答えが変わりました(詳しく)。
- 評価の規模が小さい。資料 2 つ、約 30 問です。取扱説明書はもともと満点で、設定の差を見分けられません。
- パイプラインの制限。回答の出力上限(1,024 トークン)に、考えるモデルが届いてしまいます。検索が CPU で遅いこと、索引に別の金額(860 円)を含むチャンクが残っていることも課題です。
次にすること
- 実際の運用では、回答をQwen の思考なしにし、階段状の表の直し方を残す。
- 質問集で、解釈で答えが分かれる質問に印を付け、「示したことと、決めずに残したこと」で採点する。
- 評価を意味のあるものにするため、資料を増やし、条件付き・除外・規定が食い違う型の難しい質問を足す。
- 速さは、残る時間の大半を占める埋め込みの検索を GPU か軽いモデルに移して縮める。
わかったこと
長く考えても精度は上がらない
思考の強度を上げると時間は最大で十数倍になりましたが、誤りは減りませんでした。同じ条件でくり返しても、結果は大きくぶれました。
答えは考え始めで決まる
長い思考の中身を見ると、答えは最初の 1 割ほどで決まり、残りは同じ確認のくり返しでした。最初の読み違いは、考え直しても直りません。
言い切ることと正しいことは別
規則の条文を当てはめる質問で、弱い思考は 3 回とも自信を持って同じ誤りを答えました。思考なしの 1 回は、除外の規定を正しく指摘していました。表を引くだけの質問では、思考の有無で答えは変わりません。
原因は表の書き方だった
階段状の料金表を「出発 → 行き先: 料金」の行に直して登録すると、思考なしでも正しく答えました。直す前は、思考ありで 9〜21 分かかっていました。
RAG の精度を決めたもの
弱い思考は、くり返したときの崩れ方を小さくしました。一方で、条文の読み違いを自信のある答えに変えることもありました。強い思考は時間がかかるうえ、同じ文章のくり返しに入ったり、結論を濁したりしました。
どの列が何を表すかが検索用の文字に残っていないと、モデルは推理で埋めるしかなく、当たるかどうかは運しだいになります。
資料と条件
- 資料:鉄道会社の旅客営業規則の PDF(98 ページ)。条文のほか、営業キロ表や特急料金表など、駅と駅の間の値を並べた表が多く含まれます。
- RAG:自作の取り込みパイプライン(PDF の表を画像から読み取り、人が確認して承認し、検索用に登録する)と、その回答の仕組み(質問を分解して根拠を検索し、根拠を引用して答える)をそのまま使いました。
- モデル:
- Qwen3.8-Flash-Next(以下 Qwen。Unsloth UD-Q4_K_XL)。Strata で動かす、このページの主なモデル。
- gemma-4-12b-it(以下 gemma。Q4_K_M、llama.cpp)。Strata 導入前に表の読み取りで使っていたモデル。比較用。
- DeepSeek-V4.1-Flash(以下 DeepSeek。2.00 bpw)。Strata で動かす、ずっと大きなモデル。
- llm-jp-4.1-8b-thinking(以下 llm-jp。Q4_K_M、llama.cpp)。Strata 導入前の回答モデル。
- 以前の視覚モデル:Qwen2.5-VL-7B-Instruct(Q4_K_M)。Strata 導入前に、ページ全体を読み取っていたモデル。
- 思考の強度:Qwen は、回答の前に考える量を段階で指定できます。このページでは、思考なしを「強度 0」とし、考える量が多い順に「強度 3」までの 4 段階で書きます。
- プロンプト:表の読み取りでは、基準のプロンプトのほかに、指示文を変えた「プロンプト A」「プロンプト B」も試しました。指示文の中身は載せていません。
- 採点:料金表は、印刷された画像から人が書き写した料金と、駅ごと・段ごとに照らし合わせ、違う数字の数を「誤り」として数えました。
表の読み取り:2 つのモデル
承認済みの表 10 枚(様式、距離表、運賃表、料金表、危険品の表)を、2 つのモデルに読ませました。どちらも思考なしです。
| 表 | Qwen | gemma |
|---|---|---|
| 距離表・運賃表(3 枚) | 0.99〜1.00 | 0.99〜1.00 |
| JR 線連絡の料金表 | 1.00 | 0.97 |
| 特急料金表(上) | 0.97 | 0.98 |
| 特急料金表(下) | 0.97 | 0.89 ※ |
| 1 枚あたりの時間(平均) | 106 秒 | 52 秒 |
- 正確さはほぼ同じでした。差が出たのは、gemma が読めているのに「読めない」と申告した 2 枚でした。
- Qwen は約 2 倍遅くなりました。画像を読む部分を CPU で動かしているためです。
- パイプラインの問題も見つかりました。文字の層がない表(画像として印刷された料金表)では、出力の上限が 256 トークンになり、どちらのモデルでも途中で切れていました。料金表が空になっていた本当の理由はこちらです。
実物で見る:料金表の読み取り
一番差が出た特急料金表 2 枚について、印刷された表と、モデルが書いた読み取りをそのまま並べました。の欄は、画像から人が書き写した料金と違う値です。料金が抜けている場合は欄に印を付けられないので、誤りの数に「うち抜け」として示しています。すべて空の行は省いています。
特急料金表(上):新宿から

| 小田原線 | 江ノ島線 | |||||||||||||
| 新宿 | 450 | 450 | 450 | 600 | 600 | 700 | 700 | 950 | 1,150 | 600 | 700 | 700 | ||
| 500 | 500 | 500 | 650 | 650 | 750 | 750 | 1,000 | 1,200 | 650 | 750 | 750 | |||
| 新百合ヶ丘 | 450 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 450 | 450 | 600 | |||
| 500 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 500 | 500 | 650 | ||||
| 町田 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | |||||||
| 500 | 500 | 500 | 500 | 500 | 750 | 950 | ||||||||
| 相模大野 | 450 | 450 | 450 | 450 | 700 | 900 | 450 | 450 | 450 | |||||
| 500 | 500 | 500 | 500 | 750 | 950 | 500 | 500 | 500 | ||||||
| 海老名 | 450 | 450 | 450 | 600 | 800 | |||||||||
| 500 | 500 | 500 | 650 | 850 | ||||||||||
| 本厚木 | 450 | 450 | 600 | 800 | ||||||||||
| 500 | 500 | 650 | 850 | |||||||||||
| 伊勢原 | 450 | 450 | 650 | |||||||||||
| 500 | 500 | 700 | ||||||||||||
| 秦野 | 450 | 650 | ||||||||||||
| 500 | 700 | |||||||||||||
| 小田原 | ||||||||||||||
| 200 | ||||||||||||||
| 箱根 | ||||||||||||||
| 湯本 | ||||||||||||||
| 大和 | 450 | 450 | ||||||||||||
| 500 | 500 | |||||||||||||
| 藤沢 | 450 | |||||||||||||
| 500 | ||||||||||||||
| 片瀬 | ||||||||||||||
| 江ノ島 | ||||||||||||||
| 上段 | チケットレス特別急行料金 大人 | |||||||||||||
| 下段 | 特別急行料金 大人 |
| 新宿 | 450 | 450 | 450 | 600 | 600 | 700 | 700 | 950 | 1,150 | 600 | 700 | 700 |
| 500 | 500 | 650 | 650 | 750 | 750 | 1,000 | 1,200 | 650 | 750 | 750 | ||
| 新百合ヶ丘 | 450 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 450 | 450 | 600 | |
| 500 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 500 | 500 | 650 | ||
| 町田 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | — | — | — | ||
| 500 | 500 | 500 | 500 | 500 | 750 | 950 | — | — | — | |||
| 相模大野 | 450 | 450 | 450 | 450 | 700 | 900 | 450 | 450 | 450 | |||
| 500 | 500 | 500 | 750 | 950 | 500 | 500 | 500 | |||||
| 海老名 | 450 | 450 | 450 | 600 | 800 | — | — | — | ||||
| 500 | 500 | 500 | 650 | 850 | — | — | — | |||||
| 本厚木 | 450 | 450 | 600 | 800 | — | — | — | |||||
| 500 | 500 | 650 | 850 | — | — | — | ||||||
| 伊勢原 | 450 | 450 | 650 | — | — | — | ||||||
| 500 | 500 | 700 | — | — | — | |||||||
| 秦野 | 450 | 650 | — | — | — | |||||||
| 500 | 700 | — | — | — | ||||||||
| 小田原 | - | — | — | — | ||||||||
| 200 | — | — | — | |||||||||
| 箱根湯本 | — | — | — | |||||||||
| 大和 | 450 | 450 | ||||||||||
| 500 | 500 | |||||||||||
| 藤沢 | 450 | |||||||||||
| 500 | ||||||||||||
| 片瀬江ノ島 |
| 新宿 | 450 | 450 | 450 | 600 | 600 | 700 | 700 | 950 | 1,150 | 600 | 700 | 700 |
| 新宿 | 500 | 500 | 650 | 650 | 750 | 750 | 1,000 | 1,200 | 650 | 750 | 750 | |
| 新百合ヶ丘 | 450 | 450 | 450 | 450 | 600 | 700 | 700 | 900 | 450 | 450 | 600 | |
| 新百合ヶ丘 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 500 | 500 | 650 | ||
| 町田 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 450 | 450 | 600 | ||
| 町田 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 500 | 500 | 650 | ||
| 相模大野 | 450 | 450 | 450 | 450 | 700 | 900 | 450 | 450 | 450 | |||
| 相模大野 | 500 | 500 | 500 | 500 | 750 | 950 | 500 | 500 | 500 | |||
| 海老名 | 450 | 450 | 450 | 600 | 800 | − | − | − | ||||
| 海老名 | 500 | 500 | 500 | 650 | 850 | − | − | − | ||||
| 本厚木 | 450 | 450 | 600 | 800 | − | − | − | |||||
| 本厚木 | 500 | 500 | 650 | 850 | − | − | − | |||||
| 伊勢原 | 450 | 450 | 650 | − | − | − | ||||||
| 伊勢原 | 500 | 500 | 700 | − | − | − | ||||||
| 秦野 | 450 | 650 | − | − | − | |||||||
| 秦野 | 500 | 700 | − | − | − | |||||||
| 小田原 | − | − | − | − | ||||||||
| 小田原 | 200 | − | − | − | ||||||||
| 箱根湯本 | − | − | − | |||||||||
| 箱根湯本 | − | − | − | |||||||||
| 大和 | 450 | 450 | ||||||||||
| 大和 | 500 | 500 | ||||||||||
| 藤沢 | 450 | |||||||||||
| 藤沢 | 500 | |||||||||||
| 片瀬江ノ島 |
| 新宿 | 450 | 450 | 450 | 600 | 600 | 700 | 700 | 950 | 1,150 | 600 | 700 | 700 | |
| 新宿 | 500 | 500 | 650 | 650 | 750 | 750 | 1,000 | 1,200 | 650 | 750 | 750 | ||
| 新百 合ヶ丘 | 450 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 450 | 450 | 600 | ||
| 新百 合ヶ丘 | 500 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 500 | 500 | 650 | ||
| 町田 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | — | — | — | |||
| 町田 | 500 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | — | — | — | ||
| 相模大野 | 450 | 450 | 450 | 450 | 700 | 900 | 450 | 450 | 450 | ||||
| 相模大野 | 500 | 500 | 500 | 500 | 750 | 950 | 500 | 500 | 500 | ||||
| 海老名 | 450 | 450 | 450 | 600 | 800 | — | — | — | |||||
| 海老名 | 500 | 500 | 500 | 650 | 850 | — | — | — | |||||
| 本厚木 | 450 | 450 | 600 | 800 | — | — | — | ||||||
| 本厚木 | 500 | 500 | 650 | 850 | — | — | — | ||||||
| 伊勢原 | 450 | 450 | 650 | — | — | — | |||||||
| 伊勢原 | 500 | 500 | 700 | — | — | — | |||||||
| 秦野 | 450 | 650 | — | — | — | ||||||||
| 秦野 | 500 | 700 | — | — | — | ||||||||
| 小田原 | - | — | — | — | |||||||||
| 小田原 | 200 | — | — | — | |||||||||
| 箱根 湯本 | — | — | — | ||||||||||
| 箱根 湯本 | — | — | — | ||||||||||
| 大和 | 450 | 450 | |||||||||||
| 大和 | 500 | 500 | |||||||||||
| 藤沢 | 450 | ||||||||||||
| 藤沢 | 500 | ||||||||||||
| 片瀬 江ノ島 | |||||||||||||
| 上段 | チケットレス特別急行料金 大人 | ||||||||||||
| 下段 | 特別急行料金 大人 |
| 新宿 | 450 | 450 | 450 | 600 | 600 | 700 | 700 | 950 | 1,150 | 600 | 700 | 700 |
| 新宿 | 500 | 500 | 500 | 650 | 650 | 750 | 750 | 1,000 | 1,200 | 650 | 750 | 750 |
| 新百合ヶ丘 | 450 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 450 | 450 | 600 | |
| 新百合ヶ丘 | 500 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 500 | 500 | 650 | |
| 町田 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | — | — | — | ||
| 町田 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | — | — | — | ||
| 相模大野 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | 450 | 450 | 450 | ||
| 相模大野 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | 500 | 500 | 500 | ||
| 海老名 | 450 | 450 | 450 | 450 | 600 | 600 | 800 | — | — | — | ||
| 海老名 | 500 | 500 | 500 | 500 | 650 | 650 | 850 | — | — | — | ||
| 本厚木 | 450 | 450 | 450 | 600 | 600 | 800 | — | — | — | |||
| 本厚木 | 500 | 500 | 500 | 650 | 650 | 850 | — | — | — | |||
| 伊勢原 | 450 | 450 | 450 | 650 | — | — | — | |||||
| 伊勢原 | 500 | 500 | 500 | 700 | — | — | — | |||||
| 秦野 | 450 | 450 | 650 | — | — | — | ||||||
| 秦野 | 500 | 500 | 700 | — | — | — | ||||||
| 小田原 | — | — | — | — | ||||||||
| 小田原 | 200 | — | — | — | ||||||||
| 箱根湯本 | — | — | — | |||||||||
| 大和 | 450 | 450 | ||||||||||
| 大和 | 500 | 500 | ||||||||||
| 藤沢 | 450 | |||||||||||
| 藤沢 | 500 | |||||||||||
| 片瀬江ノ島 |
| 新宿 | 450 | 450 | 450 | 600 | 600 | 700 | 700 | 950 | 1,150 | 600 | 700 | 700 |
| 500 | 500 | 500 | 650 | 650 | 750 | 750 | 1,000 | 1,200 | 650 | 750 | 750 | |
| 新百合ヶ丘 | 450 | 450 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 450 | 450 | 600 |
| 500 | 500 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 500 | 500 | 650 | |
| 町田 | 450 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | 900 | 450 | 450 | 450 |
| 500 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | 950 | 500 | 500 | 500 | |
| 相模大野 | 450 | 450 | 450 | 450 | 450 | 450 | 600 | 800 | 800 | 450 | 450 | 450 |
| 500 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | 950 | 500 | 500 | 500 | |
| 海老名 | 450 | 450 | 450 | 450 | 450 | 450 | 600 | 800 | 800 | 450 | 450 | 450 |
| 500 | 500 | 500 | 500 | 500 | 500 | 650 | 850 | 850 | 500 | 500 | 500 | |
| 本厚木 | 450 | 450 | 450 | 600 | 800 | 800 | 800 | 800 | 800 | 450 | 450 | 450 |
| 500 | 500 | 500 | 650 | 850 | 850 | 850 | 850 | 850 | 500 | 500 | 500 | |
| 伊勢原 | 500 | 500 | 500 | 700 | 700 | 700 | 700 | 700 | 700 | 500 | 500 | 500 |
| 秦野 | 450 | 450 | 450 | 600 | 700 | 700 | 700 | 700 | 700 | 500 | 500 | 500 |
| 小田原 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 |
| 箱根湯本 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 |
| 大和 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 |
| 藤沢 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 | 500 |
| 片瀬江ノ島 |
特急料金表(下):北千住から

| 北千住〜小田原・箱根湯本 | 北千住〜片瀬江ノ島 | ||||||||||||||||
| 北千住 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 | ||||||
| 大手町 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 | ||||||
| 甕ケ間 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 | ||||||
| 表参道 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 | ||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | 600 650 | 600 650 | |||||||||
| 成城学園前 | |||||||||||||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | |||||||||||
| 新百合ヶ丘 | |||||||||||||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | |||||||||||
| 町田 | |||||||||||||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | |||||||||||
| 相模大野 | |||||||||||||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | 450 500 | 450 500 | |||||||||
| 海老名 | |||||||||||||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 800 850 | |||||||||||
| 本厚木 | |||||||||||||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 800 850 | |||||||||||
| 伊勢原 | |||||||||||||||||
| 450 500 | 450 500 | 450 500 | 450 500 | 650 700 | |||||||||||||
| 小田原 | |||||||||||||||||
| ー 200 | |||||||||||||||||
| 箱根湯本 | |||||||||||||||||
| ー | |||||||||||||||||
| 藤沢 | |||||||||||||||||
| 450 500 | |||||||||||||||||
| 片瀬江ノ島 |
| 北千住 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 大手町 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 霞ヶ関 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 表参道 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 成城 学園前 | 450 500 | 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | 600 650 | 600 650 | |
| 新百 合ヶ丘 | 450 500 | 450 500 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | — | — | ||
| 町田 | 450 500 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | — | — | |||
| 相模 大野 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | 450 500 | 450 500 | ||||
| 海老名 | 450 500 | 600 650 | 800 850 | — | — | ||||||
| 本厚木 | 450 650 | 600 850 | — | — | |||||||
| 伊勢原 | 450 500 | 650 700 | — | — | |||||||
| 小田原 | — 200 | — | — | ||||||||
| 箱根湯本 | — | — | |||||||||
| 藤沢 | 450 500 | ||||||||||
| 片瀬 江ノ島 |
| 北千住 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 大手町 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 霞ヶ関 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 表参道 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 成城学園前 | 成城学園前 | 450 500 | 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | 600 650 | 600 650 |
| 新百合ヶ丘 | 新百合ヶ丘 | 450 500 | 450 500 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | — | — | |
| 町田 | 町田 | 町田 | 450 500 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | — | — | |
| 相模大野 | 相模大野 | 相模大野 | 相模大野 | 450 500 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | 450 450 | 450 450 |
| 海老名 | 海老名 | 海老名 | 海老名 | 海老名 | 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 800 850 | — |
| 本厚木 | 本厚木 | 本厚木 | 本厚木 | 本厚木 | 本厚木 | 450 500 | 450 500 | 450 500 | 600 650 | 800 850 | — |
| 伊勢原 | 伊勢原 | 伊勢原 | 伊勢原 | 伊勢原 | 伊勢原 | 伊勢原 | 450 500 | 450 500 | 450 500 | 650 700 | — |
| 小田原 | 小田原 | 小田原 | 小田原 | 小田原 | 小田原 | 小田原 | 小田原 | 450 500 | 450 500 | — 200 | — |
| 箱根湯本 | 箱根湯本 | 箱根湯本 | 箱根湯本 | 箱根湯本 | 箱根湯本 | 箱根湯本 | 箱根湯本 | 箱根湯本 | — | — | |
| 藤沢 | 藤沢 | 藤沢 | 藤沢 | 藤沢 | 藤沢 | 藤沢 | 藤沢 | 藤沢 | 藤沢 | 450 500 | |
| 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 | 片瀬江/島 |
| 北千住 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 大手町 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 霞ヶ関 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 表参道 | 660 710 | 660 710 | 660 710 | 660 710 | 810 860 | 810 860 | 810 860 | 1,160 1,210 | 1,360 1,410 | 910 960 | 910 960 |
| 成城 学園前 | 450 500 | 450 500 | 450 500 | 450 500 | 450 500 | 600 650 | 700 750 | 900 950 | 600 650 | 600 650 | |
| 新百 合ヶ丘 | 450 500 | 450 500 | 450 500 | 450 500 | 450 500 | 700 900 | 900 950 | - | - | ||
| 町田 | 450 500 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | - | - | |||
| 相模 大野 | 450 500 | 450 500 | 450 500 | 700 750 | 900 950 | 450 500 | 450 500 | ||||
| 海老名 | 450 500 | 450 500 | 600 650 | 800 850 | - | - | |||||
| 本厚木 | 450 500 | 600 650 | 800 850 | - | - | ||||||
| 伊勢原 | 450 500 | 650 700 | - | - | |||||||
| 小田原 | - 200 | - | - | ||||||||
| 箱根湯本 | - | - | |||||||||
| 藤沢 | 450 500 | ||||||||||
| 片瀬 江ノ島 |
| 北千住 | 660 | 660 | 660 | 660 | 810 | 810 | 810 | 1,160 | 1,360 | 910 | 910 |
| 710 | 710 | 710 | 710 | 860 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | |
| 大手町 | 660 | 660 | 660 | 660 | 810 | 810 | 810 | 1,160 | 1,360 | 910 | 910 |
| 710 | 710 | 710 | 710 | 860 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | |
| 霞ヶ関 | 660 | 660 | 660 | 660 | 810 | 810 | 810 | 1,160 | 1,360 | 910 | 910 |
| 710 | 710 | 710 | 710 | 860 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | |
| 表参道 | 660 | 660 | 660 | 660 | 810 | 810 | 810 | 1,160 | 1,360 | 910 | 910 |
| 710 | 710 | 710 | 710 | 860 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | |
| 成城学園前 | 450 | 450 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 600 | 600 |
| 500 | 500 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 650 | 650 | |
| 新百合ヶ丘 | 450 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | — | — | |
| 500 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | — | — | ||
| 町田 | 450 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | — | — | |
| 500 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | — | — | ||
| 相模大野 | 450 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | 450 | 450 | |
| 500 | 500 | 500 | 500 | 500 | 500 | 750 | 950 | 500 | 500 | ||
| 海老名 | 450 | 450 | 450 | 600 | 800 | — | — | ||||
| 500 | 500 | 500 | 650 | 850 | — | — | |||||
| 本厚木 | 450 | 450 | 600 | 800 | — | — | |||||
| 500 | 500 | 650 | 850 | — | — | ||||||
| 伊勢原 | 450 | 450 | 650 | — | — | ||||||
| 500 | 500 | 700 | — | — | |||||||
| 小田原 | — | 200 | — | — | |||||||
| 箱根湯本 | — | — | |||||||||
| 藤沢 | 450 | ||||||||||
| 500 | |||||||||||
| 片瀬江ノ島 |
| 北千住 | 660 | 660 | 660 | 660 | 810 | 810 | 1,160 | 1,360 | 910 | 910 | |
| 710 | 710 | 710 | 710 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | ||
| 大手町 | 660 | 660 | 660 | 660 | 810 | 810 | 1,160 | 1,360 | 910 | 910 | |
| 710 | 710 | 710 | 710 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | ||
| 霞ヶ関 | 660 | 660 | 660 | 660 | 810 | 810 | 1,160 | 1,360 | 910 | 910 | |
| 710 | 710 | 710 | 710 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | ||
| 表参道 | 660 | 660 | 660 | 660 | 810 | 810 | 1,160 | 1,360 | 910 | 910 | |
| 710 | 710 | 710 | 710 | 860 | 860 | 1,210 | 1,410 | 960 | 960 | ||
| 成城学園前 | 450 | 450 | 450 | 450 | 450 | 600 | 700 | 900 | 600 | 600 | |
| 500 | 500 | 500 | 500 | 500 | 650 | 750 | 950 | 650 | 650 | ||
| 新百合ヶ丘 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | 900 | 450 | 450 | |
| 500 | 500 | 500 | 500 | 500 | 750 | 950 | 950 | 500 | 500 | ||
| 町田 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | 900 | 450 | 450 | |
| 500 | 500 | 500 | 500 | 500 | 750 | 950 | 950 | 500 | 500 | ||
| 相模大野 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | 900 | 450 | 450 | |
| 500 | 500 | 500 | 500 | 500 | 750 | 950 | 950 | 500 | 500 | ||
| 海老名 | 450 | 450 | 450 | 450 | 450 | 700 | 900 | 900 | 450 | 450 | |
| 500 | 500 | 500 | 500 | 500 | 750 | 950 | 950 | 500 | 500 | ||
| 本厚木 | 450 | 450 | 450 | 600 | 800 | 800 | 800 | 800 | 800 | 450 | 450 |
| 500 | 500 | 500 | 650 | 850 | 850 | 850 | 850 | 850 | 500 | 500 | |
| 伊勢原 | 500 | 500 | 500 | 700 | 700 | 700 | 700 | 700 | 700 | 500 | 500 |
| 小田原 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 | 200 |
| 箱根湯本 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 |
| 藤沢 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 | 450 |
| 片瀬江ノ島 | |||||||||||
| 92 |
- 下の表では、モデルの差がはっきり出ました。gemma は下半分の階段の部分で同じ並びを写し続け、誤りが 56 か所になったうえ、自分で「読めない」と申告しました。Qwen は思考なしで誤り 4 か所でした。
- 強い思考は、この表では悪くなりました。同じQwen でも強度 3 では誤りが 20 か所に増え、時間は約 14 倍でした。プロンプト A と組み合わせると誤りは 1 か所でしたが、時間はさらに長くなりました。
- 大きなDeepSeek は、この表では誤りが多くなりました。強度 0 で上下合わせて 36 か所(Qwen は 6 か所)でした。ほかの 8 枚の表では、結合したセルを正解と同じく空けておくなど、Qwen と同じかそれ以上でした。強度 1 にすると 57 か所に増え、1 枚に約 19 分かかりました。DeepSeek の読み取りは 2026 年 11 月 4 日に、新しい版の Strata と別の PC で測りました。
- Strata を使う前の視覚モデルは、表の形そのものが崩れていました。階段の形の表を、どの行も同じ長さの四角い表として書き、同じ値をくり返したため、誤りは上の表で 118 か所、下の表で 96 か所でした。これはページ全体を 1 回で読ませたもので、入力の画像もプロンプトも上の読み取りとは違います。比べられるのは、表の形を保てたかどうかです。
思考の強度と精度
一番難しい特急料金表の 2 枚(料金 48 行)で、思考の強度、プロンプト、くり返しを変えて読み取らせました。続けて、RAG の回答でも強度を変えました。
表を文字に起こす
| 設定 | 誤り(2 枚) | 時間(2 枚) |
|---|---|---|
| gemma・強度 0 | 56 | 139 秒 |
| Qwen・強度 0 | 6 | 147 秒 |
| 強度 0・プロンプト B | 4 | 161 秒 |
| 強度 0・プロンプト A | 4 | 125 秒 |
| 強度 1 | 4 → 17(同じ条件で 2 回) | 約 310 秒 |
| 強度 1・プロンプト B | 7 | 623 秒 |
| 強度 1・プロンプト A | 7 | 341 秒 |
| 強度 2 | 5 | 517 秒 |
| 強度 3 | 32 | 1,987 秒 |
| 強度 3・プロンプト A | 3 | 2,383 秒 |
| DeepSeek・強度 0 | 36 | 166 秒 |
| DeepSeek・強度 1 | 57 | 2,286 秒 |
揺らぎを少し上げて(温度 0.6)、同じ設定を 3 回ずつくり返すと、ぶれの大きさが見えます。
| 設定(温度 0.6) | 1 回目 | 2 回目 | 3 回目 |
|---|---|---|---|
| 強度 0 | 7 | 40 | 73 |
| 強度 1 | 4 | 4 | 16 |
- 時間と誤りは比例しません。最も長く考えた強度 3 は、最も悪い結果(32)と最も良い部類の結果(1〜3)の両方を出しました。
- 弱い思考の効き目は「ぶれを抑える」ことでした。揺らぎがあると、強度 0 はときどき大きく崩れますが(73)、強度 1 では崩れ方が小さくなりました。平均の精度が上がるというより、最悪の場合が減ります。
- 揺らぎ 0 でも、同じ結果になるとは限りません。同じ条件の 2 回で、誤りが 4 と 17 に分かれました。1 回だけの比較では、ほとんど何も言えません。
長い思考の中身
強度 3 で約 18 分かかった回の思考を保存して調べると、約 1,400 文字の同じ文章が一字一句そのまま 16 回くり返されていました。サーバーが思考を打ち切るまで続き、くり返しの中で書かれた下書きはすべて、最終的な答えと同じでした。
考えていた内容は「この表の見出しの行はどれか」「どちらが出発でどちらが行き先か」でした。この料金表には見出しの行がなく、問いに答えが出ないまま同じ確認を回り続けていました。答えは、思考の最初の 1 割ほどで決まっていました。
質問に答える
同じ資料で、性質の違う 3 つの質問に答えさせました。回答のモデルはQwen です。
| 質問 | 強度 0 | 強度 1(3 回) | 強度 3 |
|---|---|---|---|
| 通信制の高校に通います。通学定期は買えますか(規則を当てはめる) | 63〜88 秒。断定しなかった。1 回は除外の規定まで正しく示した(よい答え) | 102〜133 秒。3 回とも「買えない」と言い切った(誤り) | 440 秒。断定しなかった |
| 新宿から南新宿までの営業キロは?(表を引く) | 43 秒。正しい | 47 秒。正しい | — |
| 北千住から本厚木までのチケットレス特急料金は?(料金表を読む) | 47 秒。「表から列が特定できない」として答えなかった | 549〜1,247 秒。3 回中 2 回正しい、1 回は別の列の値 | 1,159 秒。数字は正しいが、根拠の説明が誤り |
- 弱い思考は、もっともらしい推論で誤りを固めました。「通信制には別の割引制度があるから、通学定期の対象ではない」と筋の通った説明をつけ、除外の規定を確かめないまま言い切りました。3 回とも同じ誤りです。
- 思考なしと強い思考は、断定しませんでした。この質問では、それがよい答え方です。思考なしの 1 回は「除外されているのは第 1 号(大学)だけ」と正しく指摘していました。強い思考は時間が強度 1 の 3 倍以上かかりました。
- 料金表の質問は、思考で解く問題ではありませんでした。次の節のとおり、資料の側に原因がありました。
料金の質問を誤った本当の原因
誤答した回と正答した回は、同じ根拠(同じ 8 つの断片、同じ順番)を受け取っていました。違いは、モデルが表の列をどう推理したかだけでした。
- 印刷された料金表には、行き先の見出しの行がありません。何駅かの出発駅の行が同じ列に並び、そこから駅名が 1 列ずつ右へ下がっていく「階段状」の表です。各列の駅名は、その列の一番下(対角線の位置)に印刷されています。
- 読み取りは正しくできていました。保存された表でも、駅名は対角線の正しい位置に入っていて、表のデータだけで正解が出せます。
- 意味が失われたのは、表を検索用の文字に直す段階でした。帯の表題が列見出しとして全部の列にコピーされ、見出しらしく見えて中身のない情報になっていました。さらに、表が複数の断片に分かれ、駅名の列の位置は「前に空欄がいくつあるか」でしか表されていませんでした。
- そのため、回答するモデルは列の並びを推理するしかありませんでした。誤答した回は、出発駅の行を行き先の列と取り違え、立て直せないまま思考の上限で打ち切られていました。正答した回の 1 つも、上限に達する前にかろうじて結論を出していただけでした。
直し方と結果
取り込みのとき、階段状の表を見つけて「北千住 → 本厚木: 810」のように、組ごとに 1 行の文字に直して登録するようにしました。見つけ方は表の形だけで判断し、駅名や単位など資料の中身には頼りません。
| 北千住から本厚木までの料金 | 直す前 | 直した後 |
|---|---|---|
| 強度 0 | 47 秒。答えなかった | 18〜45 秒。正しい(3 回) |
| 強度 1 | 549〜1,247 秒。3 回中 2 回正しい | 99 秒。正しい |
- 汎用性は人工の表で確かめました。都市名やチーム名などの架空の階段状の表 7 種類は正しく直し、見た目の似た表 9 種類(普通の表、2 段の行見出し、章・節・条の目次、時刻表など)には反応しませんでした。最初の試験で、目次を誤って階段状の表と判定したので、条件を足して直しています。
- この資料では、表 46 枚のうち料金表 3 枚だけが新たに見つかりました。正方形の表 4 枚は、もとから組ごとの行に直されていました。
- 人が承認した整形の結果は、引き継いでいます。検索用の文字の版が変わっても、元の文面が同じ断片には、承認済みの整形(22 件)をそのまま移します。
回答のモデルを比べる:Qwen とDeepSeek
回答のモデルを、Strata で動くもう 1 つの、ずっと大きなllm-jpeepSeek-V4.1-Flash に替えて、同じ資料(表を直した後の版)に 14 の質問をしました。正解は、質問する前に条文から決めています。思考の強度はどちらも 0 です。
| 質問 | 正解(条文) | Qwen | DeepSeek |
|---|---|---|---|
| 北千住から本厚木までのチケットレス特急料金 | 810 円 | 正しい・45 秒 | 正しい・83 秒 |
| 新宿から南新宿までの営業キロ | 0.8 km | 正しい・34 秒 | 正しい・50 秒 |
| 通信制の高校で通学定期は買えるか | 資料だけでは決まらない(条文上は否定されていない。回数券は買える) | 断定せず、除外は大学の学生だけと示した(よい答え)・63 秒 | 断定しなかった(除外の規定には触れず)・87 秒 |
| 10 歳の子どもの通学定期、3 か月 | 2,280 円 | 正しい・57 秒 | 数字は出したが濁した・169 秒 |
| 5 歳の子ども 3 人を大人 1 人が連れて乗る | 2 人は無料、1 人は小児の運賃 | 正しい・51 秒 | 正しい・136 秒 |
| 入場券の料金 | 大人 140 円・小児 70 円 | 正しい・27 秒 | 正しい・108 秒 |
| 使わなかった普通乗車券の払い戻し手数料 | 100 円(連絡乗車券は 220 円) | 正しい・34 秒 | 正しい・122 秒 |
| 特急券の払い戻しの期限と手数料 | 列車が出る時刻まで・100 円 | 正しい・37 秒 | 正しい・135 秒 |
| 1 km 未満の端数の扱い | 1 km に切り上げ | 正しい・24 秒 | 正しい・114 秒 |
| 通勤定期の鉄道駅バリアフリー料金 | 1 か月 600 円 | 正しい・24 秒 | 正しい・115 秒 |
| 乗っている途中で乗車券の有効期間が切れたら | 途中下車しなければ着駅まで使える | 正しい・46 秒 | 正しい・139 秒 |
| 猫をケージに入れて乗れるか | 乗れる(無料、3 辺の和 120 cm・10 kg 以内) | 正しい・38 秒 | 条件は正しいが濁した・170 秒 |
| スーツケースは何個まで無料で持ち込めるか | 2 個(30 kg 以内、長さ 2 m まで) | 正しい・24 秒 | 条件は正しいが濁した・134 秒 |
| 使用開始前の定期券の払い戻し手数料 | 220 円 | 正しい・24 秒 | 正しい・111 秒 |
- 大きなモデルでも、正答は増えませんでした。DeepSeek は、根拠の文に質問の言葉そのものが出てこないと結論を濁しました。規則に「スーツケース」という語はなく、猫が「小動物」に当たるかや、10 歳が「小児」に当たるかも、受け取った根拠には書かれていませんでした。中身はどれも正しく、誤りを言い切ることはありませんでした。
- DeepSeek に考えさせても、答えは変わりませんでした。最初の 3 問を強度 1 でも試しましたが、答えは強度 0 と同じで、時間だけが 1.3〜6 倍になりました。通信制の質問は、考えさせても断定しませんでした。
- DeepSeek の遅さは、この PC の構成によるものです。モデルの大部分が GPU にも RAM にも収まらず、1 トークンごとに SSD から約 250 MB を読み、残りを CPU(6 コア)で計算していました。GPU 1 枚では生成が毎秒 2.4 トークンでした。2 枚に分け、RAM に置く量を増やすと毎秒 3.7 トークンになり、回答の時間は 2.3〜2.8 倍短くなりました。
- この資料とこの PC では、Qwen が回答に向いていました。正しく言い切る数が多く、3〜4 倍速いからです。DeepSeek のよさは、誤りを言い切らないことでした。Qwen は、強度 1 で考えさせたときに 3 回とも誤りを言い切っています。
11 月 4 日の再確認:新しい版と、どの資料にも使える指示
Strata 0.2.10 で、CPU 2 基の PC を使って同じ質問をし直しました。あわせて、どの資料にも使える指示を 2 つ回答のプロンプトに足して、効くかを試しました。1 つの資料に合わせた指示は使わない、という条件です。
通信制の質問は、解釈で答えが分かれる質問だった
条文を読み直すと、通学定期の規定が除いているのは通信教育の大学の学生だけで、通信制高校の生徒は除かれていません。ただし、実際に通学定期を買えるかは、学校(指定学校か、通学証明書を出すか)や鉄道会社の扱いによります。この資料だけでは決まらないのが運用上の正解です。そこでこの質問は、「回数券は買える」「通学定期は条文上否定されていない(学校しだい)」を示して断定しない答えをよい答えとし、「買えない」と言い切る答えを誤りとして、これまでのすべての回答を採点し直しました。
| 条件 | Strata | 回数 | よい答え | 断定しないが不十分 | 「買えない」と言い切った |
|---|---|---|---|---|---|
| Qwen・強度 0 | 0.2.4.2 | 2 | 1 | 1 | 0 |
| Qwen・強度 1 | 0.2.4.2 | 3 | 0 | 0 | 3 |
| Qwen・強度 3 | 0.2.4.2 | 1 | 0 | 1 | 0 |
| DeepSeek・強度 0 と 1 | 0.2.4.2 | 4 | 0 | 4 | 0 |
| Qwen・強度 0 | 0.2.9 | 4 | 0 | 0 | 4 |
| Qwen・強度 0 | 0.2.10 | 3 | 2 | 1 | 0 |
| Qwen・強度 1 | 0.2.10 | 3 | 1 | 0 | 2 |
| DeepSeek・強度 0 | 0.2.10 | 3 | 0 | 3 | 0 |
| DeepSeek・強度 1 | 0.2.10 | 3 | 2 | 1 | 0 |
| llm-jp(Strata 導入前の回答モデル) | 導入前 | 3 | 0 | 3 | 0 |
- 思考で言い切りが増える傾向は、新しい版でも同じでした。Qwen は強度 1 で 6 回中 5 回「買えない」と言い切りました。
- 同じQwen・強度 0 でも、版と日によって答えが分かれました。0.2.10 では 3 回中 2 回がよい答えでしたが、0.2.9 では 4 回とも「買えない」でした。回数が少なく、版の違いによるとまでは言えません。
- DeepSeek は一度も言い切りませんでした。0.2.10 の強度 1 では、除外は大学の学生だけという点まで示しました。
ほかの質問と速さ
- 料金、キロ、ほかの 11 問の答えは、以前と同じでした(Qwen は 13 問とも正しく言い切り、DeepSeek は 3 問を濁した)。
- 11 問の回答時間の平均は、Qwen が 26 秒(以前 35 秒)、DeepSeek が 52 秒(以前 132 秒)に縮みました。DeepSeek の重みの大部分を RAM に置ける PC になったためです。
- 表の読み取りでは、DeepSeek は普通の表で最も正確でしたが、階段状の料金表では誤りが多くなりました(下の一覧)。
どの資料にも使える指示を足すと
回答のプロンプトに、次の 2 つの指示を足して比べました。指示 1:根拠が禁止や除外をはっきり書いていない限り「できない」と結論せず、書かれていることと書かれていないことを分けて答える。指示 2:一般の規定と特定の場合の規定が並ぶとき、特定の規定を、書かれた範囲を超えて一般の規定を打ち消すものとして扱わない。評価には、この資料のほかに、指示を作るときに見ていない家電の取扱説明書(204 ページ)の 14 問も使いました。正解は質問する前に原文から決めています。
| 設定(Qwen・強度 0、0.2.9) | 取扱説明書 14 問 | この資料 13 問 | 通信制の質問(3 回) |
|---|---|---|---|
| 今のプロンプト | 14 | 13 | 3 回とも「買えない」 |
| 指示 1 | 14 | 13 | 3 回とも「回数券を買うことになる」 |
| 指示 2 | 14 | 12 | 3 回とも「回数券を買うことになる」 |
| 指示 1 と 2 | 14 | 13 | 3 回とも「回数券を買うことになる」 |
- どちらの指示も効きませんでした。指示 1 で「買えない」という言い方は消えましたが、「通学定期ではなく回数券を買うことになる」と言い換えただけで、結論は同じでした。
- 指示 2 は 1 問を悪くしました。幼児 3 人の質問で、3 人目に運賃がかかるという肝心の答えを書かず、推測を足しました。
- 取扱説明書では差が出ませんでした。今のプロンプトで満点でした。指示を足しても、はっきり禁止された事柄で答えを濁すことはなく、書かれていない事柄(無線のイヤホン、動画サービス、スマートフォン)には、どれも「記載がない」と答えました。
- 使っているプロンプトは、資料に依存していません。回答、検索の計画、本文の整形、表の読み取りのプロンプトを見直し、この資料の言葉が入っていないことを確かめました。この資料から作った工夫のうち、プロンプト A の例と、階段状の表を「出発 → 行き先」の行に直す書き方には、料金表の発想が残っています。
11 月 5 日の測り直し:PC を替えると、解釈の質問の答えが変わった
以前の PC(Core i7-7800X、以下 i7)の RAM を 125 GiB に増やし、CPU 2 基の PC で使っていた GPU 2 枚を移しました。そのうえで、11 月 4 日と同じ Strata 0.2.10、同じ設定、同じ索引、同じ質問で測り直しました。違うのは PC だけです。
| 条件 | 通信制以外の 13 問:正しく言い切った | 11 問の平均時間 | 通信制:よい答え | 通信制:「買えない」と言い切った |
|---|---|---|---|---|
| Qwen・強度 0 | 13(13) | 19 秒(26 秒) | 0(2) | 3(0) |
| Qwen・強度 1 | — | — | 0(1) | 3(2) |
| DeepSeek・強度 0 | 11(10) | 46 秒(52 秒) | 2(0) | 0(0) |
| DeepSeek・強度 1 | — | — | 2(2) | 0(0) |
| llm-jp(Strata 導入前の回答モデル) | 11(11) | 28 秒(39 秒) | 0(0) | 3(0) |
- 表の読み取りと事実の質問は、ほぼ同じでした。表の読み取りの一致(10 枚の F1)は、Qwen が 0.85 で同じ、DeepSeek が 0.86(前は 0.88)でした。事実の 13 問は、Qwen が毎回正しく言い切りました。DeepSeek は前より 1 問多く言い切り、濁したのは 2 問でした。
- 回答は 1〜3 割速くなりました。回答の時間の大半は CPU での検索なので、1 コアの速い i7 が効いたと見ていますが、確かめてはいません。一方、Qwen の表の読み取りは 1 枚 100 秒で、前より 16% 遅くなりました。理由は調べていません。
- 通信制の質問では、Qwen と llm-jp が 3 回とも「買えない」と言い切りました。CPU 2 基の PC では、Qwen・強度 0 は 3 回中 2 回がよい答え、llm-jp は 3 回とも条件付きの答えでした。重みも温度 0 も同じで、違うのは PC だけです。llm-jp では、質問を分解する最初の段階から出力が違い、検索した根拠も一部が入れ替わっていました。温度 0 でも、PC が違えば答えは同じになりません。
- DeepSeek は、ここでも一度も言い切りませんでした。2 台の PC で合わせて 16 回です。i7 では強度 0 と 1 で各 2 回がよい答えで、除外は大学の学生だけだと示すか、指定学校かどうかによると示しました。
- llm-jp は、幼児 3 人の質問で答えが変わりました。CPU 2 基の PC では回答の長さの上限で切れましたが、i7 では答えが返り、5 歳を小児とする誤りでした。
- 総合評価は変わりません。事実の検索には使え、解釈で答えが分かれる質問にはまだ頼れません。DeepSeek の expert は 125 GiB の RAM にも入りきらず、一部を SSD から読みましたが、回答は前より速くなりました。
11 月 5 日夕方:Qwen の expert を 4 ビットの NVFP4 にしても、答えの質は変わらなかった
Qwen3.8-Flash-Next の expert を、UD-Q4_K_XL から NVFP4(NVIDIA の 4 ビットの形式、Strata 用の GPTQ 版)に替えました。expert が 12% 小さくなり、長いプロンプトの読み込みと生成が速くなります(研究ページ)。小さくした分だけ答えが悪くならないかを、同じ i7 の PC、同じ索引、同じ質問で、UD と同じ時間帯に比べました。どちらも、昼に見つけた速い層の分け方を使っています。
| 確かめたもの | UD-Q4_K_XL | NVFP4 |
|---|---|---|
| 通信制以外の 13 問:正しく言い切った(強度 0) | 13 | 13 |
| 11 問の平均時間(強度 0) | 16 秒 | 15 秒 |
| 通信制:よい答え/回数(強度 0) | 0/3 | 0/3 |
| 通信制:よい答え/回数(強度 1) | 0/5 | 0/5(1 回は「資料からは断定できない」と濁した) |
| 表の読み取り:10 枚の一致(F1) | 0.87 | 0.87 |
| 表の読み取り:1 枚の平均 | 95 秒 | 87 秒 |
| 階段状の料金表の誤り(強度 0、上+下) | 1 + 2 | 3 + 0 |
| 階段状の料金表の誤り(強度 1、上+下) | 1 + 7 | 1 + 0 |
- 事実の質問は、どちらも 13 問すべてを正しく言い切りました。答えの中身(金額・条件・結論)も同じで、違いは言い回しだけでした。質問を分解する最初の段階はモデルが行うので、検索した根拠は半分ほどの質問で入れ替わりましたが、点数は変わりませんでした。
- 表の読み取りも同じでした。階段状の料金表の誤りは、回ごとに 0〜7 の間で揺れます。今回は NVFP4 のほうが少なめでしたが、各 1 回では揺れの範囲です。
- 通信制の質問は、どちらも多くの回で「回数券を購入」と言い切りました。強度 1 でも同じです。NVFP4 の 1 回は、除外が大学の学生だけで通信制高校は明記されていないことを示し、「通学定期を買えるかは資料からは断定できない」としましたが、最初の文で回数券と言い切っているので、よい答えには数えていません。UD にも、除外の条文を正しく引いたうえで回数券と言い切った回がありました。
- 速さは NVFP4 が上でした。回答は 1 問あたり約 1 割、表の読み取りは 1 枚あたり約 8% 速くなりました。この結果を受けて、普段使いを NVFP4 に切り替えました。
- 差が無いとまでは言えません。Strata 公式の測定では、NVFP4 は 8 ビット版とのずれが UD より少し大きい(KL 0.070 と 0.056)とされています。この差は、今回の課題の回ごとの揺れより小さく、見分けるには同じ問題を何十回も解かせる必要があります。
すべての試験の一覧(Strata 導入前を含む)
同じ切り抜き 10 枚と同じ採点で比べた表の読み取りと、同じ質問で比べた回答を、版と PC の違いも含めて並べました。以前の視覚モデルは Qwen2.5-VL-7B-Instruct です。
表の読み取り
| 条件 | Strata | 10 枚の一致(F1) | 1 枚の平均 | 階段状の料金表の誤り(上+下) | その 2 枚の時間 |
|---|---|---|---|---|---|
| 以前の視覚モデル(Qwen2.5-VL-7B)・ページ全体 | 導入前 | — | — | 118 + 96 | 73 秒(ページ 1 枚) |
| gemma・強度 0(当時の出力上限 256) | 導入前 | — | — | 2 枚とも途中で切れ、「読めない」 | 9 + 9 秒 |
| gemma・強度 0(出力上限 8192) | 導入前 | 0.72(申告を無視すると 0.90) | 52 秒 | 0 + 56 | 69 + 70 秒 |
| Qwen・強度 0 | 0.2.4.2 | 0.86 | 106 秒 | 2 + 4 | 71 + 76 秒 |
| Qwen・強度 1 | 0.2.4.2 | — | — | 1 + 3(再実行で 1 + 16) | 195 + 125 秒 |
| Qwen・強度 3 | 0.2.4.2 | — | — | 12 + 20 | 927 + 1,060 秒 |
| Qwen・強度 0 | 0.2.10 | 0.85 | 86 秒 | 2 + 6 | 69 + 71 秒 |
| Qwen・強度 1 | 0.2.10 | — | — | 2 + 13 | 130 + 105 秒 |
| DeepSeek・強度 0 | 0.2.10 | 0.88 | 96 秒 | 14 + 22 | 75 + 91 秒 |
| DeepSeek・強度 1 | 0.2.10 | — | — | 19 + 38 | 1,160 + 1,126 秒 |
| Qwen・強度 0(i7) | 0.2.10 | 0.85 | 100 秒 | 3 + 4 | 86 + 81 秒 |
| Qwen・強度 1(i7) | 0.2.10 | — | — | 5 + 169(書式のずれ。直すと 5 + 3) | 80 + 108 秒 |
| DeepSeek・強度 0(i7) | 0.2.10 | 0.86 | 96 秒 | 20 + 18 | 93 + 86 秒 |
| DeepSeek・強度 1(i7) | 0.2.10 | — | — | 22 + 38 | 1,224 + 1,148 秒 |
| Qwen・強度 0(i7、速い層の分け方、UD) | 0.2.10 | 0.87 | 95 秒 | 1 + 2 | 84 + 80 秒 |
| Qwen・強度 1(i7、速い層の分け方、UD) | 0.2.10 | — | — | 1 + 7 | 96 + 55 秒 |
| Qwen・強度 0(i7、NVFP4) | 0.2.10 | 0.87 | 87 秒 | 3 + 0 | 75 + 70 秒 |
| Qwen・強度 1(i7、NVFP4) | 0.2.10 | — | — | 1 + 0 | 49 + 57 秒 |
- 速さ:普通の表は、Strata 導入前のgemma が最も速く(1 枚 52 秒)、Strata のQwen は 0.2.4.2 で約 2 倍、0.2.10 で約 1.7 倍かかりました。
- 普通の表の正確さ:申告を無視すれば、gemma(0.90)、DeepSeek(0.88)、Qwen(0.85〜0.86)はほぼ同じです。実際のパイプラインでは、gemma は自分の読み取りを捨てていました。
- 階段状の料金表:Strata 導入前は、ページ全体の読み取りで誤り 214、当時の設定のgemma では空でした。Strata のQwen・強度 0 で誤り 6〜8 になり、これが最もよい結果です。強い思考とDeepSeek は、この表では悪くなりました。
回答(この資料の質問)
| 条件 | Strata | 通信制以外の 13 問:正しく言い切った | 濁した | 11 問の平均時間 | 通信制の質問(よい答え/回数) |
|---|---|---|---|---|---|
| llm-jp(Strata 導入前の回答モデル) | 導入前 | 11 | 1(ほかに 1 問は回答なし) | 39 秒 | 0/3 |
| Qwen・強度 0 | 0.2.4.2 | 13 | 0 | 35 秒 | 1/2 |
| DeepSeek・強度 0 | 0.2.4.2 | 10 | 3 | 132 秒 | 0/2 |
| Qwen・強度 0 | 0.2.9 | 13 | 0 | 24 秒 | 0/4 |
| Qwen・強度 0 | 0.2.10 | 13 | 0 | 26 秒 | 2/3 |
| DeepSeek・強度 0 | 0.2.10 | 10 | 3 | 52 秒 | 0/3 |
| llm-jp(i7) | 導入前 | 11 | 1(ほかに 1 問は誤り) | 28 秒 | 0/3 |
| Qwen・強度 0(i7) | 0.2.10 | 13 | 0 | 19 秒 | 0/3 |
| DeepSeek・強度 0(i7) | 0.2.10 | 11 | 2 | 46 秒 | 2/3 |
| Qwen・強度 0(i7、速い層の分け方、UD) | 0.2.10 | 13 | 0 | 16 秒 | 0/3 |
| Qwen・強度 0(i7、NVFP4) | 0.2.10 | 13 | 0 | 15 秒 | 0/3 |
- Strata 導入前の回答モデル(llm-jp)は、13 問中 11 問を正しく言い切りました。料金の質問では、根拠にある 2 つの金額のどちらが正しいか決めずに濁しました。幼児 3 人の質問では、考えを書くうちに回答の長さの上限に達して途中で切れ、回答が出ませんでした(途中までの内容は正しい読みでした)。11 問の平均は 39 秒で、生成は速く、時間の大半は CPU での検索です。i7 の PC では、幼児 3 人の質問にも答えが出ましたが、5 歳を小児とする誤りでした。
- 回答の点数では、Strata の効果は小さく(11 問 → 13 問)、大きかったのは表の読み取りでした。
- 点数は、Strata の版を変えても同じでした。Qwen は 13 問を毎回正しく言い切り、DeepSeek は同じ 3 問を濁しました(i7 の PC では 2 問)。違いが出たのは、解釈で分かれる通信制の質問だけです。
- 速さは、0.2.4.2 から 0.2.10 で、Qwen が約 1.3 倍、DeepSeek が約 2.5 倍になりました。DeepSeek は PC が変わった効果が大きく、版だけの効果ではありません。
Strata への報告
この研究の中で Strata の公式に提出した報告です。測定の結果は公式ベンチマークの様式で、見つけた不具合は再現の手順と直し方の案をつけて出しています。
--vram-reserve-later-mib 1400 で直る
Comment · #3470後ろのカードの VRAM が埋まるとどうなるかエンジンが止まる実例として #3702 を紹介
Benchmark · PR #2793RTX 3060 on an AVX-only Xeon E5-2630 v2AVX のみの CPU での測定と、スロットの影響の切り分け
Issue #3407lifeline の見張り役が子プロセスを止めないプロセスの状態の変化を、別のプロセスと取り違える
Issue #3409isa_guard_check の許可一覧の漏れtq_rows_avx512 が一覧にない
Issue #3412ggml_tq_overlay が CMake 3.x で失敗-P モードで IN_LIST が使えない
Comment · #3235strata_bench.py の NameError: portLinux でも起きることを追加報告
条件と制限
- 資料は 1 つだけです。表の読み取りの比較は 10 枚、思考の強度の比較は料金表 2 枚、回答は 14 の質問です(DeepSeek は、強度 1 を最初の 3 問だけで試しました)。
- くり返しは多くても 3 回です。揺らぎ 0 でも結果が変わるので、1 回だけの差は誤差の範囲かもしれません。
- 思考の強度の比較は、ほぼQwen だけで行いました。ほかのモデルで同じ傾向になるかは、DeepSeek の 3 問でしか確かめていません。
- DeepSeek の速さは、この PC(GPU 2 枚、RAM 64 GB、SSD の読み出し 1.5〜1.9 GB/s)での値です。RAM や SSD が速い PC では大きく変わります。RAM を 125 GiB にした 11 月 5 日の i7 の PC でも、DeepSeek の expert は RAM に入りきらず、一部を SSD から読みました。
- 料金表の採点に使った正解は、印刷された画像から人が書き写したものです。承認済みのデータそのものにも、いくつか誤りがありました。
- 階段状の表の直し方は、この資料のほかには人工の表でしか確かめていません。値が見出しの左にある表や、左右が逆の表には、まだ対応していません。
- 通信制の質問のように解釈で答えが分かれる質問は、決めた 1 つの正解で採点すると、モデルの良し悪しを取り違えます。11 月 4 日に、この質問だけ採点の仕方を改めました。
- どの資料にも使える指示の試験は、資料 2 つ、各条件 1 回です。別の資料の質問はもともと満点だったので、指示の効き目を見分けるには、もっと難しい質問が必要です。
- 一覧の版の比較は、PC も違います(0.2.4.2 は以前の PC、0.2.9 と 0.2.10 は CPU 2 基の PC)。llm-jp は、Strata 導入前の環境そのものではなく、今の検索の仕組みと索引で動かしたものです。各質問 1 回(通信制は 3 回)なので、1〜2 問の差は 1 回の揺らぎでも生じえます。11 月 5 日の測り直しで、同じ設定でも PC が違うと答えが変わることを確かめました。