要約と目次
要約
- 効いたのは用語集でした。4 語の用語集を渡すと、どの設定でも 5 回とも 5 か所中 2〜3 か所を直しました。渡さないと、ほとんど直りませんでした(2 つのモデルの 4 つの設定を合わせて 20 か所中 3 か所)。
- 思考を加えても、直る数はほとんど増えませんでした。時間は 10 倍前後に延び、読み手自身の言い間違いまで「正しい語」に書き換えました。
- 正しい語に見える誤りは、手がかりなしでは見つかりません。「内製化」が「内成果」になった誤りは、どちらのモデルも「成果」と読んで直しませんでした。
- 辞書の読み候補から選ばせる方法は、安定しませんでした。正解は候補の 1 位に入っていても、モデルが正しく選んだのは 10 回中 3〜4 回でした。
- 音声認識の側にも直せる問題がありました。ストリーミングの既定の設定では文の末尾が欠け、設定を 1 つ変えると欠けがなくなりました。
わかったこと
用語集で、直る数が約 4 倍
2 つのモデルの 4 つの設定で、直した数の合計です。用語集なしでは 20 か所中 3 か所、ありでは 11 か所でした。用語集には、5 か所のうち 3 か所の正解そのものが入っています。
思考は遅く、余計に直す
思考ありは 1 回 4〜10 分かかりました。直す数は用語集ありで 2〜3 か所から 3 か所に増えただけで、言い間違いまで書き換える回が出ました。
候補があっても選べない
辞書の読み検索で正解を候補に入れても、モデルが正解を選んだのは 10 回中 3〜4 回でした。同じ候補と文脈でも、回によって選ぶ語が変わりました。
音声認識は設定で文末が戻る
既定の設定では 16 文中 5 文の末尾が欠けました。確定の方式を変えると欠けはなくなりましたが、長い発話で同じ文が重なる問題が残りました。
訂正の精度を決めたもの
誤認識の多くは、文脈だけでは元の語を当てられません。その分野の語を渡すと、思考なしでも数十秒で直り、正しい行を書き換えることもありませんでした。
思考ありは、話し手が実際に言った言い間違いや表記の揺れまで「直す」ことがありました。文字起こしは話した通りに残すのが目的なので、これは誤りです。
資料と条件
- 音声:人物紹介の文章を、USB のサウンドアダプタにつないだマイクで約 2 分半読み上げました。音声認識の確定した文は 29 文です。個人が特定できる語を含むため、このページには文章の中身を載せていません。
- 音声認識:CrispASR 0.8.49 の日本語モデルを CPU で動かし、話しながら文字にするストリーミングの形で使いました。
- 誤認識:読み上げた文章は公開されている人物紹介で、その本文と全文を照合しました。誤認識は 5 か所です(下の表)。うち 1 か所は、読み上げの前の独り言の中にあり、読み手が確かめました。
- モデル:Strata で動かす 2 つのモデルを使いました。RAG のページと同じく「モデル A」「モデル C」と書きます。モデル C のほうがずっと大きなモデルです。
- 用語集:4 語。5 か所のうち 3 か所の正解そのものを含み、「戦略人事」は含みません。人名は、音声認識が書いた誤った漢字のまま入れていました(照合で判明)。正解を知っている状態で作ったので、実際の使い方より有利な条件です。
- 指示文:思考なしは「確信がなければ変えない」、思考ありは「音が近く文脈に合う語があれば直す」と、指示文が違います。思考の有無だけを比べたものではありません。
- 採点:5 か所のうち直した数と、直すべきでない箇所(正しい文、読み手の言い間違い、表記)を書き換えたかどうかを数えました。
| 誤認識 | 正しい語 | 種類 |
|---|---|---|
| 執筆集一郎 | 執筆者一覧 | 2 語にまたがる。後半は人名のような語になった |
| 正解 | 正会員 | 正しい語に見える。音が 2 つ足りない |
| 内成果 | 内製化 | 読みは同じ(ナイセイカ) |
| 戦略陣地 | 戦略人事 | 読みが近い。用語集に入っていない。読み上げの前の独り言の中 |
| (人名) | (人名) | 姓と名の 2 文字が、読みが同じ別の漢字になった。用語集には誤った側の漢字を入れていた |
台本との照合
| 台本との違い | 箇所 | 文字 |
|---|---|---|
| 誤認識(上の表のうち、台本の範囲の 4 か所) | 4 | 8 |
| 読み手の読み間違い・言い直し(音声認識は話した通りに書いていた) | 2 | 7 |
| 表記の違い(「出来ない」と「できない」など。読みは同じ) | 8 | 17 |
| 合計 | 14 | 32 |
音声認識:文末が欠ける
ストリーミングの文字起こしは、話している途中の音声を何度も認識し直します。この認識し直しの扱いで、出力が大きく変わりました。
| 設定 | 結果 |
|---|---|
--live(3 秒ごとに直近 10 秒を認識) | 同じ文が約 3 回ずつ重なって出る |
--stream-json --vad、既定の確定方式 | 重なりはないが、文の末尾が欠ける。別の録音の先頭 75 秒で 16 文中 5 文 |
同上、--stream-final-mode prefix | 末尾の欠けは 16 文中 0 文。ただし 10 秒を超える発話で同じ語句が重なり、1 か所に文字化け(U+FFFD)が残った |
- 訂正の試験には、最後の設定の出力(29 文)を使いました。重なりと文字化けはそのまま残し、モデルが扱えるかも見ています。
- 欠けや重なりがなぜ起きるかは、コードまでは追っていません。認識の間隔を広げる設定(5 秒ごとに直近 20 秒)も、まだ試していません。
LLM による訂正
29 文をまとめてモデルに渡し、誤認識だけを直すよう指示しました。揺らぎ(温度)は 0.1 です。
8 つの設定を 1 回ずつ
| 設定 | 直した数(5 か所中) | 直すべきでない箇所の書き換え | 時間 |
|---|---|---|---|
| モデル A・用語集なし・思考なし | 0 | なし | 28.6 秒 |
| モデル A・用語集あり・思考なし | 2 | なし | 16.4 秒 |
| モデル A・用語集なし・思考あり | 1 | 言い間違い 1 | 333.7 秒 |
| モデル A・用語集あり・思考あり | 3 | なし | 299.7 秒 |
| モデル C・用語集なし・思考なし | 0 | なし | 45.1 秒 |
| モデル C・用語集あり・思考なし | 3 | なし(文字化けも直した) | 35.6 秒 |
| モデル C・用語集なし・思考あり | 2(+一部 1) | 言い間違い 1 | 587.9 秒 |
| モデル C・用語集あり・思考あり | 3 | 言い間違い 1、表記 1 | 519.2 秒 |
- 用語集なしでは、どちらのモデルも「内成果」を「成果」と読みました。思考ありでも「内製化」にはたどり着きませんでした。
- 「戦略人事」を直したのは、モデル C・用語集なし・思考ありの 1 回だけでした。用語集に入っていない語は、用語集ありの設定では一度も直りませんでした。
用語集ありを 5 回ずつ
1 回だけでは偶然の差と区別できないので、用語集ありの 4 つの設定を 5 回ずつくり返しました。
| 設定(用語集あり) | 直した数(5 か所中) | 書き換えがあった回 | 時間 |
|---|---|---|---|
| モデル A・思考なし | 5 回とも 2 | 0 / 5 | 25 秒 |
| モデル C・思考なし | 5 回とも 3 | 0 / 5 | 40 秒 |
| モデル A・思考あり | 5 回とも 3 | 2 / 5 | 269〜350 秒 |
| モデル C・思考あり | 5 回とも 3 | 5 / 5 | 345〜551 秒 |
- 結果はほとんどぶれませんでした。どの設定も、直した数は 5 回とも同じでした。違いが出たのは、書き換えるかどうかです。
- この条件で一番良かったのは、モデル C・思考なしでした。5 回とも 3 か所を直し、正しい箇所には一度も手を付けませんでした。1 回 40 秒です。
- 思考ありは、モデル A では 1 か所多く直しましたが、その代わりに 11〜14 倍の時間がかかり、言い間違いを書き換える回が出ました。話した通りに残すことが目的なら、この差は割に合いません。
辞書の読み候補を渡す
実際の使い方では、正解の入った用語集は用意できません。そこで用語集の代わりに、一般の辞書から読みの近い語を探して候補として渡す方法を試しました。辞書は SudachiDict(2026-10-15 版)の名詞、約 234 万語です。
| 誤認識 | 読みの近い語の検索 | 候補 5 語から選ばせた結果(10 回) |
|---|---|---|
| 内成果 | 内製化が 1 位(読みが同じ) | 内製化 4、別の語 6 |
| 戦略陣地 | 戦略人事が 1 位 | 戦略人事 3、別の語 4、変えない 3 |
| 執筆集一郎 | 前半の執筆者は候補に入る。一覧は 1,247 件中 329 位 | 執筆者だけ 7、別の語 3 |
| 正解 | 正会員は 3,738 件中 3,727 位で候補に入らない | 変えない 8、別の語 2 |
- 辞書は正解を持っていました。試した 4 か所のうち 2 か所は、正解が読み検索の 1 位でした(人名は照合の前の試験なので、対象に入っていません)。足りなかったのは辞書の語ではありません。
- 候補から選ぶ段階で外れました。正解が候補にある 2 か所で、正しく選んだのは 10 回中 3 回と 4 回です。同じ候補と文脈でも、回によって「内製化」と別の語に分かれました。指示を強めても良くなりませんでした。
- 残りの 2 か所は、検索の方法の問題です。「正解」は辞書にある普通の語で、誤りに見えません。「執筆集一郎」は 2 語にまたがり、1 語ずつ探す検索では「執筆者一覧」が出てきません。辞書を大きなものに替えても、候補が増えて選ぶのが難しくなるだけだと考えています。
- 誤りでない箇所は書き換えませんでした。モデルに誤りを探させると 7 か所を挙げ、人名を除く 4 か所の誤認識をすべて含んでいました。残る 3 か所は誤りではありません。そのうち 2 か所にも候補を渡しましたが、書き換えたのは 20 回中 0 回でした。
条件と制限
- 音声は約 2 分半、読み手は 1 人、文章は 1 つです。
- 台本との照合は、空白と句読点を除いた文字で行いました。違いが誤認識か、読み間違いか、表記の違いかは、読み手の確認と人の判断で分けています。音声は保存していません。
- 人名の誤認識は照合で見つかったので、辞書の試験には入っていません。
- 用語集は 4 語で、正解の語を含んでいます。関係のない語を混ぜた大きな用語集(50〜1,000 語)でも同じように直るかは、まだ試していません。
- 思考なしと思考ありで指示文が違います。思考の効き目だけを取り出した比較ではありません。
- くり返しは多くて 5 回です。1 回だけの設定の差は、偶然の範囲かもしれません。
- 時間は、この PC(GPU 2 枚、Strata の AVX ビルド)での値です。