ローカル AI だけで 15 秒 CM を作り、Strata(Qwen)が映像を監修して自分で直しました
LAN の 2 台の PC だけで、架空のトマトケチャップの CM を約 25 分で作りました。Strata が企画・監修・直しの計画・版選びを受け持ち、Qwen-Image・MiniMax-H3・VOICEVOX が絵・動画・声を作ります。Qwen は完成した映像から大きな問題(ボトルが空・男の子が別人・絵に無い手)を観点なしでも自分で見つけ、共通の見本の絵を使って直し、最後は全部の版から最良を選んで組みました。構成・道具・役割・結果は Strata の動画生成にあります。
Strata 0.2.15 にしました:長いプロンプトの読み込みが約 7% 速く、生成と答えは同じでした
0.2.14 から、プロンプトの読み込みが llama.cpp 由来のコードから Strata 自身のカーネルに替わりました(NVFP4 の expert も含みます。0.2.15 はアプリ側だけの更新で、エンジンは 0.2.14 と同じです)。0.2.15 をソースからビルドし、普段使いの設定(RTX 5060 Ti 16 GB 1 枚、Qwen3.8-Flash-Next NVFP4)で 0.2.13 と交互に 2 回ずつ起動して比べました。
| 版 | 31.1K トークン | 26.2K トークン | 約 5K トークン | 約 0.5K トークン | 生成 |
|---|---|---|---|---|---|
| Strata 0.2.13 | 33.6 / 34.7 s | 33.1 / 33.3 s | 10.6 / 10.8 s | 4.2 / 4.3 s | 34.2 / 34.0 tok/s |
| Strata 0.2.15 | 31.5 / 31.5 s | 30.8 / 30.7 s | 10.3 / 10.4 s | 4.0 / 4.0 s | (28.4)/ 33.8 tok/s |
最初のトークンまでの時間、1 回目 / 2 回目の起動。生成は 6,500 字の要約 4 回の平均。温度 0、思考なし。
- 長いプロンプトは約 2.5 秒速くなりました。2 回とも同じ差です。1 回に読む塊が 10,496 から 12,544 トークンに大きくなり、expert を置く枠も少し増えました。起動も 45〜60 秒から 45 秒になりました。
- 生成の速さは変わりませんでした。0.2.15 の 1 回目の(28.4)は、最後の 1 本が測定中に別の重い処理と重なったもので、2 回目は 0.2.13 と同じでした。
- 表を読む RAG(16 問)の答えも同じでした。15 問は正しく答え、使った根拠もほぼ同じでした。1 問は答えの形式(JSON)が崩れて取りこぼしましたが、同じ問いを 5 回ずつ聞き直すと 0.2.13 でも 0.2.15 でも 1 回ずつ起きたので、版の違いではありません。
- この結果の範囲。1 台、GPU 1 枚、1 つのモデル(NVFP4)、各版 2 回の起動です。2 枚の構成と DeepSeek は測っていません(0.2.13 のままです)。
ドローンを LLM で動かす試験は、「Strata のフィジカル AI 応用」のページに移しました
llama.cpp と 3 回ずつ飛ばした比べ(Strata が平均 305 秒・3 回とも完了)、画像を GPU で読む設定、ROS 2 経由の操作、身体性向けの VLM(Cosmos-Reason2-8B)との比べは、Strata のフィジカル AI 応用にあります。
同じモデル・同じ GGUF で最新の llama.cpp と比べても、Strata のほうが速いままでした:読み込み約 2〜4 倍、生成約 1.7 倍
i7-7800X の機械に RTX 5060 Ti 16 GB を 1 枚だけ挿して、Qwen3.8-Flash-Next を Strata 0.2.13 と llama.cpp b12387(11/14 公開、CUDA 版の配布物)で動かしました。llama.cpp には UD-Q4_K_XL の GGUF をそのまま読ませ、Strata も同じ GGUF の pack で測りました。普段使いの NVFP4 も並べています。llama.cpp は、置き方を自動で決める標準の設定(--fit on)に、文脈 65,536・flash attention を指定しました。測り方はどれも同じで、プロンプトの最初の語までの時間と、約 4K トークンの要約 4 回の生成の速さです。
| エンジンと設定 | 31.1K トークン | 26.2K トークン | 約 4K トークン | 生成 |
|---|---|---|---|---|
| Strata 0.2.13、NVFP4(普段使い) | 33.8 s | 33.2 s | 10.5 s | 31.9 tok/s |
| Strata 0.2.13、UD-Q4_K_XL | 40.9 s | 36.6 s | 11.9 s | 29.8 tok/s |
| llama.cpp b12387、UD-Q4_K_XL、標準 | 543.8 s | 388.9 s | 59.6 s | 17.3 tok/s |
llama.cpp b12387、UD-Q4_K_XL、-ub 2048 | 161.4 s | 131.6 s | 22.4 s | 17.5 tok/s |
llama.cpp b12387、UD-Q4_K_XL、--load-mode none | 429.7 s | 363.1 s | 55.2 s | 16.6 tok/s |
各設定 1 回の起動です。約 4K と生成は 4 回の平均。温度 0、思考なし。
- 同じ GGUF でも Strata のほうが速いままでした。llama.cpp の一番速い設定(
-ub 2048)と比べて、Strata は 31K の読み込みが約 4 倍、4K が約 1.9 倍、生成が約 1.7 倍の速さでした。 - llama.cpp の標準の設定では、長いプロンプトの読み込みがとても遅くなりました。1 秒に約 70 トークンで、31K に 9 分かかりました。標準のバッチは小さく、そのたびに CPU に置いた expert の計算を待つためとみています。
-ub 2048でバッチを大きくすると約 3 倍になりましたが、生成の速さは変わりませんでした。 --load-mode noneはほとんど効きませんでした。起動時に llama.cpp は「CPU に置くテンソルと mmap の組み合わせは遅い」と知らせますが、mmap をやめても読み込みが 1 割ほど速くなるだけで、生成は変わりませんでした(-ub 2048との組み合わせは測っていません)。- Strata の中では、NVFP4 が UD より少し速いままでした。11/05 の 2 枚での結果と同じ向きです。
- この結果の範囲。1 台、GPU 1 枚、1 つのモデル、各設定 1 回の起動です。Strata の生成には MTP の先読みが入っていますが、llama.cpp 側は先読みなしです。llama.cpp のスレッド数は標準のまま、expert を置く層の数も手では詰めていません。答えの質は比べていません。
NVFP4 の expert で、長いプロンプトが約 14%、生成が約 3 割速くなりました:旧世代の RTX 3060 と Blackwell の RTX 5060 Ti の組み合わせで
同じ i7-7800X の機械(RTX 3060 Gen3 x16 + RTX 5060 Ti Gen3 x8 の層分割、Strata 0.2.10、expert は全部 RAM)で、Qwen3.8-Flash-Next の expert を UD-Q4_K_XL から NVFP4(NVIDIA の 4 ビットの形式、Strata 用の GPTQ 版)に替えて測りました。3060 には FP4 の計算回路がありませんが、Strata の標準の計算(w4a8)は NVFP4 の重みを 8 ビットの回路で掛けるので、2 枚とも同じ計算をします。下の表は、プロンプトの最初の語までの時間と生成の速さです(各設定の上限チャンク 16,384、各 GPU が自分の層の重みだけを読む設定)。
| expert、3060 の層の数 | 自動のチャンク | 31.1K トークン | 26.2K トークン | 生成 |
|---|---|---|---|---|
| UD-Q4_K_XL、24 層(昼の最速) | 10,752 | 29.0 s | 28.2 s | 29.5〜37.1 tok/s |
| NVFP4、24 層 | 13,824 | 28.9 s | 23.7 s | 40.4〜45.0 tok/s |
| NVFP4、21 層 | 14,848 | 29.8 s | 23.0 s | 41.3〜45.6 tok/s |
| NVFP4、18 層 | 15,872 | 24.8〜25.2 s | 23.8〜24.4 s | 39.1〜44.1 tok/s |
| NVFP4、16 層 | 16,128 | 26.3 s | 24.9 s | 38.8〜41.7 tok/s |
各 1 回です(NVFP4・18 層は 2 回の起動)。温度 0、思考なし。
- 速くなった理由は、計算ではなく重みの小ささです。expert 1 つが 3.15 MB から 2.76 MB(−12%)になり、同じ VRAM に置ける数が増えました。生成では PCIe で読む expert が約 3 分の 1 に減りました。長いプロンプトでは、空いた VRAM で自動のチャンクが大きくなり、読み込みの回数が減りました。2 回で読み切れると 23〜25 秒、3 回だと 29〜30 秒で、時間はほぼ読み込みの回数で決まります。
- 一番よい層の分け方が、24 層から 18 層に変わりました。UD では x8 の 5060 Ti の受け取りが詰まりでしたが、NVFP4 では受け取りが減り、計算が詰まりになります。3060 は 1 層の計算に 5060 Ti の約 1.8 倍かかるので、3060 の層を減らすほうがつり合います。3060 の VRAM も空き、31K を 2 回で読めるチャンクになりました。昼に作った見積もりの式を層ごとの expert の大きさに広げると、18 層が一番速いと当てました(予想は 1〜3 秒短め)。
- 答えの質の差は見えませんでした。RAG の 16 の質問は同じ採点で、答えの中身も同じでした。表の画像を読む試験(10 枚)も、正しさは同じ(F1 0.87 と 0.87)で、難しい階段状の表の誤りの数は回ごとの揺れの範囲でした。解釈の分かれる難しい質問(思考あり、5 回ずつ)も、どちらも同じように多くを誤りました。本家の測定では、NVFP4 の 8 ビット版とのずれは UD より少し大きい値です(KL 0.070 と 0.056)。ただ、この差は今回の課題の揺れより小さく、結果には表れませんでした。
- FP4 の回路で計算する設定(w4a4)は使いません。Blackwell の 5060 Ti だけが使える設定ですが、本家の表で掛け算 1 回の誤差が 0.53% から 8.6% に増えます。試しに指定すると、エンジンはカードごとに w4a8 に戻しました。
- UD と NVFP4 を層ごとに混ぜることもできました。エンジンは層ごとに形式の違う expert を読めるので、3060 の層を UD、5060 Ti の層を NVFP4 にした組み合わせを作って動かしました。動きましたが、この機械では速くなりませんでした(31K で 31.1 秒)。軽くなったのが詰まっていない側だったためです。NVFP4 の質が落ちるモデルなら、使い道があるかもしれません。
- 普段使いを NVFP4・3060 に 18 層に切り替えました。PLE の表は、NVFP4 用(51 GB)をダウンロードせず、手元の UD のものを使っています(NVFP4 で替わるのは expert だけです)。本家には、旧世代と Blackwell の組み合わせの NVFP4 の測定として報告しました(#5279)。#5265 にも、形式によって最適な層の分け方が変わる例として書きました。
- この結果の範囲。1 台、1 つのモデル、expert を全部 RAM に置く設定だけで、各設定の回数も少ないです。質の確かめは、RAG、表の読み取り、1 つの難しい質問だけで、KL などの細かい比べはしていません。
GPU 2 枚のプロンプトの読み込みを 27〜34% 速くしました:原因は x8 の回線での expert の送り直しでした
i7-7800X(RAM 125 GiB)で、RTX 3060(PCIe Gen3 x16)と RTX 5060 Ti(Gen3 x8)の層分割を使いました。Strata 0.2.10、Qwen3.8-Flash-Next UD-Q4_K_XL で、expert は全部 RAM に置いています。この構成で長いプロンプトの読み込みが遅い理由を nsys で調べ、設定を変えて速くしました。下の表は、31.1K トークンのプロンプトの最初の語までの時間です。
| 設定 | 31.1K トークン |
|---|---|
| 0.2.10 の自動の分け方(3060 に 18 層) | 39.8〜44.1 s |
3060 に 24 層、各 GPU が自分の層の重みだけを読む(--layer-split 24 --trim-stage-weights) | 29.9 s |
同上 + チャンクの上限 16,384(STRATA_PREFILL_AUTO_MAX=16384) | 29.2 s |
| 自動の分け方を読み込み向けにした試作(自分で 3060 に 23 層を選ぶ) | 32.9 s |
| 2 枚が 1 チャンクおきに全部の層を読む(本家の PR #5002) | 44.1 s |
| 使うトークンが少ない expert を CPU で計算する | 30.8〜46.5 s |
各 1 回です(3060 に 24 層は 3 回測って 29.9〜30.0 秒)。自動の分け方の 39.8 秒と 44.1 秒の差は、チャンクの数(5 つか 6 つか)の違いです。
- 遅かった原因は、x8 の 5060 Ti が expert を受け取る時間でした。nsys で見ると、31K のプロンプト 1 回で、5060 Ti は expert を 263 GB 受け取っていました。コピーは区間の 87% の間ずっと動いていて、計算していたのは 36% だけです。待ちの大部分は、expert 1 つ(3.1 MB)が x8 で届く 0.4 ms ほどのすき間が、5 万回積もったものでした。
- チャンクごとに、各層の expert をほぼ全部送り直しています。1 層に 512 個ある expert のほとんどを、1 つのチャンクで使います。GPU のキャッシュは、送る量を減らしていませんでした。なので、読み込みの時間は「チャンクの数 × 遅いほうの GPU の 1 チャンクの時間」でほぼ決まります。キャッシュが 1 枠違うだけで自動のチャンクが 6,400 と 6,144 トークンに分かれ、31K が 5 つか 6 つのチャンクになって、4 秒ほど変わりました。
- 本家の自動の分け方は、生成の速さだけで層を分けています。回線の速さの差(12.3 と 6.9 GB/s、1.8 倍)は、4 倍以上離れていないと見ません。そのため、遅い回線の 5060 Ti に 30 層が割り振られていました。3060 に 24 層を持たせると、3060 の計算と 5060 Ti の受け取りの時間がそろって、一番速くなりました。
- 読み込みの時間を見積もる式を作り、実測と比べました。式は「1 チャンクで一番遅い GPU の時間 = 層の数 × max(512 個の expert を受け取る時間, 計算の時間)」です。22 点の実測に平均 1 秒のずれで合い、24 層が最適だと当てました。この式で層を分ける試作をエンジンに足すと、自動の分け方のまま 31K が 44.1 秒から 32.9 秒(−26%)になりました。本家に issue(#5265)として提案しています。似た提案(#2385)が以前にもありましたが、0.2.0-beta のときの整理で閉じられていました。
- 答えは変わりませんでした。RAG の 16 の質問で、検索の結果は全く同じで、答えの中身(金額・条件・結論)も同じでした。普段使いの設定を、3060 に 24 層、自分の層の重みだけ、チャンクの上限 16,384 に切り替えました。夕方の追記:そのあと NVFP4・3060 に 18 層に切り替えました(詳しく)。
- 効かなかったもの。2 枚が 1 チャンクおきに全部の層を読む方法(本家の PR #5002)は、GeForce どうしで直接の転送ができず、必須の K/V の設定だけで遅くなりました。CPU に一部の expert を計算させる方法は、チャンク 1 つで済む短いプロンプトでは 15〜18% 速くなりましたが、長いプロンプトには効きませんでした。
- この結果の範囲。測ったのは、1 台、1 つのモデル、expert を全部 RAM に置く設定、chunk-major の読み方だけです。回線や GPU の組み合わせが違えば、一番よい層の数も変わります。
i7-7800X に RAM を足して測り直しました:生成の速さは RAM の容量で決まることを確かめました
2 台目の PC(i7-7800X、AVX-512)の RAM を 125 GiB に増やし、Xeon で使っていた GPU 2 枚(RTX 3060+RTX 5060 Ti の層分割)を移して、Xeon と同じ版・同じ設定(setup.py の標準)で測りました。Qwen3.8-Flash-Next(UD-Q4_K_XL)の expert(71.7 GiB)と PLE の表(26.8 GiB)が、i7 でも全部 RAM に載ります。PCIe は 3060 が Gen3 x16、5060 Ti が Gen3 x8 です(Xeon は 2 枚とも Gen3 x8)。
| 測ったもの | i7-7800X(RAM 125 GiB) | Xeon(RAM 252 GB) |
|---|---|---|
| 短い質問の生成(0.2.9、60 回の中央値) | 30.2 tok/s | 27.0 tok/s |
| 短い質問の最初の語まで(中央値) | 1.39 s | 1.81 s |
| 31K トークンの最初の語まで(0.2.10 標準) | 39.2〜39.5 s | 44.6〜45.0 s |
| 49K トークンの最初の語まで(0.2.10 標準) | 59.6〜60.0 s | 64.4〜65.3 s |
| 長いプロンプトの後の生成(0.2.9、中央値) | 33.5 tok/s | 31.9 tok/s |
- 生成の速さを決めていたのは RAM の容量でした。RAM 64 GB のとき、i7 の生成は Xeon の約半分でした。expert が全部 RAM に載ると、同じ版・同じ設定・同じ GPU で Xeon より 12% 速くなりました(95% 区間 1.10〜1.14 倍、6 種類の質問すべてで速い)。Xeon が約 2 倍速かったのは、CPU ではなく RAM の容量のためでした。
- 長いプロンプトの待ちは、最初の約 3 秒だけ短くなりました。1 トークンあたりの時間はほぼ同じ(約 1.07 ms)です。3060 のリンクが x16 なので、最初に送る expert が早く届くためと見ていますが、確かめてはいません。
- GPU 2 枚では、i7 でも layer-major で速くなりませんでした(0.2.10)。強制すると 31K で 13% 遅くなり、長いプロンプトの後の生成も 10% 遅くなりました。Xeon と同じ結果です。RAM が足りない機械で効くかどうかは、まだ確かめていません。
- 小さいカード 1 枚では、0.2.10 の標準の読み方が速くなりました。0.2.10 は、CUDA カード 1 枚で expert のキャッシュが小さいとき、標準で 2 塊以上のプロンプトを layer-major の walk で読みます。この walk には私のコミット(MMQ が扱わない層を FP16 で計算する経路など)が入っています。3060 1 枚では標準で walk が動き、12.8K〜31K トークンで最初の語までが 11〜15% 短くなりました(31K で 66.8 → 57.4 秒)。長い資料の真ん中に入れた 1 文を答えさせる確認も、すべて正しく答えました。5060 Ti 1 枚(16 GB)はキャッシュが大きいので、この読み方の条件に当たりません。
0.2.9・0.2.10:Xeon E5-2630 v2 の機械では、GPU 2 枚でも長いプロンプトは速くならなかった
0.2.9 と 0.2.10 を Xeon(RTX 3060+RTX 5060 Ti の層分割、UD-Q4_K_XL)で測りました。今回は setup.py の標準の設定で、expert(71.7 GiB)を全部 RAM に置き、NUMA ノードへの固定もしていません。下の表は、最初の語が出るまでの時間です。
| プロンプト(トークン) | 0.2.9 標準 | 0.2.9 layer-major を強制 | 0.2.10 標準 |
|---|---|---|---|
| 0.8〜4.7K | 10.7〜15.5 s | 11.2〜16.0 s | 10.5〜15.5 s |
| 7.6〜10.3K | 19.5〜21.7 s | 20.0〜23.0 s | 19.8〜21.9 s |
| 14.3〜19.5K | 26.9〜29.8 s | 27.6〜32.3 s | 27.2〜30.0 s |
| 31.3〜31.5K | 44.5〜44.7 s | 46.4〜46.8 s | 44.6〜45.0 s |
| 48.9〜49.0K | 64.0〜65.0 s | 62.1〜62.9 s | 64.4〜65.3 s |
各 3 回、毎回違うプロンプト、温度 0、思考なし。
- 0.2.9 の標準では、layer-major は実際には動いていませんでした。0.2.9 では 2 枚の層分割で layer-major が標準ですが、最初の長いプロンプトで「super-chunk のための VRAM がない(空き 619 MiB)」と 1 度だけ記録し、あとは従来の読み方(chunk-major)になっていました。
- VRAM の余白を広げて動かしても、待ち時間は変わりませんでした。31K までは 0〜8% 遅く、49K で 3% 速いだけです。GPU に送る expert の量は約 3 分の 1 になりましたが、今度は 3060 の側の attention の計算待ちが律速になりました。長いプロンプトの後の生成は 13% 遅くなりました(31.9 → 27.6 tok/s)。K-quant 用のカーネル(
STRATA_MMQ_KQ=1)を足しても同じでした。 - 従来の読み方の限界は PCIe です。読み込みの間、2 枚とも PCIe Gen3 x8 の上限に近い 5〜7 GB/s で受信し続けていました。最初の 6,912 トークンの塊で 10〜15 秒、塊が 1 つ増えるごとに約 7 秒かかります。
- 0.2.10 では、layer-major は標準では使われなくなりました。層分割でも、従来の読み方(chunk-major)が標準です(GPU 1 枚でキャッシュが小さい場合だけは別の規則)。本家のコードの注記には「層分割では chunk-major のほうが 32K を 37〜55% 早く読む」とあり、この機械の結果とも合っています。0.2.10 の待ち時間は 0.2.9 と同じで、短い質問の生成は 5% 速くなりました(27.0 → 28.5 tok/s)。
- 以前の「約半分」との違い。10/24 と 10/31 の結果は、expert の一部をドライブから読む設定でした(10/31 の Xeon でも、無効の側は 32K で 39 GB を読んでいました)。layer-major はその読み込みを減らしたので速くなりました。expert が全部 RAM にある今回の設定では、その利点がありません。ただし 10/31 の調整あり(32K で 30.9 秒)は設定が違い(NUMA ノード 0 に固定、
--prefill 4096、層 24 / 24)、同じ条件では測り直していません。 - この結果の範囲。測ったのは、Xeon E5-2630 v2 × 2(2 枚とも PCIe Gen3 x8)、RTX 3060+RTX 5060 Ti、UD-Q4_K_XL、expert を全部 RAM に置く設定の組み合わせだけです。ほかの GPU、expert の一部をドライブから読む設定、層の分け方を変えた場合は、0.2.9・0.2.10 では試していません。PCIe の速い機種や速い GPU では、本家の注記のように結果が変わることもありえます。11/05 追記:i7-7800X(RAM 125 GiB、3060 は Gen3 x16、5060 Ti は Gen3 x8)でも、0.2.10 で同じ結果でした(詳しく)。
NUMA ノードに固定するのをやめました
- 以前の版では、片方の CPU に寄せたほうが速くなりました。0.1.45(10/16)では、GPU のつながるノード 1 だけで動かすと、短い質問の生成が 10.5 → 16.2 tok/s(+54%)、最初の語までが 5.0 → 2.4 秒になりました。当時は CPU のスレッドが両方のソケットで 1 つにまとまって動き、メモリも両方に散っていたので、ソケット間の通信と遅いスレッドの待ちが効いていました。公式の文書も、RAM を 1 つの CPU に寄せることを勧めていました。
- 0.2.2 から、両方の CPU を使うほうが速くなりました。Strata が CPU のスレッドを NUMA ノードごとに分け、expert もそれぞれのノードのメモリに半分ずつ置くようになったためです。11/03〜11/04 の追試で、Qwen(0.2.9)は 18.81 → 21.99 tok/s(+17%、95% 区間 +10〜+29%、60 回)、DeepSeek(0.2.10)は同じ質問の繰り返しで 12.96 → 18.71 tok/s(+44%、1 回)でした。いろいろな質問で測った途中の 1 回では、固定すると DeepSeek は 3〜4 割遅くなりました。
- 0.2.10 の DeepSeek をノード 0 に固定すると、メモリ不足で止まりました。CPU 側の expert 117 GB を全部ノード 0(126 GiB)に置くので、ほかのメモリが少し増えただけで止まります。0.2.9 は 2 つのノードに分けていました。
- 固定しない条件では、0.2.10 は 0.2.9 より速くなっていません。DeepSeek の生成は 6.95 と 6.85 tok/s(各 36 問)で同じでした。Qwen も長いプロンプトの待ちは同じで、短い質問の生成だけ 5% 速くなりました。
- Qwen をさらに速くしたのは、NUMA ではなく RAM でした。以前の設定は expert のうち 38 GiB だけを RAM に置き、残りを SSD から読んでいました。setup.py の標準の設定で expert を全部 RAM に置くと、21.99 → 27.03 tok/s(+23%)になりました。この設定では expert をノードごとには置いていません。
- 表を読む RAG を 0.2.10 で測り直した結果と、Strata 導入前のモデルとの比較は、RAG のページにあります。
layer-major が Strata 本体に入りました
11/04 追記:0.2.10 からは、layer-major は標準では使われません(STRATA_PREFILL_LAYER_MAJOR=1 で使えます)。expert を全部 RAM に置いた Xeon では、0.2.9・0.2.10 で効果がありませんでした(0.2.9・0.2.10)。この節の結果は、expert の一部をドライブから読む設定のものです。
長いプロンプトを速く読む「layer-major prefill」が、Strata 0.2.7(10/27)で、CUDA カード 2 枚の層分割の標準の動作になりました。リリースノートには「From PR #3976 by @Norhiro, building on @vizdatom's #1670」と書かれています。Strata の履歴には私(Norihiro Nishimura)のコミット 8 件が取り込まれ、0.2.7 に入りました(中心のコミット)。2 枚の層分割への拡張、均等な塊分け、FP16 の経路の追加などです。
これまでは 8,192 トークンごとに、各層の expert を読み直していました。layer-major は大きな塊を層ごとに処理するので、読み直しは塊ごとに 1 回で済みます。vizdatom さんが GPU 1 枚向けに提案した方式(#1670)を、GPU 2 枚の層分割に広げて #3976 で報告しました。下の表は、最初の語が出るまでの時間です。
| プロンプト | 手元:3060+5060 Ti | 倍率 | 公式:RTX A4000 × 2 | 倍率 |
|---|---|---|---|---|
| 8K | 28.9 s → 18.5 s | 1.6× | 41.8 s → 15.2 s | 2.8× |
| 20K | 54.2 s → 23.5 s | 2.3× | 98.8 s → 17.5 s | 5.6× |
| 32K | 65.0 s → 33.1 s | 2.0× | 141.8 s → 27.7 s | 5.1× |
手元の値は 0.2.4.2 本体と、それに今回の変更を加えた版の比較(UD-Q4_K_XL、各 2 回目の実行)です。32K のドライブ読み込みは 75 GB から 35 GB に減りました。正しさは変わらず、needle は 9/9、HumanEval は 39 / 38、日本語は 11/12、ツール呼び出しは 8/8 で両者同じでした。生成の速さも 24.0 と 24.1 tok/s で同じです。公式の値は別の GPU とモデルの測定なので、手元の値とは比べられません。
0.2.8 を手元の 2 枚で測りました(10/31)
公式の依頼を受けて、0.2.8 を 3060+5060 Ti で測り、#3976 に報告しました。結論は、標準の設定では layer-major は動かず、VRAM の余白を調整すると 20K と 32K の待ち時間が約半分になるというものです。層は 24 / 24 に分け、UD-Q4_K_XL を使いました。「無効」は STRATA_PREFILL_LAYER_MAJOR=0、「調整あり」は --vram-reserve-mib 1700 --vram-reserve-later-mib 1700 --prefill 4096 と STRATA_PREFILL_LM_MARGIN_MIB=96 です。
| 機械・設定 | 8K | 20K | 32K | 32K の読み込み | 生成(中央値) |
|---|---|---|---|---|---|
| i7-7800X、RAM 62 GB・無効 | 24.3 s | 42.7 s | 51.3 s | 87 GB | 26.85 tok/s |
| i7-7800X・調整あり | 24.2 s | 23.4 s | 29.8 s | 39 GB | 21.8 tok/s |
| Xeon E5-2630 v2 × 2、RAM 251 GB・無効 | 24.8 s | 49.1 s | 62.7 s | 39 GB | 28.05 tok/s |
| Xeon・調整あり | 22.7 s | 24.2 s | 30.9 s | 0.1 GB | 26.9 tok/s |
時間は各サイズ 2 回目の、最初の語が出るまでの時間です(i7 は各 2 回、Xeon は各 3 回)。生成は 40 問の中央値です。正しさは両機とも無効と調整ありで同じで、needle は 9/9、HumanEval は 39 / 38、日本語は 11/12、ツール呼び出しは 8/8 でした。Xeon は AVX までの CPU で、2 枚とも PCIe Gen3 x8 です。AVX 版のビルドで不正な命令は出ませんでした。
i7 では、調整の代わりに生成が 19% 遅くなりました。Xeon では 4% の低下でしたが、測定は各 1 回で無効を先に測っているので、誤差の範囲かもしれません。RAM が多いと低下が小さくなる理由は切り分けていません。Xeon の調整ありの読み込みがほぼ 0 なのは、ページキャッシュに残っていた分も含むためです。i7 では標準の設定でも、--layer-split auto のどちらのカード順でも layer-major は動かず、32K は 50〜65 秒でした。Xeon ではこの条件は測っていません。#3976 には、PCIe Gen3 の 3090 や V100 2 枚で遅くなったという報告もあるので、効果はカードと接続によって変わります。切るには STRATA_PREFILL_LAYER_MAJOR=0 を設定します。
要約と目次
要約
- ローカル AI だけで 15 秒 CM を作り、Strata(Qwen)が映像を監修して自分で直しました(11/17)。完成した映像の大きな問題を観点なしでも自分で見つけ、共通の見本の絵で人物と商品をそろえ、最後は全部の版から最良を選んで組みました(動画生成)。
- ドローンのシミュレーターを LLM で動かす課題でも、Strata のほうが速く、安定していました(11/15)。同じ指示で 3 回ずつ飛ばし、平均 305 秒・3 回とも完了(llama.cpp は 428 秒・2 回)でした。画像つきの呼び出しは、Strata も画像を GPU で読むと 31.8 秒から 10.6 秒になり、llama.cpp(22.4 秒)より速くなりました。ROS 2 経由で動かしても、同じ課題を最後まで達成しました。身体性向けの VLM(Cosmos-Reason2-8B)は、同じ課題を達成できませんでした(フィジカル AI 応用)。
- 同じモデル・同じ GGUF で最新の llama.cpp(b12387)と比べても、Strata のほうが速いままでした(11/15)。RTX 5060 Ti 1 枚で、llama.cpp の一番速い設定と比べて、31K の読み込みが約 4 倍、生成が約 1.7 倍の速さでした(詳しく)。
- NVFP4 の expert で、長いプロンプトが約 14%、生成が約 3 割速くなりました(11/05 夕方)。旧世代の 3060 と Blackwell の 5060 Ti の組み合わせで、2 枚とも同じ 8 ビットの計算で動きます。重みが小さくなって一番よい層の分け方が 24 層から 18 層に変わり、31K が 29.0 秒から 24.8 秒になりました。答えの質の差は見えませんでした(詳しく)。
- GPU 2 枚のプロンプトの読み込みを 27〜34% 速くしました(11/05)。遅い原因は、x8 の 5060 Ti がチャンクごとに expert を受け取り直す時間でした。3060 に 24 層を持たせ、各 GPU が自分の層の重みだけを読むと、31K が 40〜44 秒から 29 秒になりました(詳しく)。
- Xeon E5-2630 v2 の機械では、0.2.9・0.2.10 で GPU 2 枚にしても長いプロンプトは速くなりませんでした。RTX 3060+RTX 5060 Ti で、expert を全部 RAM に置く標準の設定だけを測った結果です。11/05 に i7-7800X でも同じ結果になりました(詳しく)。この条件では、0.2.9 の標準の layer-major は実際には動かず、無理に動かしても待ち時間は同じでした。限界は PCIe です。0.2.10 では layer-major が標準で使われなくなりました。NUMA ノードへの固定もやめました(詳しく)。
- 長いプロンプトを速く読む layer-major が、Strata 0.2.7 の標準になりました(0.2.10 からは標準では使われません)。ここでの GPU 2 枚向けの拡張のコミット 8 件が Strata に取り込まれました。手元の 2 枚では、VRAM の余白を調整すると 32K の待ち時間が約半分になりました(expert の一部をドライブから読む設定。詳しく)。
- AVX しかない古い Xeon でも、Strata は正しく動きます。0.1.45 から 0.2.10 まで、AVX 版のビルドで不正な命令は一度も出ませんでした。
- Xeon では、GPU を挿すスロットが一番効きました。PCIe Gen2 x4 から Gen3 x8 に変えると、プロンプトの読み込みが約 3 倍になりました。0.2.0 では生成も 6〜12% 速くなりました。
- 2bit と 4bit では、正しさはほぼ同じで、4bit は速さが約半分です。0.2.0・GPU 1 枚では、この機械には 2bit が向いていました(0.2.0・GPU 1 枚での比較。11/04 の 0.2.9・0.2.10、GPU 2 枚、setup.py の標準の設定では、4bit でも短い質問の生成が 27〜28.5 tok/s、32K の読み込みが約 45 秒で、0.2.0 の 2bit とほぼ同じ速さになりました。2bit は新しい版では測り直していません。)。
- 4bit の生成の速さを決めているのは RAM の容量です。RAM 64 GB の i7-7800X では expert が RAM に載りきらず、生成は Xeon(1 ノード 128 GB に expert を全部置ける)の約半分〜6 割でした。SSD を速い経路に移すと読み込みは約 1.27 倍になりますが、生成は速くなりません。11/05 に i7 の RAM を 125 GiB に増やして expert を全部載せると、生成は Xeon より 12% 速くなりました(詳しく)。
- GPU を 2 枚に分けるなら、層の数を自分で決めると 1 枚より速くなります(0.2.2、3060+5060 Ti。層を 24 / 24 に分けて各カードに自分の層の重みだけを置くと、短い質問の生成が 1 枚の約 1.4〜2 倍、エージェント形式の待ちも短くなりました。RAM に全部載る Xeon では、32K の読み込みも 1 枚の約 1.5 倍になりました。自動の分け方ではあまり速くなりません。以前の「2.5〜3.5 倍遅い」は誤りでした。2 枚の測り直し)。8 つの設定の順位はランキングにあります。
わかったこと
AVX のみの CPU でも正しく動作
0.1.45 から 0.2.10 まで、AVX 版のビルドで不正な命令(SIGILL)は一度も出ていません。CPU 側の計算は AVX1 の 128 ビットカーネルで行われ、その照合テストも合格しています。
GPU のスロットが一番効いた
GPU を PCIe Gen2 x4 のスロットから Gen3 x8 のスロットに挿し替えただけで、プロンプトの読み込みが約 3 倍、エージェント形式の待ちが約 22 秒から約 6 秒になりました。
古い機種でも、生成の速さはメモリの容量で決まる
Xeon の DDR3 は、1 ノードの帯域が i7 の半分しかありません。それでも expert を全部 RAM に置けたので、生成は i7 の約 2 倍でした。効くのはメモリの速さより、expert が全部入るかどうかです。一方、プロンプトの読み込みは GPU と PCIe の経路で決まります。大きなモデルには、まず expert が入る RAM、次に一番速いスロットです(11/05 に確かめました。i7 の RAM を 125 GiB に増やして expert を全部載せると、同じ版・同じ設定で生成は Xeon の 1.12 倍になりました。詳しく)。
0.2.0 で生成が速く
同じスロットで 0.1.45 と比べ、生成が 6〜12% 速くなりました。公表値(RTX 3060 で +10.2%)とほぼ同じです。
この機械では 2bit が向く
4bit(UD-Q4_K_XL)は速さが約半分になる一方、今回のテストでは正しさは 2bit(IQ2_XS)とほぼ同じでした(0.2.0・GPU 1 枚での比較。11/04 の 0.2.9・0.2.10、GPU 2 枚、setup.py の標準の設定では、4bit でも短い質問の生成が 27〜28.5 tok/s、32K の読み込みが約 45 秒で、0.2.0 の 2bit とほぼ同じ速さになりました。2bit は新しい版では測り直していません。)。
別の PC では命令セットより RAM と SSD の経路
AVX-512 のある i7-7800X(RAM 64 GB)では、AVX 版と通常版のビルドで速さは同じでした。4bit は RAM に載りきらず、生成の時間のほとんどを SSD から expert を待つことに使っています。SSD を x4 直結にしても生成は速くならず、効いているのは RAM の容量でした(要因の分析)。
2 台・8 つの設定を比べてわかった、速さを決めるもの
Xeon では GPU のスロットを Gen2 x4 から Gen3 x8 に変えただけで約 3 倍。i7 では RTX 5060 Ti で ×1.28、SSD を x4 直結にして ×1.27。i7 でも Xeon の約 9 割まで届きました。
expert を全部 RAM に置けた Xeon は 14.3 tok/s、入りきらない i7 は 7〜9 tok/s(10/22 時点、4bit、GPU 1 枚。11/04 の Xeon は GPU 2 枚と標準の設定で 27〜28.5 tok/s)。11/05、RAM を 125 GiB に増やした i7 は、同じ条件で 30.2 tok/s と Xeon を上回りました。GPU を替えても、SSD を速くしても、AVX-512 でも、この差はほとんど縮みませんでした。
速度:スロットの変更と 0.2.0
モデルは IQ2_XS(2bit)、文脈 40,960。tools/strata_bench.py --long の各 3 回の中央値で、モデルファイルをメモリから追い出してから起動しています(コールド)。
| 項目 | 0.1.45・旧スロット | 0.1.45・新スロット | 0.2.0・新スロット |
|---|---|---|---|
| 短い質問の生成 | 17.1 tok/s | 23.6 tok/s | 25.1 tok/s |
| 4K プロンプトの読み込み | 178 tok/s | 632 tok/s | 636 tok/s |
| 16K プロンプトの読み込み | 342 tok/s | 951 tok/s | 987 tok/s |
| 32K プロンプトの読み込み | 352 tok/s | 973 tok/s | 992 tok/s |
| エージェント形式の毎ターンの最初のトークンまで | 21.9 s | 6.17 s | 6.22 s |
| エージェント形式の生成 | 20.5 tok/s | 27.5 tok/s | 30.9 tok/s |
Strata は、GPU に入りきらない expert を PCIe でやり取りします。デュアル Xeon の板では、x16 の形をしたスロットでも中身が Gen2 x4 のことがあります。lspci -vv の LnkSta で実際の速さと幅を確かめ、一番速いスロットに挿すのが、ソフトの設定よりも先にやるべきことでした。
回答の正しさ
長い文脈の中から合言葉を探すテスト(needle)、HumanEval の 0〜39 番(EvalPlus 0.3.1 で採点)、日本語の 12 問、ツール呼び出しの 8 問です。
| テスト | 0.1.45(10/16) | 0.2.0(10/20) |
|---|---|---|
| needle(4K/16K/32K × 深さ 10/50/90%) | 9/9 | 9/9 |
| HumanEval 0〜39 番 base / plus | 37/40 · 35/40 | 39/40 · 37/40 |
| 日本語 12 問 | 11/12 | 11/12 |
| ツール呼び出し 8 問 | 8/8 | 8/8 |
2bit(IQ2_XS)と 4bit(UD-Q4_K_XL)
どちらも 0.2.0、新しいスロット、文脈 40,960。4bit の expert(77 GB)もすべて RAM に置けますが、expert 1 つが約 2 倍の大きさなので、GPU に置ける数が 3,813 から 1,168 に減ります。
| 項目 | IQ2_XS(2bit) | UD-Q4_K_XL(4bit) |
|---|---|---|
| 短い質問の生成 | 25.1 tok/s | 14.3 tok/s |
| 32K プロンプトの読み込み | 992 tok/s(32 s) | 445 tok/s(72 s) |
| エージェント形式の毎ターンの最初のトークンまで | 6.2 s | 14.0 s |
| エージェント形式の生成 | 30.9 tok/s | 14.0 tok/s |
| needle | 9/9 | 9/9 |
| HumanEval base / plus | 39/40 · 37/40 | 37/40 · 36/40 |
| 日本語 / ツール | 11/12 · 8/8 | 11/12 · 8/8 |
この機械では、4bit にすると速さが約半分になる一方、今回のテストの範囲では正しさの違いは見えませんでした。当時(10/21)は、ふだん使いに 2bit を選びました。11/04 現在は、GPU 2 枚と setup.py の標準の設定で 4bit の生成が 27〜28.5 tok/s になったので、4bit(UD-Q4_K_XL)を使っています。2bit は新しい版で測り直していません。ただし問題の数が少ないので、細かい質の差までは測れていません。
別の PC:Core i7-7800X(AVX-512)
2026-10-21 から、AVX2 と AVX-512 のある PC でも測りました。GPU は同じ RTX 3060(PCIe Gen3 x8)、Strata も同じ 0.2.0-beta(エンジン 0.1.45.3)、モデルは 4bit の UD-Q4_K_XL です。
- CPU
- Core i7-7800X(6 コア、AVX2・AVX-512)
- RAM
- 64 GB DDR4-2666(4 チャネル)
- GPU
- RTX 3060 12 GB
- OS
- Fedora 44
AVX 版と通常版(AVX-512)のビルド
同じソースを、古い CPU 向け(STRATA_ISA_FLOOR=avx)と通常の設定(-march=native)でビルドして比べました。
| 項目 | AVX 版 | 通常版(AVX-512) |
|---|---|---|
| 短い質問の生成 | 6.6 tok/s | 7.4 tok/s |
| 4K プロンプトの読み込み | 139 tok/s | 134 tok/s |
| 32K プロンプトの読み込み | 274 tok/s | 272 tok/s |
| エージェント形式の毎ターンの最初のトークンまで | 27.6 s | 28.7 s |
Xeon との比較(4bit)
| 項目 | Xeon(RAM 252 GB、使ったのは 1 ノードの約 128 GB。10/31 までの設定) | i7-7800X(RAM 64 GB) |
|---|---|---|
| 短い質問の生成 | 14.3 tok/s | 7.4 tok/s |
| 4K プロンプトの読み込み | 293 tok/s | 134 tok/s |
| 32K プロンプトの読み込み | 445 tok/s(72 s) | 272 tok/s(118 s) |
| エージェント形式の毎ターンの最初のトークンまで | 14.0 s | 28.7 s |
4bit の expert(77 GB)が 64 GB の RAM に載りきらないため、RAM に置くのは 38 GiB にとどめ、残りの約 30 GiB はトークンごとに SSD から読んでいます(--resident-budget-gib 38)。速さを決めているのはこの読み出しで、CPU の命令セットの差は表に出ませんでした。CPU そのものの比較には、両方の RAM に収まる 2bit で測る必要があります。
RTX 5060 Ti 16 GB 単体
同じ PC で、GPU だけを RTX 5060 Ti(Blackwell、sm_120、PCIe Gen3 x8)に替えました。ほかの設定は同じです。VRAM が多いぶん、GPU に置ける expert が 1,374 から 2,731 に増えます。
| 項目 | RTX 3060 | RTX 5060 Ti |
|---|---|---|
| 短い質問の生成 | 7.4 tok/s | 8.9 tok/s |
| 4K プロンプトの読み込み | 134 tok/s | 159 tok/s |
| 32K プロンプトの読み込み | 272 tok/s(118 s) | 354 tok/s(91 s) |
| エージェント形式の毎ターンの最初のトークンまで | 28.7 s | 24.3 s |
| エージェント形式の生成 | 11.3 tok/s | 13.9 tok/s |
GPU を替えると 2〜3 割速くなりましたが、Xeon(expert をすべて RAM に置いた状態)にはまだ届きません。
モデルを置いた NVMe SSD(Solidigm P41 Plus)は、SSD 自身は x4 でつながっていますが、M.2 を増やすカード(PLX PEX 8747 のスイッチ)を経由し、その先がチップセットの x1 のポートでした。キャッシュを通さずに読むと 782 MB/s で、SSD 本来の速さの 4 分の 1 以下です。RAM に載らない expert はここを通って読まれるので、当初は 4bit の速さを主に決めていたのはこの経路だと考えていました(下の x4 直結の測定で、効くのはプロンプトの読み込みだけとわかりました)。/sys/bus/pci/devices/*/current_link_width を、SSD から上の各ブリッジまでたどると確かめられます。マザーボードの M.2 に挿し直すなどの対策は、まだ試していません。
モデルを x4 直結の SSD に移すと
ハードを触らずに試せる方法として、モデルを /home の SSD(KIOXIA BG4、Gen3 x4 直結)にコピーしました。キャッシュを通さない読み出しは 1 本で 1.9 GB/s、4 本同時で 2.4 GB/s と、元の経路(約 0.8 GB/s)の 2.4〜3 倍です。GPU は RTX 5060 Ti、ほかの設定は同じです。
| 項目 | x1 の経路 | x4 直結 | 参考:Xeon |
|---|---|---|---|
| 短い質問の生成 | 8.9 tok/s | 7.8 tok/s | 14.3 tok/s |
| 4K プロンプトの読み込み | 159 tok/s | 202 tok/s | 293 tok/s |
| 32K プロンプトの読み込み | 354 tok/s(91 s) | 448 tok/s(72 s) | 445 tok/s(72 s) |
| エージェント形式の毎ターンの最初のトークンまで | 24.3 s | 17.2 s | 14.0 s |
| エージェント形式の生成 | 13.9 tok/s | 15.0 tok/s | 14.0 tok/s |
プロンプトの読み込みはどの長さでも約 1.27 倍になり、32K では Xeon と同じくらいになりました。エージェント形式で返事が始まるまでの待ちも、24 秒から 17 秒に縮みました。一方、短い質問の生成は約 8 tok/s のままで、Xeon との差は残っています。生成のときは約 4 MB の expert を少しずつ読みます。エンジンのログでは、読み出し 1 回の待ちは x1 でも x4 直結でも約 3 ms で変わらず、帯域では決まっていませんでした。生成も速くするには、RAM を増やして expert をすべて RAM に置くのが確実です。
どの要因が効くか(統計)
ここまでの 6 つの設定(Xeon、i7 の AVX 版・AVX-512 版、RTX 5060 Ti、x4 直結の SSD、GPU 2 枚)を、1 つの要因だけが違うものどうしで比べました。短い質問の生成は、Xeon → i7 で ×0.47、GPU 2 枚に分けると ×0.44(この値は誤りでした。Xeon で 0.2.2 の 1 枚と 2 枚・24 / 24 層+trim を足して比べると、2 枚で ×1.33。測り直し)、RTX 5060 Ti で ×1.36。SSD の x4 直結と AVX-512 は、生成にはほとんど効きませんでした。Xeon はメモリを 1 ソケット(126 GiB)に固定していたので、効いていたのは「expert が全部入る 1 ノード分の RAM」です(10/31 までの設定。11/04 からは固定していません。詳しく)。グラフと 95% 区間は 4bit の速度の要因分析(日本語・English) にまとめました。この 2 つを加えた 8 つの設定を「読み」(プロンプトの読み込み)と「書き」(生成)の速さで並べた順位は、実効速度のランキングにあります。
GPU とのデータのやり取りの速さ(PCIe のリンク)は、測った時期によって次のとおりでした。転送速度は、ホストから GPU へのコピーを CUDA で負荷をかけて測った最高値です。
| 測った時期 | RTX 3060 | RTX 5060 Ti |
|---|---|---|
| 3060 単体(10/21〜22、i7 の測定すべて) | Gen3 x8・約 6.2 GB/s | — |
| 5060 Ti 単体(10/22、x1 の経路と x4 直結) | — | Gen3 x8・6.9 GB/s |
| GPU 2 枚(10/22 04:02〜05:33) | Gen3 x8・約 6.2 GB/s | Gen2 x8・3.5 GB/s |
| 挿し直した後(10/22 09:44〜、2 枚の測り直し) | Gen3 x16・12.3 GB/s | Gen3 x8・6.9 GB/s |
5060 Ti は 10/22 03:47 に一度バスから外れ、再起動のあとは Gen2 でつながっていました(あとで気づきました)。このときの GPU 2 枚の結果(2.5〜3.5 倍遅い)には、このリンクの低下に加えて、VRAM 不足でエンジンが止まって再起動した分も入っていました。カードを挿し直して Gen3 に戻ったあと、両方のカードの順で測り直しました(次の注)。また、挿し直したときに 3060 は x16 のスロットに移ったので、これからの 3060 の結果は、x8 だったころの結果とそのまま比べられません。5060 Ti はカード自体が x8 なので、どのスロットでも x8 です(5060 Ti 単体の結果は今後もそのまま比べられます)。
以前ここに「2 枚に分けると 2.5〜3.5 倍遅い」と書きましたが、これは誤りでした。その測定では、5060 Ti のリンクが Gen2 に落ちていたうえ、最後のカードの VRAM の空きが 60 MiB ほどしかありませんでした。そのためエンジンが out of memory で止まり、再起動を挟んでいました。Strata 0.2.2 で、後ろのカードに VRAM の余裕を残す設定(--vram-reserve-later-mib 1400、エンジンのログが勧める値)を足して測り直しました。どの計測も途中で止まることはありませんでした。設定はすべて 0.2.2 の既定(route tail skip オン)で、1 枚の値も 0.2.2 で測ったものです。
層の分け方を自動に任せると、2 枚はあまり速くなりませんでした。Strata は層を 2 枚のカードに分けて受け持たせます(前のカードが前半の層、後ろのカードが残りの層と出力)。自動("layer_split": "auto")では、3060 に 19 層、5060 Ti に 29 層を割り当てました。カードの順を逆にしても(5060 Ti に 35 層)、長いプロンプトが遅くなるだけでした。
層の数を自分で決めて、各カードに自分の層の重みだけを置く設定(--trim-stage-weights)を足すと、2 枚が 1 枚よりはっきり速くなりました。重みを減らした分の VRAM が expert のキャッシュに回り、2 枚のキャッシュは合わせて約 1.35 倍になりました。並びはどれも 3060 → 5060 Ti です。
| 中央値(cold / warm) | 5060 Ti 1 枚 | 2 枚・自動(19 / 29 層) | 2 枚・24 / 24 層+trim | 2 枚・30 / 18 層+trim |
|---|---|---|---|---|
| 短い質問の生成(tok/s) | 13.0 / 16.0 | 13.6 / 19.4 | 24.8 / 22.4 | 26.1 / 23.7 |
| 4K の読み込み(tok/s) | 268 / 268 | 203 / 200 | 236 / 239 | 281 / 239 |
| 16K の読み込み(tok/s) | 529 / 499 | 421 / 441 | 454 / 471 | 509 / 494 |
| 32K の読み込み(tok/s) | 588 / 588 | 538 / 541 | 639 / 653 | 606 / 620 |
| エージェント形式の待ち(秒) | 14.0 / 14.0 | 16.0 / 17.0 | 13.8 / 12.3 | 13.3 / 12.8 |
| エージェント形式の生成(tok/s) | 20.7 / 20.1 | 23.8 / 22.5 | 27.3 / 27.0 | 26.4 / 24.3 |
層を 24 / 24 か 30 / 18 に分けると、1 枚と比べて短い質問の生成が約 1.4〜2 倍(cold・warm とも 22〜26 tok/s で安定)、エージェント形式の生成が 2〜3 割速く、待ちも最大 1.7 秒短くなりました。32K の読み込みも 3〜11% 速く、4K・16K は 1 枚とほぼ同じです。5060 Ti に 36 層を渡す分け方(12 / 36)は、生成は速いものの読み込みは自動とほぼ同じでした。自動の分け方は、速いカードに層を多く渡しすぎる傾向があります(Strata の issue #2644 と同じ)。trim の効果と層の数の効果は、まだ分けて測っていません。
それでも、2 枚のキャッシュに載るのはよく使う expert の一部で、残りは RAM と SSD から読んでいます(1 回の計測で SSD から約 900 GiB)。RAM を増やす効果は、GPU を足す効果とは別に残っています。このPC(RAM 64 GB)でのおすすめは、3060 → 5060 Ti の順で "layer_split": "24"(短いプロンプトやチャットが中心なら "30")、--trim-stage-weights、--vram-reserve-later-mib 1400 です。
RAM に expert が全部載る Xeon(E5-2630 v2、252 GB のうちエンジンを固定した 1 ノードの約 128 GB。10/31 までの設定)に同じ 2 枚を挿して測ると、2 枚の効果はさらに大きくなりました。同じ 0.2.2(Xeon 用の AVX 版)、同じ設定で、5060 Ti 1 枚と、i7 で一番よかった 24 / 24 層+trim を比べました。2 枚とも Gen3 x8 です。Xeon では SSD を読まないので、cold と warm はほぼ同じ値でした。
| 中央値(cold / warm) | i7・1 枚 | i7・24 / 24+trim | Xeon・1 枚 | Xeon・24 / 24+trim |
|---|---|---|---|---|
| 短い質問の生成(tok/s) | 13.0 / 16.0 | 24.8 / 22.4 | 21.7 / 21.3 | 28.1 / 30.0 |
| 4K の読み込み(tok/s) | 268 / 268 | 236 / 239 | 345 / 346 | 348 / 348 |
| 16K の読み込み(tok/s) | 529 / 499 | 454 / 471 | 689 / 689 | 848 / 845 |
| 32K の読み込み(tok/s) | 588 / 588 | 639 / 653 | 698 / 698 | 1,017 / 1,017 |
| エージェント形式の待ち(秒) | 14.0 / 14.0 | 13.8 / 12.3 | 11.6 / 11.6 | 11.3 / 11.3 |
| エージェント形式の生成(tok/s) | 20.7 / 20.1 | 27.3 / 27.0 | 23.6 / 27.2 | 35.3 / 35.2 |
Xeon では、2 枚にすると 1 枚と比べて短い質問の生成が 3〜4 割、エージェント形式の生成が 3〜5 割速くなりました。i7 と違って読み込みも遅くならず、16K で 23%、32K で 46% 速くなりました(4K とエージェント形式の待ちはほぼ同じ)。プロンプトが長いほど、2 枚の効果が大きく出ます。i7 では SSD の読み出しが速さを抑えていましたが、RAM に全部載ると、GPU を足した分がそのまま速さに出ます。1 枚どうしで比べても、AVX しかない古い Xeon のほうが i7 より速く(生成 +33〜67%、読み込み +19〜30%)、ここでも効いているのは expert が全部入る RAM でした。
以下は、エンジンのログに出る見積もりと 1〜2 回の測定から計算した推定で、まだ確かめていません。このPC(i7-7800X と X299)の PCIe は 3.0 までで、5060 Ti は x8 のカードなので Gen3 x8(実測 6.9 GB/s)が上限です。同じ割合で換算すると、Gen4 x8 は約 14 GB/s、Gen5 x8(32 GT/s × 8 レーン)は約 28 GB/s です。
プロンプトの読み込みでは、約 8K トークンごとに、GPU に入っていない expert(約 68 GB)を PCIe で送ります。1 回分は Gen3 で約 10 秒、Gen5 で約 2.5 秒です。ただし RAM 64 GB の今は、RAM に載らない expert を SSD から読む時間(32K で約 70 秒)が長く、PCIe の時間はその間に隠れています。そのため、RAM 64 GB のまま PCIe を速くしてもほとんど変わらないと考えています。RAM を増やして SSD を待たなくなると、PCIe が効いてきます。それでも 4 倍にはならず、重ならずに残る計算などの時間(Xeon の測定からの推定で 1 回分あたり約 6 秒)が足されます。
| RAG のプロンプト | RAM 64 GB(今) | 128 GB・Gen3 x8 | 128 GB・Gen5 x8 |
|---|---|---|---|
| 4〜8K(1 回分) | 約 20 秒(4K の実測) | 約 15 秒 | 約 8 秒 |
| 32K(4 回分) | 約 72 秒(実測) | 45〜65 秒 | 20〜35 秒 |
| 答えの生成 | 約 8 tok/s | 約 14 tok/s | 約 14 tok/s |
RAG では、毎回ちがう文書を数千〜数万トークン読ませるので、前の読み込みを使い回せず、この待ちがそのまま答えの出始めまでの時間になります。仮説としては、まず RAM(生成が約 2 倍、待ちも少し縮む)、次に PCIe 4.0 / 5.0(待ちが約半分)の順です。10/22 に RAM に全部載る Xeon(5060 Ti 1 枚、Gen3 x8)で測ると、待ちは 4K で約 12 秒、32K で約 46 秒、生成は約 22 tok/s でした。CPU が違うので直接の確認ではありませんが、待ちは上の表の「128 GB・Gen3 x8」の予想と同じか少しよく、生成は予想(以前の Xeon と 3060 の値)を大きく上回りました。確かめ方:RAM を 128 GB にしたうえで、x16 の 3060(12.3 GB/s、Gen4 x8 とほぼ同じ帯域)と x8 の 5060 Ti を比べ、RAG で使う長さ(8K・16K など)のプロンプトで測ります。
以下は、実測(i7 の 64 GB と Xeon)と、Strata の公式ベンチマーク(Ryzen 9 9900X3D・DDR5-6000 96 GB・RTX 5080 で同じ UD-Q4_K_XL を測ったもの)からの推測で、まだ確かめていません。GPU は 5060 Ti 1 枚と、3060 → 5060 Ti の 2 枚(24 / 24 層+trim)、Strata 0.2.2 を想定しています。Xeon は 252 GB 積んでいますが、エンジンを 1 ノードに固定していたので、使ったのは約 128 GB です(10/31 までの設定。11/04 からは固定せず、両方のノードを使っています)。DDR5 の機種は、DDR5-6000 の 2 チャンネル、Gen4〜5 の NVMe、5060 Ti は Gen5 x8、3060 は Gen4 x8 としました。
| 推測(実測の列を除く) | i7・64 GB(実測) | i7・128 GB | Xeon・1 ノード 128 GB(実測) | DDR5・64 GB | DDR5・128 GB |
|---|---|---|---|---|---|
| 4bit の expert が全部 RAM に入るか | 入らない | 入る | 入る | 入らない | 入る |
| 短い質問の生成、1 枚(tok/s) | 13.0 / 16.0 | 24〜30 | 21.7 / 21.3 | 16〜22 | 30〜40 |
| 短い質問の生成、2 枚(tok/s) | 24.8 / 22.4 | 30〜38 | 28.1 / 30.0 | 25〜32 | 38〜50 |
| 32K の読み込み、1 枚(tok/s) | 588 / 588 | 700〜750 | 698 / 698 | 600〜850 | 800〜1,100 |
| 32K の読み込み、2 枚(tok/s) | 639 / 653 | 1,000〜1,150 | 1,017 / 1,017 | 700〜1,000 | 1,000〜1,300 |
| 総合タイム、1 枚(秒) | 約 90 | 60〜68 | 約 70 | 61〜86 | 42〜58 |
| 総合タイム、2 枚(秒) | 約 72 | 42〜50 | 約 49 | 48〜67 | 35〜46 |
一番効くのは RAM の容量だと考えています。4bit の expert(71.7 GiB)が全部入るかどうかで、総合タイムは i7 で約 72 秒 → 42〜50 秒(2 枚)、DDR5 の機種でも 48〜67 秒 → 35〜46 秒と大きく変わります。容量が同じ 128 GB なら、Xeon(DDR3、AVX のみ)・i7(DDR4)・DDR5 の差は 1〜3 割ほどで、効くのは CPU とメモリの帯域です。DDR5 でも 64 GB では SSD から expert を読む待ちが残り、i7 の 128 GB とほぼ同じか、少し遅いと見ています。
注意:128 GB にするとメモリが遅くなることがあります(DDR5 の 2 チャンネルに 4 枚で DDR5-4800〜5600、i7 に 8 枚で DDR4-2400〜2133)。DDR5 の値は、GPU(5080)・版(0.1.39)・OS の違う 1 件の結果を割り引いたものです。i7 に RAM を足して同じ 2 本を測れば、この仮説を確かめられます。
Strata への報告
測定の結果は、Strata の公式ベンチマークの様式で提出しました。テスト中に見つけた不具合は、再現の手順と直し方の案をつけて報告しています。
tq_rows_avx512 が一覧にない
Issue #3412ggml_tq_overlay が CMake 3.x で失敗-P モードで IN_LIST が使えない
Comment · #3235strata_bench.py の NameError: portWindows だけでなく Linux でも起きることを追加報告
Benchmark · Issue #3703性能の違う GPU 2 枚(3060+5060 Ti)、i7 と Xeon自動の分け方(両方の順)と層を手で決めた 3 通り(trim あり)、RAM に全部載る Xeon での 1 枚と 24 / 24
Issue #3702自動の分け方で後ろのカードの空きが 68 MiB になり、エンジンが止まるverify の窓を作るところで out of memory。--vram-reserve-later-mib 1400 で直る
Comment · #3470後ろのカードの VRAM が埋まるとどうなるかこのペアではエンジンが止まる実例として #3702 を紹介
経過
0.1.45 を AVX 向けにソースからビルドし、本番のテスト一式(速度・NUMA・needle・HumanEval・65 分の連続運転など)を実施。
公式ベンチマークとして PR #2793 を提出。
0.2.0-beta をビルドして再計測。GPU のスロットが Gen3 x8 に変わっていたことに気づき、0.1.45 も同じスロットで測り直して、スロットの効果と版の効果を分けた。不具合 3 件を報告し、PR を更新して再オープン。
4bit の UD-Q4_K_XL を取得し、2bit と速度・正しさを比較。続けて別の PC(i7-7800X、AVX-512)に移り、AVX 版と通常版のビルドを 4bit で比較。
同じ PC で RTX 5060 Ti 単体を測定。モデルの SSD の経路が PCIe Gen3 x1 に絞られていることを見つけ、x4 直結の SSD に移して測り直した(プロンプトの読み込みが約 1.27 倍)。GPU 2 枚(3060+5060 Ti)に分けると 2.5〜3.5 倍遅くなった(あとで誤りとわかった。VRAM 不足による停止とリンクの低下が原因で、0.2.2 で測り直すと、自動の分け方では読み込みが 8〜31% 遅く、層を手で分けると生成が 1 枚の約 1.4〜2 倍。測り直し)。6 つの設定の結果から、速さを決める要因を統計で比べた(要因の分析)。続けて同じ 2 枚を Xeon に移し、0.2.2・4bit で 1 枚と 24 / 24 層+trim を測った(2 枚で生成が 3〜5 割、32K の読み込みが 46% 速い。測り直し)。2 枚の結果と、見つけた不具合を Strata に報告した(#3703、#3702、#3470 へのコメント)。
#1670 の layer-major を GPU 2 枚の層分割に広げ、0.2.4.2 で速さと正しさを比較。#3976 で報告した。
Strata 0.2.7 で layer-major が 2 枚の層分割の標準になった(詳しく)。
PR #2793 が閉じられた。結果は、公式サイトに作るコミュニティのベンチマークページに載る予定。
0.2.8 を i7 と Xeon で測り、#3976 に報告した(詳しく)。
0.2.9・0.2.10 を Xeon で測定。0.2.10 の DeepSeek を NUMA ノードに固定すると、メモリ不足で止まることを見つけた。
NUMA の固定をやめた(速くなった)。2 枚の長いプロンプトを 0.2.9・0.2.10 で測り、この機械では layer-major で速くならないことを確かめた(詳しく)。表を読む RAG を 0.2.10 で測り直し、Strata 導入前のモデルと比べた(RAG)。
i7-7800X の RAM を 125 GiB に増やし、GPU 2 枚を移して測り直した。生成は Xeon より 12% 速く、速さを決めるのは RAM の容量だと確かめた。GPU 2 枚の layer-major は i7 でも速くならず、3060 1 枚では 0.2.10 の標準の walk が 11〜15% 速かった(詳しく)。GPU 2 枚の読み込みが遅い原因を nsys で調べ(x8 の 5060 Ti が expert を受け取る時間)、3060 に 24 層・自分の層の重みだけにして、31K を 40〜44 秒から 29 秒にした。本家に issue #5265 と PR #5255 を出した(詳しく)。夕方、expert を NVFP4 に替えると、さらに 31K が 24.8 秒、生成が約 3 割速くなった。答えの質の差は見えず、普段使いを切り替えた。本家にベンチマーク #5279 を出した(詳しく)。
RTX 5060 Ti 1 枚で、Strata 0.2.13 と llama.cpp b12387 を同じ UD-Q4_K_XL の GGUF で比べた。読み込みは約 2〜4 倍、生成は約 1.7 倍、Strata のほうが速かった(詳しく)。続けて、LAN の別の PC のドローンのシミュレーターを LLM で動かす課題を 3 回ずつ飛ばし、Strata が平均 305 秒・3 回とも完了、llama.cpp が 428 秒・2 回だった。Strata の画像も GPU で読むと、画像つきの呼び出しが 31.8 秒から 10.6 秒になった。ドローンの操作を ROS 2 経由にした形でも、探索から着陸まで達成した。ドローンの試験を「フィジカル AI 応用」のページに移し、身体性向けの VLM(Cosmos-Reason2-8B)と 1 回ずつ比べた(Cosmos は球を見つけられなかった)。公式の書式で思考させた Cosmos でも 1 回飛ばしたが、やはり球を見つけられず、手数の上限で終わった(詳しく)。
Strata 0.2.15 をビルドし、RTX 5060 Ti 1 枚で 0.2.13 と比べた。長いプロンプトの読み込みが約 7% 速く、生成と RAG の答えは同じだったので、普段使いを 0.2.15 にした(詳しく)。
LAN の 2 台の PC だけで、架空のトマトケチャップの 15 秒 CM を作った(Strata が企画、Qwen-Image・MiniMax-H3・VOICEVOX が絵・動画・声、約 25 分)。Strata に完成した映像を監修させ、指摘から直しの計画を書かせて作り直し、最後は全部の版から最良を選ばせた(詳しく)。
条件と制限
- 速度は各版 1 回ずつで、交互の繰り返しはしていません。i7-7800X の節を除き、Xeon の 1 台での計測です。
- 正しさのテストは問題の数が少なく(HumanEval 40 問、日本語 12 問)、細かい質の差は見分けられません。
- 計測はエンジンとサーバーをソースから動かしたものです。0.2.0 のデスクトップアプリやインストーラーは試していません。
- Xeon では、10/31 までは GPU のつながる NUMA ノードに固定して動かしていました。11/04 からは固定していません(i7-7800X は 1 ノード)。