Strata research · 2026-10〜11

AVX2 のない Xeon で、大型 MoE を動かす

Strata は、Qwen3.8-Flash-Next のような大型の MoE モデルを、GPU 1 枚とシステムの RAM・CPU で動かすソフトです。公式には AVX2 が前提ですが、実験的な「古い CPU 向け」ビルド(STRATA_ISA_FLOOR=avx)があります。2013 年世代の Xeon と RTX 3060 で、実際にどこまで使えるかを測りました。

CPU
Xeon E5-2630 v2 × 2(AVX のみ)
RAM
252 GB DDR3
GPU
RTX 3060 12 GB(10/22 から RTX 5060 Ti 16 GB との 2 枚も)
OS
Fedora 44
News · 2026-11-17

ローカル AI だけで 15 秒 CM を作り、Strata(Qwen)が映像を監修して自分で直しました

LAN の 2 台の PC だけで、架空のトマトケチャップの CM を約 25 分で作りました。Strata が企画・監修・直しの計画・版選びを受け持ち、Qwen-Image・MiniMax-H3・VOICEVOX が絵・動画・声を作ります。Qwen は完成した映像から大きな問題(ボトルが空・男の子が別人・絵に無い手)を観点なしでも自分で見つけ、共通の見本の絵を使って直し、最後は全部の版から最良を選んで組みました。構成・道具・役割・結果は Strata の動画生成にあります。

News · 2026-11-16

Strata 0.2.15 にしました:長いプロンプトの読み込みが約 7% 速く、生成と答えは同じでした

0.2.14 から、プロンプトの読み込みが llama.cpp 由来のコードから Strata 自身のカーネルに替わりました(NVFP4 の expert も含みます。0.2.15 はアプリ側だけの更新で、エンジンは 0.2.14 と同じです)。0.2.15 をソースからビルドし、普段使いの設定(RTX 5060 Ti 16 GB 1 枚、Qwen3.8-Flash-Next NVFP4)で 0.2.13 と交互に 2 回ずつ起動して比べました。

版31.1K トークン26.2K トークン約 5K トークン約 0.5K トークン生成
Strata 0.2.1333.6 / 34.7 s33.1 / 33.3 s10.6 / 10.8 s4.2 / 4.3 s34.2 / 34.0 tok/s
Strata 0.2.1531.5 / 31.5 s30.8 / 30.7 s10.3 / 10.4 s4.0 / 4.0 s(28.4)/ 33.8 tok/s

最初のトークンまでの時間、1 回目 / 2 回目の起動。生成は 6,500 字の要約 4 回の平均。温度 0、思考なし。


News · 2026-11-15

ドローンを LLM で動かす試験は、「Strata のフィジカル AI 応用」のページに移しました

llama.cpp と 3 回ずつ飛ばした比べ(Strata が平均 305 秒・3 回とも完了)、画像を GPU で読む設定、ROS 2 経由の操作、身体性向けの VLM(Cosmos-Reason2-8B)との比べは、Strata のフィジカル AI 応用にあります。

News · 2026-11-15

同じモデル・同じ GGUF で最新の llama.cpp と比べても、Strata のほうが速いままでした:読み込み約 2〜4 倍、生成約 1.7 倍

i7-7800X の機械に RTX 5060 Ti 16 GB を 1 枚だけ挿して、Qwen3.8-Flash-Next を Strata 0.2.13 と llama.cpp b12387(11/14 公開、CUDA 版の配布物)で動かしました。llama.cpp には UD-Q4_K_XL の GGUF をそのまま読ませ、Strata も同じ GGUF の pack で測りました。普段使いの NVFP4 も並べています。llama.cpp は、置き方を自動で決める標準の設定(--fit on)に、文脈 65,536・flash attention を指定しました。測り方はどれも同じで、プロンプトの最初の語までの時間と、約 4K トークンの要約 4 回の生成の速さです。

エンジンと設定31.1K トークン26.2K トークン約 4K トークン生成
Strata 0.2.13、NVFP4(普段使い)33.8 s33.2 s10.5 s31.9 tok/s
Strata 0.2.13、UD-Q4_K_XL40.9 s36.6 s11.9 s29.8 tok/s
llama.cpp b12387、UD-Q4_K_XL、標準543.8 s388.9 s59.6 s17.3 tok/s
llama.cpp b12387、UD-Q4_K_XL、-ub 2048161.4 s131.6 s22.4 s17.5 tok/s
llama.cpp b12387、UD-Q4_K_XL、--load-mode none429.7 s363.1 s55.2 s16.6 tok/s

各設定 1 回の起動です。約 4K と生成は 4 回の平均。温度 0、思考なし。

News · 2026-11-05

NVFP4 の expert で、長いプロンプトが約 14%、生成が約 3 割速くなりました:旧世代の RTX 3060 と Blackwell の RTX 5060 Ti の組み合わせで

同じ i7-7800X の機械(RTX 3060 Gen3 x16 + RTX 5060 Ti Gen3 x8 の層分割、Strata 0.2.10、expert は全部 RAM)で、Qwen3.8-Flash-Next の expert を UD-Q4_K_XL から NVFP4(NVIDIA の 4 ビットの形式、Strata 用の GPTQ 版)に替えて測りました。3060 には FP4 の計算回路がありませんが、Strata の標準の計算(w4a8)は NVFP4 の重みを 8 ビットの回路で掛けるので、2 枚とも同じ計算をします。下の表は、プロンプトの最初の語までの時間と生成の速さです(各設定の上限チャンク 16,384、各 GPU が自分の層の重みだけを読む設定)。

expert、3060 の層の数自動のチャンク31.1K トークン26.2K トークン生成
UD-Q4_K_XL、24 層(昼の最速)10,75229.0 s28.2 s29.5〜37.1 tok/s
NVFP4、24 層13,82428.9 s23.7 s40.4〜45.0 tok/s
NVFP4、21 層14,84829.8 s23.0 s41.3〜45.6 tok/s
NVFP4、18 層15,87224.8〜25.2 s23.8〜24.4 s39.1〜44.1 tok/s
NVFP4、16 層16,12826.3 s24.9 s38.8〜41.7 tok/s

各 1 回です(NVFP4・18 層は 2 回の起動)。温度 0、思考なし。

News · 2026-11-05

GPU 2 枚のプロンプトの読み込みを 27〜34% 速くしました:原因は x8 の回線での expert の送り直しでした

i7-7800X(RAM 125 GiB)で、RTX 3060(PCIe Gen3 x16)と RTX 5060 Ti(Gen3 x8)の層分割を使いました。Strata 0.2.10、Qwen3.8-Flash-Next UD-Q4_K_XL で、expert は全部 RAM に置いています。この構成で長いプロンプトの読み込みが遅い理由を nsys で調べ、設定を変えて速くしました。下の表は、31.1K トークンのプロンプトの最初の語までの時間です。

設定31.1K トークン
0.2.10 の自動の分け方(3060 に 18 層)39.8〜44.1 s
3060 に 24 層、各 GPU が自分の層の重みだけを読む(--layer-split 24 --trim-stage-weights)29.9 s
同上 + チャンクの上限 16,384(STRATA_PREFILL_AUTO_MAX=16384)29.2 s
自動の分け方を読み込み向けにした試作(自分で 3060 に 23 層を選ぶ)32.9 s
2 枚が 1 チャンクおきに全部の層を読む(本家の PR #5002)44.1 s
使うトークンが少ない expert を CPU で計算する30.8〜46.5 s

各 1 回です(3060 に 24 層は 3 回測って 29.9〜30.0 秒)。自動の分け方の 39.8 秒と 44.1 秒の差は、チャンクの数(5 つか 6 つか)の違いです。

News · 2026-11-05

i7-7800X に RAM を足して測り直しました:生成の速さは RAM の容量で決まることを確かめました

2 台目の PC(i7-7800X、AVX-512)の RAM を 125 GiB に増やし、Xeon で使っていた GPU 2 枚(RTX 3060+RTX 5060 Ti の層分割)を移して、Xeon と同じ版・同じ設定(setup.py の標準)で測りました。Qwen3.8-Flash-Next(UD-Q4_K_XL)の expert(71.7 GiB)と PLE の表(26.8 GiB)が、i7 でも全部 RAM に載ります。PCIe は 3060 が Gen3 x16、5060 Ti が Gen3 x8 です(Xeon は 2 枚とも Gen3 x8)。

測ったものi7-7800X(RAM 125 GiB)Xeon(RAM 252 GB)
短い質問の生成(0.2.9、60 回の中央値)30.2 tok/s27.0 tok/s
短い質問の最初の語まで(中央値)1.39 s1.81 s
31K トークンの最初の語まで(0.2.10 標準)39.2〜39.5 s44.6〜45.0 s
49K トークンの最初の語まで(0.2.10 標準)59.6〜60.0 s64.4〜65.3 s
長いプロンプトの後の生成(0.2.9、中央値)33.5 tok/s31.9 tok/s
News · 2026-11-04

0.2.9・0.2.10:Xeon E5-2630 v2 の機械では、GPU 2 枚でも長いプロンプトは速くならなかった

0.2.9 と 0.2.10 を Xeon(RTX 3060+RTX 5060 Ti の層分割、UD-Q4_K_XL)で測りました。今回は setup.py の標準の設定で、expert(71.7 GiB)を全部 RAM に置き、NUMA ノードへの固定もしていません。下の表は、最初の語が出るまでの時間です。

プロンプト(トークン)0.2.9 標準0.2.9 layer-major を強制0.2.10 標準
0.8〜4.7K10.7〜15.5 s11.2〜16.0 s10.5〜15.5 s
7.6〜10.3K19.5〜21.7 s20.0〜23.0 s19.8〜21.9 s
14.3〜19.5K26.9〜29.8 s27.6〜32.3 s27.2〜30.0 s
31.3〜31.5K44.5〜44.7 s46.4〜46.8 s44.6〜45.0 s
48.9〜49.0K64.0〜65.0 s62.1〜62.9 s64.4〜65.3 s

各 3 回、毎回違うプロンプト、温度 0、思考なし。

NUMA ノードに固定するのをやめました


News · 2026-10-27

layer-major が Strata 本体に入りました

11/04 追記:0.2.10 からは、layer-major は標準では使われません(STRATA_PREFILL_LAYER_MAJOR=1 で使えます)。expert を全部 RAM に置いた Xeon では、0.2.9・0.2.10 で効果がありませんでした(0.2.9・0.2.10)。この節の結果は、expert の一部をドライブから読む設定のものです。

長いプロンプトを速く読む「layer-major prefill」が、Strata 0.2.7(10/27)で、CUDA カード 2 枚の層分割の標準の動作になりました。リリースノートには「From PR #3976 by @Norhiro, building on @vizdatom's #1670」と書かれています。Strata の履歴には私(Norihiro Nishimura)のコミット 8 件が取り込まれ、0.2.7 に入りました(中心のコミット)。2 枚の層分割への拡張、均等な塊分け、FP16 の経路の追加などです。

これまでは 8,192 トークンごとに、各層の expert を読み直していました。layer-major は大きな塊を層ごとに処理するので、読み直しは塊ごとに 1 回で済みます。vizdatom さんが GPU 1 枚向けに提案した方式(#1670)を、GPU 2 枚の層分割に広げて #3976 で報告しました。下の表は、最初の語が出るまでの時間です。

プロンプト手元:3060+5060 Ti倍率公式:RTX A4000 × 2倍率
8K28.9 s → 18.5 s1.6×41.8 s → 15.2 s2.8×
20K54.2 s → 23.5 s2.3×98.8 s → 17.5 s5.6×
32K65.0 s → 33.1 s2.0×141.8 s → 27.7 s5.1×

手元の値は 0.2.4.2 本体と、それに今回の変更を加えた版の比較(UD-Q4_K_XL、各 2 回目の実行)です。32K のドライブ読み込みは 75 GB から 35 GB に減りました。正しさは変わらず、needle は 9/9、HumanEval は 39 / 38、日本語は 11/12、ツール呼び出しは 8/8 で両者同じでした。生成の速さも 24.0 と 24.1 tok/s で同じです。公式の値は別の GPU とモデルの測定なので、手元の値とは比べられません。

0.2.8 を手元の 2 枚で測りました(10/31)

公式の依頼を受けて、0.2.8 を 3060+5060 Ti で測り、#3976 に報告しました。結論は、標準の設定では layer-major は動かず、VRAM の余白を調整すると 20K と 32K の待ち時間が約半分になるというものです。層は 24 / 24 に分け、UD-Q4_K_XL を使いました。「無効」は STRATA_PREFILL_LAYER_MAJOR=0、「調整あり」は --vram-reserve-mib 1700 --vram-reserve-later-mib 1700 --prefill 4096 と STRATA_PREFILL_LM_MARGIN_MIB=96 です。

機械・設定8K20K32K32K の読み込み生成(中央値)
i7-7800X、RAM 62 GB・無効24.3 s42.7 s51.3 s87 GB26.85 tok/s
i7-7800X・調整あり24.2 s23.4 s29.8 s39 GB21.8 tok/s
Xeon E5-2630 v2 × 2、RAM 251 GB・無効24.8 s49.1 s62.7 s39 GB28.05 tok/s
Xeon・調整あり22.7 s24.2 s30.9 s0.1 GB26.9 tok/s

時間は各サイズ 2 回目の、最初の語が出るまでの時間です(i7 は各 2 回、Xeon は各 3 回)。生成は 40 問の中央値です。正しさは両機とも無効と調整ありで同じで、needle は 9/9、HumanEval は 39 / 38、日本語は 11/12、ツール呼び出しは 8/8 でした。Xeon は AVX までの CPU で、2 枚とも PCIe Gen3 x8 です。AVX 版のビルドで不正な命令は出ませんでした。

読むときの注意

i7 では、調整の代わりに生成が 19% 遅くなりました。Xeon では 4% の低下でしたが、測定は各 1 回で無効を先に測っているので、誤差の範囲かもしれません。RAM が多いと低下が小さくなる理由は切り分けていません。Xeon の調整ありの読み込みがほぼ 0 なのは、ページキャッシュに残っていた分も含むためです。i7 では標準の設定でも、--layer-split auto のどちらのカード順でも layer-major は動かず、32K は 50〜65 秒でした。Xeon ではこの条件は測っていません。#3976 には、PCIe Gen3 の 3090 や V100 2 枚で遅くなったという報告もあるので、効果はカードと接続によって変わります。切るには STRATA_PREFILL_LAYER_MAJOR=0 を設定します。


Summary

要約と目次

要約

  • ローカル AI だけで 15 秒 CM を作り、Strata(Qwen)が映像を監修して自分で直しました(11/17)。完成した映像の大きな問題を観点なしでも自分で見つけ、共通の見本の絵で人物と商品をそろえ、最後は全部の版から最良を選んで組みました(動画生成)。
  • ドローンのシミュレーターを LLM で動かす課題でも、Strata のほうが速く、安定していました(11/15)。同じ指示で 3 回ずつ飛ばし、平均 305 秒・3 回とも完了(llama.cpp は 428 秒・2 回)でした。画像つきの呼び出しは、Strata も画像を GPU で読むと 31.8 秒から 10.6 秒になり、llama.cpp(22.4 秒)より速くなりました。ROS 2 経由で動かしても、同じ課題を最後まで達成しました。身体性向けの VLM(Cosmos-Reason2-8B)は、同じ課題を達成できませんでした(フィジカル AI 応用)。
  • 同じモデル・同じ GGUF で最新の llama.cpp(b12387)と比べても、Strata のほうが速いままでした(11/15)。RTX 5060 Ti 1 枚で、llama.cpp の一番速い設定と比べて、31K の読み込みが約 4 倍、生成が約 1.7 倍の速さでした(詳しく)。
  • NVFP4 の expert で、長いプロンプトが約 14%、生成が約 3 割速くなりました(11/05 夕方)。旧世代の 3060 と Blackwell の 5060 Ti の組み合わせで、2 枚とも同じ 8 ビットの計算で動きます。重みが小さくなって一番よい層の分け方が 24 層から 18 層に変わり、31K が 29.0 秒から 24.8 秒になりました。答えの質の差は見えませんでした(詳しく)。
  • GPU 2 枚のプロンプトの読み込みを 27〜34% 速くしました(11/05)。遅い原因は、x8 の 5060 Ti がチャンクごとに expert を受け取り直す時間でした。3060 に 24 層を持たせ、各 GPU が自分の層の重みだけを読むと、31K が 40〜44 秒から 29 秒になりました(詳しく)。
  • Xeon E5-2630 v2 の機械では、0.2.9・0.2.10 で GPU 2 枚にしても長いプロンプトは速くなりませんでした。RTX 3060+RTX 5060 Ti で、expert を全部 RAM に置く標準の設定だけを測った結果です。11/05 に i7-7800X でも同じ結果になりました(詳しく)。この条件では、0.2.9 の標準の layer-major は実際には動かず、無理に動かしても待ち時間は同じでした。限界は PCIe です。0.2.10 では layer-major が標準で使われなくなりました。NUMA ノードへの固定もやめました(詳しく)。
  • 長いプロンプトを速く読む layer-major が、Strata 0.2.7 の標準になりました(0.2.10 からは標準では使われません)。ここでの GPU 2 枚向けの拡張のコミット 8 件が Strata に取り込まれました。手元の 2 枚では、VRAM の余白を調整すると 32K の待ち時間が約半分になりました(expert の一部をドライブから読む設定。詳しく)。
  • AVX しかない古い Xeon でも、Strata は正しく動きます。0.1.45 から 0.2.10 まで、AVX 版のビルドで不正な命令は一度も出ませんでした。
  • Xeon では、GPU を挿すスロットが一番効きました。PCIe Gen2 x4 から Gen3 x8 に変えると、プロンプトの読み込みが約 3 倍になりました。0.2.0 では生成も 6〜12% 速くなりました。
  • 2bit と 4bit では、正しさはほぼ同じで、4bit は速さが約半分です。0.2.0・GPU 1 枚では、この機械には 2bit が向いていました(0.2.0・GPU 1 枚での比較。11/04 の 0.2.9・0.2.10、GPU 2 枚、setup.py の標準の設定では、4bit でも短い質問の生成が 27〜28.5 tok/s、32K の読み込みが約 45 秒で、0.2.0 の 2bit とほぼ同じ速さになりました。2bit は新しい版では測り直していません。)。
  • 4bit の生成の速さを決めているのは RAM の容量です。RAM 64 GB の i7-7800X では expert が RAM に載りきらず、生成は Xeon(1 ノード 128 GB に expert を全部置ける)の約半分〜6 割でした。SSD を速い経路に移すと読み込みは約 1.27 倍になりますが、生成は速くなりません。11/05 に i7 の RAM を 125 GiB に増やして expert を全部載せると、生成は Xeon より 12% 速くなりました(詳しく)。
  • GPU を 2 枚に分けるなら、層の数を自分で決めると 1 枚より速くなります(0.2.2、3060+5060 Ti。層を 24 / 24 に分けて各カードに自分の層の重みだけを置くと、短い質問の生成が 1 枚の約 1.4〜2 倍、エージェント形式の待ちも短くなりました。RAM に全部載る Xeon では、32K の読み込みも 1 枚の約 1.5 倍になりました。自動の分け方ではあまり速くなりません。以前の「2.5〜3.5 倍遅い」は誤りでした。2 枚の測り直し)。8 つの設定の順位はランキングにあります。

Findings

わかったこと

動く

AVX のみの CPU でも正しく動作

0.1.45 から 0.2.10 まで、AVX 版のビルドで不正な命令(SIGILL)は一度も出ていません。CPU 側の計算は AVX1 の 128 ビットカーネルで行われ、その照合テストも合格しています。

約 3 倍

GPU のスロットが一番効いた

GPU を PCIe Gen2 x4 のスロットから Gen3 x8 のスロットに挿し替えただけで、プロンプトの読み込みが約 3 倍、エージェント形式の待ちが約 22 秒から約 6 秒になりました。

容量

古い機種でも、生成の速さはメモリの容量で決まる

Xeon の DDR3 は、1 ノードの帯域が i7 の半分しかありません。それでも expert を全部 RAM に置けたので、生成は i7 の約 2 倍でした。効くのはメモリの速さより、expert が全部入るかどうかです。一方、プロンプトの読み込みは GPU と PCIe の経路で決まります。大きなモデルには、まず expert が入る RAM、次に一番速いスロットです(11/05 に確かめました。i7 の RAM を 125 GiB に増やして expert を全部載せると、同じ版・同じ設定で生成は Xeon の 1.12 倍になりました。詳しく)。

+6〜12%

0.2.0 で生成が速く

同じスロットで 0.1.45 と比べ、生成が 6〜12% 速くなりました。公表値(RTX 3060 で +10.2%)とほぼ同じです。

2bit

この機械では 2bit が向く

4bit(UD-Q4_K_XL)は速さが約半分になる一方、今回のテストでは正しさは 2bit(IQ2_XS)とほぼ同じでした(0.2.0・GPU 1 枚での比較。11/04 の 0.2.9・0.2.10、GPU 2 枚、setup.py の標準の設定では、4bit でも短い質問の生成が 27〜28.5 tok/s、32K の読み込みが約 45 秒で、0.2.0 の 2bit とほぼ同じ速さになりました。2bit は新しい版では測り直していません。)。

RAM

別の PC では命令セットより RAM と SSD の経路

AVX-512 のある i7-7800X(RAM 64 GB)では、AVX 版と通常版のビルドで速さは同じでした。4bit は RAM に載りきらず、生成の時間のほとんどを SSD から expert を待つことに使っています。SSD を x4 直結にしても生成は速くならず、効いているのは RAM の容量でした(要因の分析)。

結論:読みは GPU、書きはメモリ容量

2 台・8 つの設定を比べてわかった、速さを決めるもの

読み(プロンプトの読み込み)GPU と、データを運ぶ経路(PCIe・SSD)で決まる

Xeon では GPU のスロットを Gen2 x4 から Gen3 x8 に変えただけで約 3 倍。i7 では RTX 5060 Ti で ×1.28、SSD を x4 直結にして ×1.27。i7 でも Xeon の約 9 割まで届きました。

書き(生成)expert が全部入る RAM の容量で決まる

expert を全部 RAM に置けた Xeon は 14.3 tok/s、入りきらない i7 は 7〜9 tok/s(10/22 時点、4bit、GPU 1 枚。11/04 の Xeon は GPU 2 枚と標準の設定で 27〜28.5 tok/s)。11/05、RAM を 125 GiB に増やした i7 は、同じ条件で 30.2 tok/s と Xeon を上回りました。GPU を替えても、SSD を速くしても、AVX-512 でも、この差はほとんど縮みませんでした。


Speed

速度:スロットの変更と 0.2.0

モデルは IQ2_XS(2bit)、文脈 40,960。tools/strata_bench.py --long の各 3 回の中央値で、モデルファイルをメモリから追い出してから起動しています(コールド)。

項目0.1.45・旧スロット0.1.45・新スロット0.2.0・新スロット
短い質問の生成17.1 tok/s23.6 tok/s25.1 tok/s
4K プロンプトの読み込み178 tok/s632 tok/s636 tok/s
16K プロンプトの読み込み342 tok/s951 tok/s987 tok/s
32K プロンプトの読み込み352 tok/s973 tok/s992 tok/s
エージェント形式の毎ターンの最初のトークンまで21.9 s6.17 s6.22 s
エージェント形式の生成20.5 tok/s27.5 tok/s30.9 tok/s
旧スロット:2026-10-16、新スロット:2026-10-20。エンジンが測った CPU→GPU の帯域は 1.6 GB/s → 6.0 GB/s。各版 1 回ずつの計測なので、数 % の差は誤差の範囲でありえます。
古いマザーボードで試す方へ

Strata は、GPU に入りきらない expert を PCIe でやり取りします。デュアル Xeon の板では、x16 の形をしたスロットでも中身が Gen2 x4 のことがあります。lspci -vv の LnkSta で実際の速さと幅を確かめ、一番速いスロットに挿すのが、ソフトの設定よりも先にやるべきことでした。


Correctness

回答の正しさ

長い文脈の中から合言葉を探すテスト(needle)、HumanEval の 0〜39 番(EvalPlus 0.3.1 で採点)、日本語の 12 問、ツール呼び出しの 8 問です。

テスト0.1.45(10/16)0.2.0(10/20)
needle(4K/16K/32K × 深さ 10/50/90%)9/99/9
HumanEval 0〜39 番 base / plus37/40 · 35/4039/40 · 37/40
日本語 12 問11/1211/12
ツール呼び出し 8 問8/88/8
モデルは IQ2_XS。HumanEval の +2 問は、スロットの変更でエンジンの計算の経路も少し変わるため、0.2.0 の効果とは言い切れません。

2bit vs 4bit

2bit(IQ2_XS)と 4bit(UD-Q4_K_XL)

どちらも 0.2.0、新しいスロット、文脈 40,960。4bit の expert(77 GB)もすべて RAM に置けますが、expert 1 つが約 2 倍の大きさなので、GPU に置ける数が 3,813 から 1,168 に減ります。

項目IQ2_XS(2bit)UD-Q4_K_XL(4bit)
短い質問の生成25.1 tok/s14.3 tok/s
32K プロンプトの読み込み992 tok/s(32 s)445 tok/s(72 s)
エージェント形式の毎ターンの最初のトークンまで6.2 s14.0 s
エージェント形式の生成30.9 tok/s14.0 tok/s
needle9/99/9
HumanEval base / plus39/40 · 37/4037/40 · 36/40
日本語 / ツール11/12 · 8/811/12 · 8/8
4bit が HumanEval で落とした 2 問は、関数の中身は正しく、from typing import List の行がなかったため採点で動かなかったものです。

この機械では、4bit にすると速さが約半分になる一方、今回のテストの範囲では正しさの違いは見えませんでした。当時(10/21)は、ふだん使いに 2bit を選びました。11/04 現在は、GPU 2 枚と setup.py の標準の設定で 4bit の生成が 27〜28.5 tok/s になったので、4bit(UD-Q4_K_XL)を使っています。2bit は新しい版で測り直していません。ただし問題の数が少ないので、細かい質の差までは測れていません。


Another PC

別の PC:Core i7-7800X(AVX-512)

2026-10-21 から、AVX2 と AVX-512 のある PC でも測りました。GPU は同じ RTX 3060(PCIe Gen3 x8)、Strata も同じ 0.2.0-beta(エンジン 0.1.45.3)、モデルは 4bit の UD-Q4_K_XL です。

CPU
Core i7-7800X(6 コア、AVX2・AVX-512)
RAM
64 GB DDR4-2666(4 チャネル)
GPU
RTX 3060 12 GB
OS
Fedora 44

AVX 版と通常版(AVX-512)のビルド

同じソースを、古い CPU 向け(STRATA_ISA_FLOOR=avx)と通常の設定(-march=native)でビルドして比べました。

項目AVX 版通常版(AVX-512)
短い質問の生成6.6 tok/s7.4 tok/s
4K プロンプトの読み込み139 tok/s134 tok/s
32K プロンプトの読み込み274 tok/s272 tok/s
エージェント形式の毎ターンの最初のトークンまで27.6 s28.7 s
コールド、各 3 回の中央値。生成の差は 3 回のばらつき(4〜11 tok/s)の中です。Strata 独自の AVX-512 カーネルは VNNI・VBMI を必要とするので、この CPU ではどちらのビルドでも AVX2 のカーネルが使われます。

Xeon との比較(4bit)

項目Xeon(RAM 252 GB、使ったのは 1 ノードの約 128 GB。10/31 までの設定)i7-7800X(RAM 64 GB)
短い質問の生成14.3 tok/s7.4 tok/s
4K プロンプトの読み込み293 tok/s134 tok/s
32K プロンプトの読み込み445 tok/s(72 s)272 tok/s(118 s)
エージェント形式の毎ターンの最初のトークンまで14.0 s28.7 s
i7-7800X は通常版のビルド。CPU(AVX2)とメモリの帯域(60 GB/s、Xeon の 1 ノードは約 30 GB/s)はこちらが有利です。

4bit の expert(77 GB)が 64 GB の RAM に載りきらないため、RAM に置くのは 38 GiB にとどめ、残りの約 30 GiB はトークンごとに SSD から読んでいます(--resident-budget-gib 38)。速さを決めているのはこの読み出しで、CPU の命令セットの差は表に出ませんでした。CPU そのものの比較には、両方の RAM に収まる 2bit で測る必要があります。

RTX 5060 Ti 16 GB 単体

同じ PC で、GPU だけを RTX 5060 Ti(Blackwell、sm_120、PCIe Gen3 x8)に替えました。ほかの設定は同じです。VRAM が多いぶん、GPU に置ける expert が 1,374 から 2,731 に増えます。

項目RTX 3060RTX 5060 Ti
短い質問の生成7.4 tok/s8.9 tok/s
4K プロンプトの読み込み134 tok/s159 tok/s
32K プロンプトの読み込み272 tok/s(118 s)354 tok/s(91 s)
エージェント形式の毎ターンの最初のトークンまで28.7 s24.3 s
エージェント形式の生成11.3 tok/s13.9 tok/s
i7-7800X、通常版のビルド、4bit、コールドの中央値。5060 Ti の生成は使ううちにキャッシュが当たるようになり、3 回目は 14〜16 tok/s まで上がりました。

GPU を替えると 2〜3 割速くなりましたが、Xeon(expert をすべて RAM に置いた状態)にはまだ届きません。

SSD の経路が PCIe Gen3 x1 だった

モデルを置いた NVMe SSD(Solidigm P41 Plus)は、SSD 自身は x4 でつながっていますが、M.2 を増やすカード(PLX PEX 8747 のスイッチ)を経由し、その先がチップセットの x1 のポートでした。キャッシュを通さずに読むと 782 MB/s で、SSD 本来の速さの 4 分の 1 以下です。RAM に載らない expert はここを通って読まれるので、当初は 4bit の速さを主に決めていたのはこの経路だと考えていました(下の x4 直結の測定で、効くのはプロンプトの読み込みだけとわかりました)。/sys/bus/pci/devices/*/current_link_width を、SSD から上の各ブリッジまでたどると確かめられます。マザーボードの M.2 に挿し直すなどの対策は、まだ試していません。

モデルを x4 直結の SSD に移すと

ハードを触らずに試せる方法として、モデルを /home の SSD(KIOXIA BG4、Gen3 x4 直結)にコピーしました。キャッシュを通さない読み出しは 1 本で 1.9 GB/s、4 本同時で 2.4 GB/s と、元の経路(約 0.8 GB/s)の 2.4〜3 倍です。GPU は RTX 5060 Ti、ほかの設定は同じです。

項目x1 の経路x4 直結参考:Xeon
短い質問の生成8.9 tok/s7.8 tok/s14.3 tok/s
4K プロンプトの読み込み159 tok/s202 tok/s293 tok/s
32K プロンプトの読み込み354 tok/s(91 s)448 tok/s(72 s)445 tok/s(72 s)
エージェント形式の毎ターンの最初のトークンまで24.3 s17.2 s14.0 s
エージェント形式の生成13.9 tok/s15.0 tok/s14.0 tok/s
i7-7800X・RTX 5060 Ti、4bit、コールドの中央値。参考の Xeon は RTX 3060 で、expert をすべて RAM に置いた状態です。短い質問の生成の差は、3 回のばらつき(5〜15 tok/s)の中です。

プロンプトの読み込みはどの長さでも約 1.27 倍になり、32K では Xeon と同じくらいになりました。エージェント形式で返事が始まるまでの待ちも、24 秒から 17 秒に縮みました。一方、短い質問の生成は約 8 tok/s のままで、Xeon との差は残っています。生成のときは約 4 MB の expert を少しずつ読みます。エンジンのログでは、読み出し 1 回の待ちは x1 でも x4 直結でも約 3 ms で変わらず、帯域では決まっていませんでした。生成も速くするには、RAM を増やして expert をすべて RAM に置くのが確実です。

どの要因が効くか(統計)

ここまでの 6 つの設定(Xeon、i7 の AVX 版・AVX-512 版、RTX 5060 Ti、x4 直結の SSD、GPU 2 枚)を、1 つの要因だけが違うものどうしで比べました。短い質問の生成は、Xeon → i7 で ×0.47、GPU 2 枚に分けると ×0.44(この値は誤りでした。Xeon で 0.2.2 の 1 枚と 2 枚・24 / 24 層+trim を足して比べると、2 枚で ×1.33。測り直し)、RTX 5060 Ti で ×1.36。SSD の x4 直結と AVX-512 は、生成にはほとんど効きませんでした。Xeon はメモリを 1 ソケット(126 GiB)に固定していたので、効いていたのは「expert が全部入る 1 ノード分の RAM」です(10/31 までの設定。11/04 からは固定していません。詳しく)。グラフと 95% 区間は 4bit の速度の要因分析(日本語・English) にまとめました。この 2 つを加えた 8 つの設定を「読み」(プロンプトの読み込み)と「書き」(生成)の速さで並べた順位は、実効速度のランキングにあります。

訂正と更新:GPU 2 枚の測り直し(Strata 0.2.2、10/22。Xeon の結果を追加)

以前ここに「2 枚に分けると 2.5〜3.5 倍遅い」と書きましたが、これは誤りでした。その測定では、5060 Ti のリンクが Gen2 に落ちていたうえ、最後のカードの VRAM の空きが 60 MiB ほどしかありませんでした。そのためエンジンが out of memory で止まり、再起動を挟んでいました。Strata 0.2.2 で、後ろのカードに VRAM の余裕を残す設定(--vram-reserve-later-mib 1400、エンジンのログが勧める値)を足して測り直しました。どの計測も途中で止まることはありませんでした。設定はすべて 0.2.2 の既定(route tail skip オン)で、1 枚の値も 0.2.2 で測ったものです。

層の分け方を自動に任せると、2 枚はあまり速くなりませんでした。Strata は層を 2 枚のカードに分けて受け持たせます(前のカードが前半の層、後ろのカードが残りの層と出力)。自動("layer_split": "auto")では、3060 に 19 層、5060 Ti に 29 層を割り当てました。カードの順を逆にしても(5060 Ti に 35 層)、長いプロンプトが遅くなるだけでした。

層の数を自分で決めて、各カードに自分の層の重みだけを置く設定(--trim-stage-weights)を足すと、2 枚が 1 枚よりはっきり速くなりました。重みを減らした分の VRAM が expert のキャッシュに回り、2 枚のキャッシュは合わせて約 1.35 倍になりました。並びはどれも 3060 → 5060 Ti です。

中央値(cold / warm)5060 Ti 1 枚2 枚・自動(19 / 29 層)2 枚・24 / 24 層+trim2 枚・30 / 18 層+trim
短い質問の生成(tok/s)13.0 / 16.013.6 / 19.424.8 / 22.426.1 / 23.7
4K の読み込み(tok/s)268 / 268203 / 200236 / 239281 / 239
16K の読み込み(tok/s)529 / 499421 / 441454 / 471509 / 494
32K の読み込み(tok/s)588 / 588538 / 541639 / 653606 / 620
エージェント形式の待ち(秒)14.0 / 14.016.0 / 17.013.8 / 12.313.3 / 12.8
エージェント形式の生成(tok/s)20.7 / 20.123.8 / 22.527.3 / 27.026.4 / 24.3

層を 24 / 24 か 30 / 18 に分けると、1 枚と比べて短い質問の生成が約 1.4〜2 倍(cold・warm とも 22〜26 tok/s で安定)、エージェント形式の生成が 2〜3 割速く、待ちも最大 1.7 秒短くなりました。32K の読み込みも 3〜11% 速く、4K・16K は 1 枚とほぼ同じです。5060 Ti に 36 層を渡す分け方(12 / 36)は、生成は速いものの読み込みは自動とほぼ同じでした。自動の分け方は、速いカードに層を多く渡しすぎる傾向があります(Strata の issue #2644 と同じ)。trim の効果と層の数の効果は、まだ分けて測っていません。

それでも、2 枚のキャッシュに載るのはよく使う expert の一部で、残りは RAM と SSD から読んでいます(1 回の計測で SSD から約 900 GiB)。RAM を増やす効果は、GPU を足す効果とは別に残っています。このPC(RAM 64 GB)でのおすすめは、3060 → 5060 Ti の順で "layer_split": "24"(短いプロンプトやチャットが中心なら "30")、--trim-stage-weights、--vram-reserve-later-mib 1400 です。

RAM に expert が全部載る Xeon(E5-2630 v2、252 GB のうちエンジンを固定した 1 ノードの約 128 GB。10/31 までの設定)に同じ 2 枚を挿して測ると、2 枚の効果はさらに大きくなりました。同じ 0.2.2(Xeon 用の AVX 版)、同じ設定で、5060 Ti 1 枚と、i7 で一番よかった 24 / 24 層+trim を比べました。2 枚とも Gen3 x8 です。Xeon では SSD を読まないので、cold と warm はほぼ同じ値でした。

中央値(cold / warm)i7・1 枚i7・24 / 24+trimXeon・1 枚Xeon・24 / 24+trim
短い質問の生成(tok/s)13.0 / 16.024.8 / 22.421.7 / 21.328.1 / 30.0
4K の読み込み(tok/s)268 / 268236 / 239345 / 346348 / 348
16K の読み込み(tok/s)529 / 499454 / 471689 / 689848 / 845
32K の読み込み(tok/s)588 / 588639 / 653698 / 6981,017 / 1,017
エージェント形式の待ち(秒)14.0 / 14.013.8 / 12.311.6 / 11.611.3 / 11.3
エージェント形式の生成(tok/s)20.7 / 20.127.3 / 27.023.6 / 27.235.3 / 35.2

Xeon では、2 枚にすると 1 枚と比べて短い質問の生成が 3〜4 割、エージェント形式の生成が 3〜5 割速くなりました。i7 と違って読み込みも遅くならず、16K で 23%、32K で 46% 速くなりました(4K とエージェント形式の待ちはほぼ同じ)。プロンプトが長いほど、2 枚の効果が大きく出ます。i7 では SSD の読み出しが速さを抑えていましたが、RAM に全部載ると、GPU を足した分がそのまま速さに出ます。1 枚どうしで比べても、AVX しかない古い Xeon のほうが i7 より速く(生成 +33〜67%、読み込み +19〜30%)、ここでも効いているのは expert が全部入る RAM でした。

未検証の仮説:PCIe の世代と RAG の待ち時間

以下は、エンジンのログに出る見積もりと 1〜2 回の測定から計算した推定で、まだ確かめていません。このPC(i7-7800X と X299)の PCIe は 3.0 までで、5060 Ti は x8 のカードなので Gen3 x8(実測 6.9 GB/s)が上限です。同じ割合で換算すると、Gen4 x8 は約 14 GB/s、Gen5 x8(32 GT/s × 8 レーン)は約 28 GB/s です。

プロンプトの読み込みでは、約 8K トークンごとに、GPU に入っていない expert(約 68 GB)を PCIe で送ります。1 回分は Gen3 で約 10 秒、Gen5 で約 2.5 秒です。ただし RAM 64 GB の今は、RAM に載らない expert を SSD から読む時間(32K で約 70 秒)が長く、PCIe の時間はその間に隠れています。そのため、RAM 64 GB のまま PCIe を速くしてもほとんど変わらないと考えています。RAM を増やして SSD を待たなくなると、PCIe が効いてきます。それでも 4 倍にはならず、重ならずに残る計算などの時間(Xeon の測定からの推定で 1 回分あたり約 6 秒)が足されます。

RAG のプロンプトRAM 64 GB(今)128 GB・Gen3 x8128 GB・Gen5 x8
4〜8K(1 回分)約 20 秒(4K の実測)約 15 秒約 8 秒
32K(4 回分)約 72 秒(実測)45〜65 秒20〜35 秒
答えの生成約 8 tok/s約 14 tok/s約 14 tok/s
最初のトークンまでの待ちの推定(RTX 5060 Ti、4bit)。128 GB の生成は Xeon(expert を全部 RAM に置いた状態)の値です。

RAG では、毎回ちがう文書を数千〜数万トークン読ませるので、前の読み込みを使い回せず、この待ちがそのまま答えの出始めまでの時間になります。仮説としては、まず RAM(生成が約 2 倍、待ちも少し縮む)、次に PCIe 4.0 / 5.0(待ちが約半分)の順です。10/22 に RAM に全部載る Xeon(5060 Ti 1 枚、Gen3 x8)で測ると、待ちは 4K で約 12 秒、32K で約 46 秒、生成は約 22 tok/s でした。CPU が違うので直接の確認ではありませんが、待ちは上の表の「128 GB・Gen3 x8」の予想と同じか少しよく、生成は予想(以前の Xeon と 3060 の値)を大きく上回りました。確かめ方:RAM を 128 GB にしたうえで、x16 の 3060(12.3 GB/s、Gen4 x8 とほぼ同じ帯域)と x8 の 5060 Ti を比べ、RAG で使う長さ(8K・16K など)のプロンプトで測ります。

未検証の仮説:RAM の容量と DDR5 の機種での速さ(10/22)

以下は、実測(i7 の 64 GB と Xeon)と、Strata の公式ベンチマーク(Ryzen 9 9900X3D・DDR5-6000 96 GB・RTX 5080 で同じ UD-Q4_K_XL を測ったもの)からの推測で、まだ確かめていません。GPU は 5060 Ti 1 枚と、3060 → 5060 Ti の 2 枚(24 / 24 層+trim)、Strata 0.2.2 を想定しています。Xeon は 252 GB 積んでいますが、エンジンを 1 ノードに固定していたので、使ったのは約 128 GB です(10/31 までの設定。11/04 からは固定せず、両方のノードを使っています)。DDR5 の機種は、DDR5-6000 の 2 チャンネル、Gen4〜5 の NVMe、5060 Ti は Gen5 x8、3060 は Gen4 x8 としました。

推測(実測の列を除く)i7・64 GB(実測)i7・128 GBXeon・1 ノード 128 GB(実測)DDR5・64 GBDDR5・128 GB
4bit の expert が全部 RAM に入るか入らない入る入る入らない入る
短い質問の生成、1 枚(tok/s)13.0 / 16.024〜3021.7 / 21.316〜2230〜40
短い質問の生成、2 枚(tok/s)24.8 / 22.430〜3828.1 / 30.025〜3238〜50
32K の読み込み、1 枚(tok/s)588 / 588700〜750698 / 698600〜850800〜1,100
32K の読み込み、2 枚(tok/s)639 / 6531,000〜1,1501,017 / 1,017700〜1,0001,000〜1,300
総合タイム、1 枚(秒)約 9060〜68約 7061〜8642〜58
総合タイム、2 枚(秒)約 7242〜50約 4948〜6735〜46
総合タイムは「32K トークンの文書を読んで 500 トークン答える」1 回の時間(32,768 ÷ 32K の読み込み + 500 ÷ 短い質問の生成)。実測は cold / warm の中央値。推測は ±30% 程度の幅があります。

一番効くのは RAM の容量だと考えています。4bit の expert(71.7 GiB)が全部入るかどうかで、総合タイムは i7 で約 72 秒 → 42〜50 秒(2 枚)、DDR5 の機種でも 48〜67 秒 → 35〜46 秒と大きく変わります。容量が同じ 128 GB なら、Xeon(DDR3、AVX のみ)・i7(DDR4)・DDR5 の差は 1〜3 割ほどで、効くのは CPU とメモリの帯域です。DDR5 でも 64 GB では SSD から expert を読む待ちが残り、i7 の 128 GB とほぼ同じか、少し遅いと見ています。

注意:128 GB にするとメモリが遅くなることがあります(DDR5 の 2 チャンネルに 4 枚で DDR5-4800〜5600、i7 に 8 枚で DDR4-2400〜2133)。DDR5 の値は、GPU(5080)・版(0.1.39)・OS の違う 1 件の結果を割り引いたものです。i7 に RAM を足して同じ 2 本を測れば、この仮説を確かめられます。


Upstream

Strata への報告

測定の結果は、Strata の公式ベンチマークの様式で提出しました。テスト中に見つけた不具合は、再現の手順と直し方の案をつけて報告しています。


Log

経過

0.1.45 を AVX 向けにソースからビルドし、本番のテスト一式(速度・NUMA・needle・HumanEval・65 分の連続運転など)を実施。

公式ベンチマークとして PR #2793 を提出。

0.2.0-beta をビルドして再計測。GPU のスロットが Gen3 x8 に変わっていたことに気づき、0.1.45 も同じスロットで測り直して、スロットの効果と版の効果を分けた。不具合 3 件を報告し、PR を更新して再オープン。

4bit の UD-Q4_K_XL を取得し、2bit と速度・正しさを比較。続けて別の PC(i7-7800X、AVX-512)に移り、AVX 版と通常版のビルドを 4bit で比較。

同じ PC で RTX 5060 Ti 単体を測定。モデルの SSD の経路が PCIe Gen3 x1 に絞られていることを見つけ、x4 直結の SSD に移して測り直した(プロンプトの読み込みが約 1.27 倍)。GPU 2 枚(3060+5060 Ti)に分けると 2.5〜3.5 倍遅くなった(あとで誤りとわかった。VRAM 不足による停止とリンクの低下が原因で、0.2.2 で測り直すと、自動の分け方では読み込みが 8〜31% 遅く、層を手で分けると生成が 1 枚の約 1.4〜2 倍。測り直し)。6 つの設定の結果から、速さを決める要因を統計で比べた(要因の分析)。続けて同じ 2 枚を Xeon に移し、0.2.2・4bit で 1 枚と 24 / 24 層+trim を測った(2 枚で生成が 3〜5 割、32K の読み込みが 46% 速い。測り直し)。2 枚の結果と、見つけた不具合を Strata に報告した(#3703、#3702、#3470 へのコメント)。

#1670 の layer-major を GPU 2 枚の層分割に広げ、0.2.4.2 で速さと正しさを比較。#3976 で報告した。

Strata 0.2.7 で layer-major が 2 枚の層分割の標準になった(詳しく)。

PR #2793 が閉じられた。結果は、公式サイトに作るコミュニティのベンチマークページに載る予定。

0.2.8 を i7 と Xeon で測り、#3976 に報告した(詳しく)。

0.2.9・0.2.10 を Xeon で測定。0.2.10 の DeepSeek を NUMA ノードに固定すると、メモリ不足で止まることを見つけた。

NUMA の固定をやめた(速くなった)。2 枚の長いプロンプトを 0.2.9・0.2.10 で測り、この機械では layer-major で速くならないことを確かめた(詳しく)。表を読む RAG を 0.2.10 で測り直し、Strata 導入前のモデルと比べた(RAG)。

i7-7800X の RAM を 125 GiB に増やし、GPU 2 枚を移して測り直した。生成は Xeon より 12% 速く、速さを決めるのは RAM の容量だと確かめた。GPU 2 枚の layer-major は i7 でも速くならず、3060 1 枚では 0.2.10 の標準の walk が 11〜15% 速かった(詳しく)。GPU 2 枚の読み込みが遅い原因を nsys で調べ(x8 の 5060 Ti が expert を受け取る時間)、3060 に 24 層・自分の層の重みだけにして、31K を 40〜44 秒から 29 秒にした。本家に issue #5265 と PR #5255 を出した(詳しく)。夕方、expert を NVFP4 に替えると、さらに 31K が 24.8 秒、生成が約 3 割速くなった。答えの質の差は見えず、普段使いを切り替えた。本家にベンチマーク #5279 を出した(詳しく)。

RTX 5060 Ti 1 枚で、Strata 0.2.13 と llama.cpp b12387 を同じ UD-Q4_K_XL の GGUF で比べた。読み込みは約 2〜4 倍、生成は約 1.7 倍、Strata のほうが速かった(詳しく)。続けて、LAN の別の PC のドローンのシミュレーターを LLM で動かす課題を 3 回ずつ飛ばし、Strata が平均 305 秒・3 回とも完了、llama.cpp が 428 秒・2 回だった。Strata の画像も GPU で読むと、画像つきの呼び出しが 31.8 秒から 10.6 秒になった。ドローンの操作を ROS 2 経由にした形でも、探索から着陸まで達成した。ドローンの試験を「フィジカル AI 応用」のページに移し、身体性向けの VLM(Cosmos-Reason2-8B)と 1 回ずつ比べた(Cosmos は球を見つけられなかった)。公式の書式で思考させた Cosmos でも 1 回飛ばしたが、やはり球を見つけられず、手数の上限で終わった(詳しく)。

Strata 0.2.15 をビルドし、RTX 5060 Ti 1 枚で 0.2.13 と比べた。長いプロンプトの読み込みが約 7% 速く、生成と RAG の答えは同じだったので、普段使いを 0.2.15 にした(詳しく)。

LAN の 2 台の PC だけで、架空のトマトケチャップの 15 秒 CM を作った(Strata が企画、Qwen-Image・MiniMax-H3・VOICEVOX が絵・動画・声、約 25 分)。Strata に完成した映像を監修させ、指摘から直しの計画を書かせて作り直し、最後は全部の版から最良を選ばせた(詳しく)。


Limits

条件と制限