Strata research · 2026-10-22

4bit の速さを決めているのは RAM の容量What sets Strata's 4-bit speed: RAM capacity

Qwen3.8-Flash-Next の 4bit(UD-Q4_K_XL)を Strata 0.2.0-beta で動かし、6 つの設定で同じテストを行いました。1 つの要因だけが違う設定どうしを比べると、生成の速さを一番決めているのは RAM の容量でした。SSD を速い経路に移すとプロンプトの読み込みは速くなりますが、生成は速くなりません。最初に i7 で GPU を 2 枚に分けたときは大きく遅くなりましたが、この値は VRAM 不足によるエンジンの停止と PCIe リンクの低下を含んだ誤りでした。10/22 に Strata 0.2.2 で、expert が全部 RAM に入る Xeon に 2 枚を挿し、層を 24 / 24 に手で分けて各カードに自分の層の重みだけを置く設定で測り直すと(G・H の 2 つの設定)、2 枚で短い質問の生成が ×1.33、プロンプトの読み込みが ×1.22、エージェントの生成が ×1.44 になりました(2 枚の測り直し)。

We ran the 4-bit Qwen3.8-Flash-Next (UD-Q4_K_XL) on Strata 0.2.0-beta in six setups with the same test, then added two Xeon setups on 0.2.2 (eight in all). Comparing setups that differ in one factor, RAM capacity sets decode speed more than anything else. A faster SSD path speeds up prompt processing but not decode. The first two-GPU split on the i7 made everything much slower, but that result was wrong: it included out-of-VRAM engine restarts and a degraded PCIe link. On Oct 22 we re-tested on Strata 0.2.2 with both cards in the Xeon, which holds every expert in RAM, a hand-chosen 24 / 24 layer split and each card loading only its own layer weights (setups G and H): two cards gave chat decode ×1.33, prompt processing ×1.22 and agent decode ×1.44 (two-GPU re-test).

Summary

要因ごとの効き目(短い質問の生成)Effect of each factor on chat decode


Ranking

実効速度のランキング:読みと書きEffective speed ranking: read and write

「読み」はプロンプトを読み込む速さ(4K・16K・32K の幾何平均)、「書き」は短い質問で答えを生成する速さです。どちらもコールドの中央値で、右の倍率は 1 位との比です。読みは GPU と SSD の経路で順位が入れ替わりますが、書きは RAM に expert が全部入る Xeon(A・G・H)が上位を占めています。G・H は Strata 0.2.2、A〜F は 0.2.0-beta で、版が違います。

"Read" is prompt processing speed (geometric mean of the 4K, 16K and 32K prompts); "write" is how fast a short answer is generated. Both are cold medians, and the ratio on the right is relative to first place. Read speed reshuffles with the GPU and SSD path, but for write the Xeon setups (A, G, H), which hold every expert in RAM, take the top places. G and H ran Strata 0.2.2; A–F ran 0.2.0-beta.

読み(プロンプトの読み込み)Read (prompt processing)

    書き(生成)Write (decode)


      RAM

      Xeon は、どれだけの RAM を使っていたかHow much RAM the Xeon actually used

      Xeon(2 ソケット、合計 252 GB)のテストでは、エンジンを GPU のつながるノード 1 に寄せ、メモリの確保もノード 1 だけに固定していました。使えたのはノード 1 の 126 GiB で、ノード 0 は使っていません。4bit の expert(71.7 GiB)はノード 1 に全部収まりました。効いていたのは 2 ノードの合計ではなく、expert が全部入る 1 ノード分の容量です。i7-7800X は全体で 62.5 GB しかなく、expert は 38 GiB までしか RAM に置けません。G・H(10/22)では 2 枚のカードが CPU 0 側につながっていたので、エンジンをノード 0(空き 124 GiB)に固定しました。ここでも expert は全部 1 ノードに入っています。

      On the Xeon (two sockets, 252 GB in total), the engine ran on node 1, where the GPU is attached, and its memory was bound to that node. It could use node 1's 126 GiB; node 0 went unused. All 4-bit experts (71.7 GiB) fit inside node 1. What mattered was one node large enough to hold every expert, not the total across both nodes. The i7-7800X has 62.5 GB in total, so only 38 GiB of experts stay in RAM. For G and H (Oct 22) both cards hang off CPU 0, so the engine was bound to node 0 (124 GiB free); again every expert fits in one node.

      使えた RAM と、expert の大きさUsable RAM and expert size

      点線が expert の大きさ。棒が点線を越えれば、expert を全部 RAM に置けます。The dashed line is the size of the experts. A bar that reaches past it can hold every expert in RAM.


      Factors

      要因ごとの効き目(全項目)Effect of each factor, all metrics

      1 つの要因だけが違う 2 つの設定を、同じプロンプトどうしで比べた倍率です。どの項目も「速くなった倍率」にそろえています(時間の項目は逆数)。右に行くほど速く、1 より左は遅くなったことを表します。横線は 95% 区間で、区間が 1 をまたぐもの(灰色)は差があるとは言えません。

      Each row compares two setups that differ in one factor, prompt by prompt. Every metric is shown as a speed-up (time metrics are inverted), so further right is faster and left of 1 is slower. The line is the 95% interval; grey rows cross 1 and show no clear difference.


      Mechanism

      生成が遅い理由:SSD から expert を待つ時間Why decode is slow: waiting on the SSD for experts

      Xeon では、生成中に SSD を待つ時間は 0 でした。i7 では、生成の時間とほぼ同じだけ、RAM に載らない expert を SSD から待っています。読み出し 1 回の待ちは、x1 の経路でも x4 直結でも約 3 ms で、ほとんど変わりません。生成の遅さは SSD の帯域ではなく、RAM に載らない expert の数で決まっています。

      On the Xeon, decode never waited on the SSD. On the i7, the engine waits on the SSD for experts that miss RAM for about as long as it decodes. Each read waits about 3 ms on both the x1 path and the direct x4 SSD. Decode speed is set by how many experts miss RAM, not by SSD bandwidth.

      生成の時間に対する、SSD 待ちの割合SSD wait as a share of decode time

      エンジンのログの「decode waited」の合計 ÷ 生成時間の合計。並行する読み出しの待ちを足しているので、100% を超えることがあります。Total "decode waited" from the engine log ÷ total decode time. Waits on parallel reads add up, so this can exceed 100%.

      読み出し 1 回あたりの待ちWait per expert read

      x1(D)と x4 直結(E)で、ほとんど変わりません。Almost the same on x1 (D) and direct x4 (E).


      Requests

      短い質問の生成:リクエストごとの速さChat decode, request by request

      1 つの点が 1 つのリクエスト(質問 3 つ × 3 回、コールドとウォーム)。縦線は中央値。Each dot is one request (three questions × three runs, cold and warm). The vertical tick is the median.


      Setups

      8 つの設定と中央値(コールド)The eight setups and their medians (cold)

      設定Setup 内容Details 短い質問の生成Chat decode
      tok/s
      最初のトークンまでChat TTFT
      s
      4K
      tok/s
      16K
      tok/s
      32K
      tok/s
      エージェントの最初のトークンまでAgent TTFT
      s
      エージェントの生成Agent decode
      tok/s
      4K・16K・32K はプロンプトの読み込みの速さ。results.json の全リクエストの中央値で、ベンチの表示と少しずれることがあります。4K, 16K and 32K are prompt processing speeds. Medians over every request in results.json; they can differ slightly from the figures the benchmark prints.

      Method

      比べ方と注意Method and caveats

      注意Caveats
      • 各設定は 1 回ずつしか測っておらず、日も再起動も違います。p 値はリクエストのばらつきしか含まず、実行ごとのばらつきは含みません。
      • ほぼ差がないはずの AVX → AVX-512 でも、最初のトークンまでの時間が 2 割ずれました。2 割より小さい差は確かな差とは言えません。
      • 「2 枚・自動(i7、0.2.0、誤り)」の値は誤りです。VRAM 不足でエンジンが止まって再起動した分と、5060 Ti のリンクが Gen2 に落ちていた影響が入っています。2 枚の効果は「2 枚・24/24+trim(Xeon、0.2.2)」と、0.2.2 で測り直した結果を見てください。
      • 「2 枚・24/24+trim(Xeon、0.2.2)」のエージェントの最初のトークンまでは ×0.95 ですが、遅くなったのは最初のターン(キャッシュなし、609 トークン)だけで、5.4 → 8.2 秒でした。続くターンは 2 枚のほうが 2〜4% 速く、中央値は 11.6 → 11.3 秒です。
      • Xeon → i7 では、RAM の容量・CPU・SSD の経路が同時に変わっています。CPU とメモリ帯域は i7 のほうが上なので、Xeon が速いのは RAM の容量のためと考えています。RAM を足して測り直すと確かめられます。
      • Each setup was measured once, on different days and boots. The p values cover request-to-request spread only, not run-to-run spread.
      • AVX → AVX-512, which should change almost nothing, still moved time to first token by about 20%. Treat differences smaller than that as unconfirmed.
      • The “split across 2 GPUs, auto (i7, 0.2.0, flawed)” values are wrong: they include engine restarts after running out of VRAM and the 5060 Ti link dropping to Gen2. For the effect of two GPUs, see “2 GPUs, 24/24 + trim (Xeon, 0.2.2)” and the re-test on 0.2.2.
      • For “2 GPUs, 24/24 + trim (Xeon, 0.2.2)”, agent time to first token comes out at ×0.95, but only the first turn (nothing cached, 609 tokens) is slower, 5.4 → 8.2 s. Later turns are 2–4% faster with two cards, and the median goes from 11.6 to 11.3 s.
      • Xeon → i7 changes RAM capacity, CPU and SSD path at once. The i7 has the faster CPU and more memory bandwidth, so we attribute the Xeon's lead to RAM capacity. Re-measuring after adding RAM would confirm it.

      ← Strata 研究のページに戻る← Back to the Strata research page