要因ごとの効き目(短い質問の生成)Effect of each factor on chat decode
実効速度のランキング:読みと書きEffective speed ranking: read and write
「読み」はプロンプトを読み込む速さ(4K・16K・32K の幾何平均)、「書き」は短い質問で答えを生成する速さです。どちらもコールドの中央値で、右の倍率は 1 位との比です。読みは GPU と SSD の経路で順位が入れ替わりますが、書きは RAM に expert が全部入る Xeon(A・G・H)が上位を占めています。G・H は Strata 0.2.2、A〜F は 0.2.0-beta で、版が違います。
"Read" is prompt processing speed (geometric mean of the 4K, 16K and 32K prompts); "write" is how fast a short answer is generated. Both are cold medians, and the ratio on the right is relative to first place. Read speed reshuffles with the GPU and SSD path, but for write the Xeon setups (A, G, H), which hold every expert in RAM, take the top places. G and H ran Strata 0.2.2; A–F ran 0.2.0-beta.
読み(プロンプトの読み込み)Read (prompt processing)
書き(生成)Write (decode)
Xeon は、どれだけの RAM を使っていたかHow much RAM the Xeon actually used
Xeon(2 ソケット、合計 252 GB)のテストでは、エンジンを GPU のつながるノード 1 に寄せ、メモリの確保もノード 1 だけに固定していました。使えたのはノード 1 の 126 GiB で、ノード 0 は使っていません。4bit の expert(71.7 GiB)はノード 1 に全部収まりました。効いていたのは 2 ノードの合計ではなく、expert が全部入る 1 ノード分の容量です。i7-7800X は全体で 62.5 GB しかなく、expert は 38 GiB までしか RAM に置けません。G・H(10/22)では 2 枚のカードが CPU 0 側につながっていたので、エンジンをノード 0(空き 124 GiB)に固定しました。ここでも expert は全部 1 ノードに入っています。
On the Xeon (two sockets, 252 GB in total), the engine ran on node 1, where the GPU is attached, and its memory was bound to that node. It could use node 1's 126 GiB; node 0 went unused. All 4-bit experts (71.7 GiB) fit inside node 1. What mattered was one node large enough to hold every expert, not the total across both nodes. The i7-7800X has 62.5 GB in total, so only 38 GiB of experts stay in RAM. For G and H (Oct 22) both cards hang off CPU 0, so the engine was bound to node 0 (124 GiB free); again every expert fits in one node.
使えた RAM と、expert の大きさUsable RAM and expert size
点線が expert の大きさ。棒が点線を越えれば、expert を全部 RAM に置けます。The dashed line is the size of the experts. A bar that reaches past it can hold every expert in RAM.
要因ごとの効き目(全項目)Effect of each factor, all metrics
1 つの要因だけが違う 2 つの設定を、同じプロンプトどうしで比べた倍率です。どの項目も「速くなった倍率」にそろえています(時間の項目は逆数)。右に行くほど速く、1 より左は遅くなったことを表します。横線は 95% 区間で、区間が 1 をまたぐもの(灰色)は差があるとは言えません。
Each row compares two setups that differ in one factor, prompt by prompt. Every metric is shown as a speed-up (time metrics are inverted), so further right is faster and left of 1 is slower. The line is the 95% interval; grey rows cross 1 and show no clear difference.
生成が遅い理由:SSD から expert を待つ時間Why decode is slow: waiting on the SSD for experts
Xeon では、生成中に SSD を待つ時間は 0 でした。i7 では、生成の時間とほぼ同じだけ、RAM に載らない expert を SSD から待っています。読み出し 1 回の待ちは、x1 の経路でも x4 直結でも約 3 ms で、ほとんど変わりません。生成の遅さは SSD の帯域ではなく、RAM に載らない expert の数で決まっています。
On the Xeon, decode never waited on the SSD. On the i7, the engine waits on the SSD for experts that miss RAM for about as long as it decodes. Each read waits about 3 ms on both the x1 path and the direct x4 SSD. Decode speed is set by how many experts miss RAM, not by SSD bandwidth.
生成の時間に対する、SSD 待ちの割合SSD wait as a share of decode time
エンジンのログの「decode waited」の合計 ÷ 生成時間の合計。並行する読み出しの待ちを足しているので、100% を超えることがあります。Total "decode waited" from the engine log ÷ total decode time. Waits on parallel reads add up, so this can exceed 100%.
読み出し 1 回あたりの待ちWait per expert read
x1(D)と x4 直結(E)で、ほとんど変わりません。Almost the same on x1 (D) and direct x4 (E).
短い質問の生成:リクエストごとの速さChat decode, request by request
1 つの点が 1 つのリクエスト(質問 3 つ × 3 回、コールドとウォーム)。縦線は中央値。Each dot is one request (three questions × three runs, cold and warm). The vertical tick is the median.
8 つの設定と中央値(コールド)The eight setups and their medians (cold)
| 設定Setup | 内容Details | 短い質問の生成Chat decode tok/s |
最初のトークンまでChat TTFT s |
4K tok/s |
16K tok/s |
32K tok/s |
エージェントの最初のトークンまでAgent TTFT s |
エージェントの生成Agent decode tok/s |
|---|
比べ方と注意Method and caveats
- テストは Strata 付属の
strata_bench.py --long(短い質問、4K・16K・32K のプロンプト、5 ターンのエージェント形式)。各設定でコールドとウォームを 1 回ずつ。 - 倍率は、同じプロンプト(コールド/ウォーム × 質問・長さ・ターン)どうしで対数の差を取って平均したもの。95% 区間は層別ブートストラップ(4,000 回)、p は層別の並べ替え検定(4,000 回)。
- i7 の設定では、RAM に置く expert を 38 GiB(
--resident-budget-gib 38)にしています。 - A〜F は Strata 0.2.0-beta、G・H は 0.2.2(AVX 版、route tail skip オン)です。G・H の比較(2 枚・24 / 24+trim)は同じ版・同じ PC どうしですが、A と G のように版をまたぐ組は比べていません。
- The test is Strata's own
strata_bench.py --long(short questions, 4K/16K/32K prompts, a five-turn agent session), run once cold and once warm per setup. - Each ratio is the mean log difference between matching prompts (cold/warm × question, length or turn). 95% intervals come from a stratified bootstrap (4,000 resamples); p from a stratified permutation test (4,000 shuffles).
- The i7 setups keep 38 GiB of experts in RAM (
--resident-budget-gib 38). - A–F ran Strata 0.2.0-beta; G and H ran 0.2.2 (AVX build, route tail skip on). The G → H contrast (two GPUs, 24 / 24 + trim) stays within one version and one PC; we do not compare across versions, such as A with G.
- 各設定は 1 回ずつしか測っておらず、日も再起動も違います。p 値はリクエストのばらつきしか含まず、実行ごとのばらつきは含みません。
- ほぼ差がないはずの AVX → AVX-512 でも、最初のトークンまでの時間が 2 割ずれました。2 割より小さい差は確かな差とは言えません。
- 「2 枚・自動(i7、0.2.0、誤り)」の値は誤りです。VRAM 不足でエンジンが止まって再起動した分と、5060 Ti のリンクが Gen2 に落ちていた影響が入っています。2 枚の効果は「2 枚・24/24+trim(Xeon、0.2.2)」と、0.2.2 で測り直した結果を見てください。
- 「2 枚・24/24+trim(Xeon、0.2.2)」のエージェントの最初のトークンまでは ×0.95 ですが、遅くなったのは最初のターン(キャッシュなし、609 トークン)だけで、5.4 → 8.2 秒でした。続くターンは 2 枚のほうが 2〜4% 速く、中央値は 11.6 → 11.3 秒です。
- Xeon → i7 では、RAM の容量・CPU・SSD の経路が同時に変わっています。CPU とメモリ帯域は i7 のほうが上なので、Xeon が速いのは RAM の容量のためと考えています。RAM を足して測り直すと確かめられます。
- Each setup was measured once, on different days and boots. The p values cover request-to-request spread only, not run-to-run spread.
- AVX → AVX-512, which should change almost nothing, still moved time to first token by about 20%. Treat differences smaller than that as unconfirmed.
- The “split across 2 GPUs, auto (i7, 0.2.0, flawed)” values are wrong: they include engine restarts after running out of VRAM and the 5060 Ti link dropping to Gen2. For the effect of two GPUs, see “2 GPUs, 24/24 + trim (Xeon, 0.2.2)” and the re-test on 0.2.2.
- For “2 GPUs, 24/24 + trim (Xeon, 0.2.2)”, agent time to first token comes out at ×0.95, but only the first turn (nothing cached, 609 tokens) is slower, 5.4 → 8.2 s. Later turns are 2–4% faster with two cards, and the median goes from 11.6 to 11.3 s.
- Xeon → i7 changes RAM capacity, CPU and SSD path at once. The i7 has the faster CPU and more memory bandwidth, so we attribute the Xeon's lead to RAM capacity. Re-measuring after adding RAM would confirm it.