構成:2 台の PC を LAN でつないで動かしています
シミュレーターと LLM は別の PC で動かしています。2 台は同じ LAN に有線でつなぎ(どちらも 1 Gb/s)、インターネットのクラウドは使っていません。どちらも、Strata 研究で LLM の速さを測ってきた機械です。
| 役目 | CPU | RAM | GPU | OS | 動かすもの |
|---|---|---|---|---|---|
| シミュレーターと操縦のプログラム | Xeon E5-2630 v2 × 2(AVX のみ、2013 年世代) | 251 GiB | RTX 3060 12 GB | Fedora 45 | Unreal Engine 5.8 + Cosys-AirSim(Blocks の地図、画面なしで描画)、操縦のプログラム(Python)、ROS 2 Jazzy(コンテナ)、録画 |
| LLM | Core i7-7800X(6 コア、AVX-512) | 125 GiB | RTX 5060 Ti 16 GB(今は 1 枚) | Fedora 45 | Strata 0.2.13 または llama.cpp b12387(OpenAI 互換の API) |
- LAN 越しに LLM を呼びます。Xeon の PC の操縦のプログラムが、1 手ごとに i7-7800X の PC の LLM を呼びます(SSH のトンネルを通した OpenAI 互換の API)。撮った写真もこの呼び出しに入れて送ります。LLM の PC はシミュレーターに直接は触らず、答えるだけです。
- 表の「LLM の待ち」は LAN の往復を含みます。操縦のプログラムが呼び出しを送ってから答えを受け取るまでの時間です。写真は 1 枚 0.3 MB ほどで、1 Gb/s なら送るのは 0.01 秒ほどなので、待ちのほとんどは LLM の計算です。
ミッション:オレンジ色の球を探し、真上で位置を合わせ、すぐ横に着陸する
このページの試験は、どれも同じミッションです。LLM に最初に与えた指示は次のとおりです(そのまま)。
近くにあるオレンジ色の球を探してください。見つけたらその真上・高度15mまで移動し、カメラを真下に向けて撮影して、球が画像の中央に来るよう位置を合わせてください。最後に球のすぐ横に着陸してください。
- 場面:機体は離陸地点(原点)から始まります。球の場所は知らせていません(実際は北に約 90 m)。
- LLM の役目:1 回の呼び出しで、次の行動を 1 つだけ JSON で答えます。行動は、離陸・移動・撮影・4 方向の撮影・画像の中の位置で目標を指して移動・位置合わせ・横に着陸・完了です。位置合わせと着陸の細かい動きはプログラムが受け持ちます。各行動の結果と機体の状態が次の呼び出しに渡り、撮影したときは画像も付きます。
- 条件:手数の上限 30、温度 0.2、思考なし。
- 成功:球の真上で位置を合わせ、球のすぐ横に着陸して「完了」と答えること。
身体性向けの 8B の VLM(Cosmos-Reason2-8B)は、思考あり・なしのどちらでも、このミッションを達成できませんでした:Strata の Qwen3.8-Flash-Next は 292 秒で着陸
ロボットや自動運転などの身体性の判断向けに NVIDIA が公開した Cosmos-Reason2-8B(Qwen3-VL 系、8B)を、llama.cpp b12387(Q8_0、画像も GPU)で同じミッションに思考なし・思考ありで 1 回ずつ飛ばし、Strata 0.2.13(Qwen3.8-Flash-Next NVFP4、画像も GPU、思考なし)の 1 回と並べました。どれも RTX 5060 Ti 1 枚です。8B は GPU に全部載るので、1 回の応答は速くなります。思考ありの回は、公式の推論の道具と同じく、毎回のプロンプトの最後に「<think>…</think> の中で考えてから答える」書式の指示を足しました(出せるトークンの上限 4096、温度はほかの回と同じ 0.2)。操縦のプログラムには思考を外した答えだけを渡しています。
| 回 | 結果 | 合計 | LLM の回数(画像つき) | LLM の待ちの合計 | 1 回の平均 |
|---|---|---|---|---|---|
| Strata + Qwen3.8-Flash-Next | 着陸・完了 | 292 s | 19(4) | 163 s | 8.6 s |
| llama.cpp + Cosmos-Reason2-8B(思考なし) | 着陸せず(「着陸しました」と完了を返した) | 483 s | 27(14) | 64 s | 2.4 s |
| llama.cpp + Cosmos-Reason2-8B(思考あり) | 着陸せず(手数の上限 30 に達した) | 399 s | 30(19) | 80 s | 2.7 s |
- Cosmos は 1 回の応答が約 2.4 秒と速いのですが、球を見つけられませんでした。4 方向の写真を見るたびに「球は写っていない」と答え、高度を 15〜50 m に変えながら北東へ約 210 m さまよいました。球は北に約 90 m で、Strata は高度 30 m の北の写真で見つけています。
- 決まった答え方も守れませんでした。画像の中の位置で目標を指す行動を一度も使わず、最後は 1 つの答えに移動・位置合わせ・着陸を並べて書いたあと、着陸していないのに「着陸しました」と完了を返しました。
- 思考ありでも、球を見つけられませんでした。思考は 1 回 100 トークン前後と短く、30 回とも「球は見えない」と判断しました。離陸地点から 20 m 以内で、4 方向の撮影と高度の上げ下げ(10〜50 m)を繰り返し、手数の上限で終わりました。決まった答え方は守れるようになり、毎回 JSON を 1 つだけ答え、実際と違う「完了」も返しませんでした。
- この結果の範囲。各 1 回だけです。思考ありは温度 0.2 で動かしました(公式の既定は 0.6)。温度を変えた場合や、同じ 8B 級のほかの身体性の VLM は、まだ試していません。
3 回を並べて見るページ:最初に与えたミッションと、追いかけの映像・機体のカメラの映像、各手で送ったプロンプト・見せた画像・LLM の答え・機体の反応を、左右に好きな 2 回を選んで並べて見られます。思考ありの回は、各手の思考の中身も読めます(日本語)。
ドローンのシミュレーターを LLM で動かす課題でも、Strata のほうが速く、安定していました:平均 305 秒・3 回とも完了(llama.cpp は 428 秒・2 回)
LAN の別の PC(RTX 3060)で Unreal Engine 5.8 と Cosys-AirSim のドローンのシミュレーターを動かし、この PC の LLM に操縦の判断をさせました。課題は「近くのオレンジ色の球を探し、真上 15 m で位置を合わせ、すぐ横に着陸する」です。LLM は探す場所・目標・次の行動を決め、色の確認・位置合わせ・着陸の細かい動きはプログラムが受け持ちます。同じ指示で、Strata 0.2.13(普段使いの NVFP4、画像は CPU)と llama.cpp b12387(UD-Q4_K_XL、-ub 2048、画像は GPU)を 3 回ずつ飛ばしました。どちらも RTX 5060 Ti 1 枚で、思考なしです。
| 回 | 結果 | 合計 | LLM の回数(画像つき) | 文字だけの 1 回 | 画像つきの 1 回 |
|---|---|---|---|---|---|
| Strata 1 | 着陸・完了 | 287 s | 11(4) | 7.7 s | 34.0 s |
| Strata 2 | 着陸・完了 | 437 s | 21(7) | 8.5 s | 28.0 s |
| Strata 3 | 着陸・完了 | 190 s | 9(1) | 7.4 s | 49.1 s |
| llama.cpp 1 | 着陸・完了 | 325 s | 14(5) | 11.9 s | 21.8 s |
| llama.cpp 2 | 30 手目に着陸、完了の前に手数の上限 | 617 s | 30(8) | 12.9 s | 22.6 s |
| llama.cpp 3 | 着陸・完了 | 341 s | 14(5) | 11.7 s | 22.6 s |
| Strata 平均 | 3 回とも完了 | 305 s | 13.7(4.0) | 7.9 s | 33 s |
| llama.cpp 平均 | 2 回完了 | 428 s | 19.3(6.0) | 12.3 s | 22.4 s |
手数の上限は 30、温度 0.2。1 回の時間は各回の平均です。
- 文字だけの呼び出しは Strata が速く、約 8 秒と約 12 秒でした。1 回の入力は約 1,100〜1,400 トークンで、上の比べの読み込みと生成の差がそのまま出ました。この課題の呼び出しの約 7 割がこれです。
- 画像つきの呼び出しは llama.cpp が速く、約 22 秒と約 33 秒でした。llama.cpp は画像を GPU で読みます。今の Strata の設定では画像を CPU で読むので、各回の最初の画像は約 50 秒かかりました。
- 全体の差を一番大きく分けたのは手数でした。llama.cpp は高さを 20 → 30 → 50 m と上げながら探すなど手数が多く、2 回目は球のまわりで位置合わせを繰り返しました。30 手目に着陸しましたが、「完了」と言う前に上限に達しました。
- この結果の範囲。重みの形式が違う(Strata は NVFP4、llama.cpp は UD-Q4_K_XL)ので、手数の差がエンジンによるものか重みによるものかは分けられません。各 3 回だけで、同じ Strata でも 190〜437 秒と揺れます。
追記:Strata の画像も GPU で読むと、画像つきの呼び出しが約 3 分の 1 になりました
Strata の画像の読み手を CUDA 版でビルドし、画像を GPU で読む設定で同じ課題を 3 回飛ばしました。ほかの設定は普段使いと同じです。GPU 1 枚では、読み手は最初の画像で起き(約 2 秒)、120 秒画像がないと止まります。そのぶん VRAM を 2 GB 取り置くので、expert を置ける量は 5.6 GB から 4.2 GB に減りました。
| 3 回の平均 | 結果 | 合計 | LLM の回数(画像つき) | LLM の待ちの合計 | 文字だけの 1 回 | 画像つきの 1 回 |
|---|---|---|---|---|---|---|
| Strata、画像は CPU(上の表) | 3 回とも完了 | 305 s | 13.7(4.0) | 204 s | 8.0 s | 31.8 s |
| Strata、画像は GPU | 3 回とも完了 | 322 s | 18.7(5.3) | 166 s | 8.2 s | 10.6 s |
| llama.cpp、画像は GPU(上の表) | 2 回完了 | 428 s | 19.3(6.0) | 300 s | 12.4 s | 22.4 s |
1 回の時間は 3 回のすべての呼び出しの平均です。画像 GPU の 3 回の合計は 175・416・374 秒でした。
- 画像つきの呼び出しは 31.8 秒から 10.6 秒になり、llama.cpp の約半分になりました。CPU で読んでいたときの、各回の最初の画像の約 50 秒も無くなりました。
- 文字だけの呼び出しは、ほとんど変わりませんでした(8.0 秒と 8.2 秒)。画像の読み手と LLM は同時には動かないので、取り合うのは計算の時間ではなく VRAM です。expert を置ける量は 24% 減りましたが、この短い呼び出しではほとんど効きませんでした。
- 1 回の飛行で LLM を待つ時間は 19% 減りましたが、合計の時間は減りませんでした。着陸の手前で同じ動きを繰り返すなど、手数の多い回があったためです。この課題では、1 回の呼び出しの速さより、手数の揺れのほうが合計を大きく左右します。各 3 回だけの結果です。
追記 2:ROS 2 経由でも、同じ課題を最後まで達成しました
ここまでは、ドローンを AirSim の Python API で動かしていました。同じ課題を、ROS 2 Jazzy(Cosys-AirSim の ROS 2 の中継 airsim_node)だけで動かす形も作りました。LLM への指示と判断、色の確認・位置合わせ・着陸の道具はそのままで、機体の状態・カメラの向き・撮影・移動・離着陸の部分だけを ROS 2 の話題とサービスに置き換えています。
- 1 回飛ばし、探索から着陸まで最後までできました。北に約 100 m の球を見つけ、真上で位置を合わせ、すぐ横に着陸しました。492 秒、LLM の呼び出し 17 回(画像つき 4 回)で、LLM は Strata(画像は CPU)です。流れは Python API のときと同じでした。着陸のあと、LLM が位置合わせと着陸をもう一度してから完了と答えたぶん長くなっています。1 回だけなので、速さは比べられません。
- ROS 2 の中継は、標準では機体の操作を受け付けません。起動時に
enable_api_control:=trueを付けないと、離陸も速度の指令も無視されます。また、resetサービスを呼ぶと操作の許可が切れ、ROS 2 から入れ直す手段がないので、リセットのたびに中継を起こし直しています。 - 座標の向きが、送る側と受け取る側で違います。速度の指令は北・東・下(NED)、位置の通知は北・西・上でした。回転の指令はラジアン毎秒で時計回りが正、カメラの向きは度です。どれも小さな試験で確かめてから使いました。
- ROS 2 で取れないものもあります。衝突の情報と、モーターを止める操作です。着陸は、地面に着くまで降ろして速度 0 を送る形にしました。