Strata · Physical AI · 2026-11

Strata のフィジカル AI 応用:LLM でドローンを動かす

Strata 研究で測ってきた、普通の PC で大型の MoE モデルを動かす Strata を、ロボットの判断に使う試みです。今はドローンのシミュレーターで、LLM が写真を見て「どこを探すか」「どれが目標か」「次に何をするか」を決め、細かい動きはプログラムが受け持ちます。

LLM の PC
Core i7-7800X + RTX 5060 Ti 16 GB
シミュレーターの PC
Xeon E5-2630 v2 × 2 + RTX 3060 12 GB
つなぎ方
同じ LAN(有線)、クラウドは使わない
機体の操作
AirSim の Python API・ROS 2 Jazzy
LLM
Strata 0.2.13(Qwen3.8-Flash-Next)ほか
Setup

構成:2 台の PC を LAN でつないで動かしています

シミュレーターと LLM は別の PC で動かしています。2 台は同じ LAN に有線でつなぎ(どちらも 1 Gb/s)、インターネットのクラウドは使っていません。どちらも、Strata 研究で LLM の速さを測ってきた機械です。

役目CPURAMGPUOS動かすもの
シミュレーターと操縦のプログラムXeon E5-2630 v2 × 2(AVX のみ、2013 年世代)251 GiBRTX 3060 12 GBFedora 45Unreal Engine 5.8 + Cosys-AirSim(Blocks の地図、画面なしで描画)、操縦のプログラム(Python)、ROS 2 Jazzy(コンテナ)、録画
LLMCore i7-7800X(6 コア、AVX-512)125 GiBRTX 5060 Ti 16 GB(今は 1 枚)Fedora 45Strata 0.2.13 または llama.cpp b12387(OpenAI 互換の API)
Mission

ミッション:オレンジ色の球を探し、真上で位置を合わせ、すぐ横に着陸する

このページの試験は、どれも同じミッションです。LLM に最初に与えた指示は次のとおりです(そのまま)。

近くにあるオレンジ色の球を探してください。見つけたらその真上・高度15mまで移動し、カメラを真下に向けて撮影して、球が画像の中央に来るよう位置を合わせてください。最後に球のすぐ横に着陸してください。

News · 2026-11-15

身体性向けの 8B の VLM(Cosmos-Reason2-8B)は、思考あり・なしのどちらでも、このミッションを達成できませんでした:Strata の Qwen3.8-Flash-Next は 292 秒で着陸

ロボットや自動運転などの身体性の判断向けに NVIDIA が公開した Cosmos-Reason2-8B(Qwen3-VL 系、8B)を、llama.cpp b12387(Q8_0、画像も GPU)で同じミッションに思考なし・思考ありで 1 回ずつ飛ばし、Strata 0.2.13(Qwen3.8-Flash-Next NVFP4、画像も GPU、思考なし)の 1 回と並べました。どれも RTX 5060 Ti 1 枚です。8B は GPU に全部載るので、1 回の応答は速くなります。思考ありの回は、公式の推論の道具と同じく、毎回のプロンプトの最後に「<think>…</think> の中で考えてから答える」書式の指示を足しました(出せるトークンの上限 4096、温度はほかの回と同じ 0.2)。操縦のプログラムには思考を外した答えだけを渡しています。

回結果合計LLM の回数(画像つき)LLM の待ちの合計1 回の平均
Strata + Qwen3.8-Flash-Next着陸・完了292 s19(4)163 s8.6 s
llama.cpp + Cosmos-Reason2-8B(思考なし)着陸せず(「着陸しました」と完了を返した)483 s27(14)64 s2.4 s
llama.cpp + Cosmos-Reason2-8B(思考あり)着陸せず(手数の上限 30 に達した)399 s30(19)80 s2.7 s

3 回を並べて見るページ:最初に与えたミッションと、追いかけの映像・機体のカメラの映像、各手で送ったプロンプト・見せた画像・LLM の答え・機体の反応を、左右に好きな 2 回を選んで並べて見られます。思考ありの回は、各手の思考の中身も読めます(日本語)。

Strata vs llama.cpp · 2026-11-15

ドローンのシミュレーターを LLM で動かす課題でも、Strata のほうが速く、安定していました:平均 305 秒・3 回とも完了(llama.cpp は 428 秒・2 回)

LAN の別の PC(RTX 3060)で Unreal Engine 5.8 と Cosys-AirSim のドローンのシミュレーターを動かし、この PC の LLM に操縦の判断をさせました。課題は「近くのオレンジ色の球を探し、真上 15 m で位置を合わせ、すぐ横に着陸する」です。LLM は探す場所・目標・次の行動を決め、色の確認・位置合わせ・着陸の細かい動きはプログラムが受け持ちます。同じ指示で、Strata 0.2.13(普段使いの NVFP4、画像は CPU)と llama.cpp b12387(UD-Q4_K_XL、-ub 2048、画像は GPU)を 3 回ずつ飛ばしました。どちらも RTX 5060 Ti 1 枚で、思考なしです。

回結果合計LLM の回数(画像つき)文字だけの 1 回画像つきの 1 回
Strata 1着陸・完了287 s11(4)7.7 s34.0 s
Strata 2着陸・完了437 s21(7)8.5 s28.0 s
Strata 3着陸・完了190 s9(1)7.4 s49.1 s
llama.cpp 1着陸・完了325 s14(5)11.9 s21.8 s
llama.cpp 230 手目に着陸、完了の前に手数の上限617 s30(8)12.9 s22.6 s
llama.cpp 3着陸・完了341 s14(5)11.7 s22.6 s
Strata 平均3 回とも完了305 s13.7(4.0)7.9 s33 s
llama.cpp 平均2 回完了428 s19.3(6.0)12.3 s22.4 s

手数の上限は 30、温度 0.2。1 回の時間は各回の平均です。

追記:Strata の画像も GPU で読むと、画像つきの呼び出しが約 3 分の 1 になりました

Strata の画像の読み手を CUDA 版でビルドし、画像を GPU で読む設定で同じ課題を 3 回飛ばしました。ほかの設定は普段使いと同じです。GPU 1 枚では、読み手は最初の画像で起き(約 2 秒)、120 秒画像がないと止まります。そのぶん VRAM を 2 GB 取り置くので、expert を置ける量は 5.6 GB から 4.2 GB に減りました。

3 回の平均結果合計LLM の回数(画像つき)LLM の待ちの合計文字だけの 1 回画像つきの 1 回
Strata、画像は CPU(上の表)3 回とも完了305 s13.7(4.0)204 s8.0 s31.8 s
Strata、画像は GPU3 回とも完了322 s18.7(5.3)166 s8.2 s10.6 s
llama.cpp、画像は GPU(上の表)2 回完了428 s19.3(6.0)300 s12.4 s22.4 s

1 回の時間は 3 回のすべての呼び出しの平均です。画像 GPU の 3 回の合計は 175・416・374 秒でした。

追記 2:ROS 2 経由でも、同じ課題を最後まで達成しました

ここまでは、ドローンを AirSim の Python API で動かしていました。同じ課題を、ROS 2 Jazzy(Cosys-AirSim の ROS 2 の中継 airsim_node)だけで動かす形も作りました。LLM への指示と判断、色の確認・位置合わせ・着陸の道具はそのままで、機体の状態・カメラの向き・撮影・移動・離着陸の部分だけを ROS 2 の話題とサービスに置き換えています。