ミッション(3 回とも同じ) ← Strata のフィジカル AI 応用 English
LLM に最初に与えた指示(そのまま):
近くにあるオレンジ色の球を探してください。見つけたらその真上・高度15mまで移動し、カメラを真下に向けて撮影して、球が画像の中央に来るよう位置を合わせてください。最後に球のすぐ横に着陸してください。
In English: “Find the orange ball nearby. Once found, move directly above it at 15 m altitude, point the camera straight down and take a picture, and adjust the position so the ball is in the center of the image. Finally, land right next to the ball.”
- 構成:シミュレーターと操縦のプログラムは Xeon E5-2630 v2 × 2 + RTX 3060 の PC、LLM は Core i7-7800X + RTX 5060 Ti 16 GB の PC で動かし、2 台を同じ LAN(有線)でつないでいます。操縦のプログラムが 1 手ごとに LAN 越しに LLM を呼び、写真も一緒に送ります。「LLM の待ち」は LAN の往復を含みます。詳しく
- 場面:Unreal Engine 5.8 + Cosys-AirSim のドローンのシミュレーター。機体は離陸地点(原点)から始まり、球の場所は知らせていません(実際は北に約 90 m)。
- LLM の役目:1 回の呼び出しで、次の行動を 1 つだけ JSON で答えます(離陸・移動・撮影・4 方向の撮影・画像の中の位置で目標を指して移動・位置合わせ・横に着陸・完了)。位置合わせと着陸の細かい動きはプログラムが受け持ちます。各行動の結果と機体の状態が、次の呼び出しに渡ります。
- 条件:手数の上限 30、温度 0.2。LLM はどれも RTX 5060 Ti 1 枚です。思考は、Strata と Cosmos の 1 回目はなし、Cosmos の 2 回目(cosmos-think-1)はあり(公式の推論の道具と同じく、毎回のプロンプトの最後に「<think>…</think> の中で考えてから答える」書式の指示を足し、出せるトークンの上限は 4096)。思考ありの回は、各手の「思考(全文)」で思考の中身を読めます。
- 成功:球の真上で位置を合わせ、球のすぐ横に着陸して「完了」と答えること。
下の左右で回を選べます。手の見出しを押すと、その手で LLM に送った時刻へ映像が飛びます。各手の「送ったプロンプト」に、そのとき見せた画像があります。システムプロンプトは各回の「システムプロンプト」にあります。