Vision・Language・Actionを分けてみる

Visionは、机や物体を映した画像などです。Languageは「赤い積み木を箱へ入れて」といった指示です。Actionは、ロボットが実際に行う動作に対応する出力です。Google DeepMindのGemini Robotics発表では、物理的な動作を出力として追加し、ロボットの直接制御につなげるVLAが説明されています。

理解のための例として、同じ机の写真に「カップを持って」と「カップの隣のスプーンを持って」という二つの指示を与えます。画像が同じでも言葉が変われば対象が変わり、必要な動作も変わります。こうした対応を学ぶために、見えていた状況、指示、実際の動きを結び付けたデータが重要になります。

VLAの入力と出力
INPUT画像 ＋ 言葉机の画像と「赤い積み木を箱へ」
MODELVLA視覚・指示・動作の対応を学ぶ
OUTPUTロボットの動作腕やつかむ器具の動きを出力

動作の表現や低い階層の制御との役割分担は、モデルと機体によって異なります。

画像を説明するVLMと、動作を出すVLA

画像と言葉を扱うモデルは、一般にVLMと呼ばれます。写真の説明ができても、それだけで腕を正しく動かす仕組みが備わるわけではありません。VLAについて読むときは、どのような動作を出し、その出力をどの制御装置が受け取るのかを確認する必要があります。

動作の表現は、モデルやロボットの構成によって異なります。指先の位置を扱うのか、関節に関わる値を扱うのか、一定時間分の動きをまとめるのか、といった違いがあります。名前が同じVLAでも、対応する体の形、カメラ、動作の範囲が異なるため、研究結果をそのまま別の機械へ移せるとは限りません。

比較項目VLMの例VLAの例
主な出力画像に関する説明や推論ロボット動作に関わる出力
評価の例対象や位置を説明できるか対象を持って所定位置へ置けるか
追加で必要な確認認識や説明の正しさ機械との対応、動作結果、制約

「汎用」を読むときは、何を変えたかを見る

Google ResearchのRT-1は、画像や指示から動作を生成するロボット学習の研究例です。多くのタスクを一つのモデルで扱う方向性が示されていますが、研究上の広がりと、読者の現場で使える範囲は同じではありません。評価環境がどのように設定されたかを読む必要があります。

確認したい変化は、言い換え、物の種類、配置、背景、機械の違いです。「見たことのない物に対応」と書かれていても、未知の機械や未知の作業にも対応したとは限りません。一つの評価項目で良い結果が出たことを、すべての一般化能力へ広げて理解しないようにしましょう。

実演動画から確認できること、できないこと

動画では、対象をつかんだか、持ち替えたか、連続して作業したかを観察できます。一方、試行回数、失敗例、遠隔操作の有無、開始前の準備は映像だけでは判断できないことがあります。企業や研究者の説明に記載がなければ、無人での長時間運用まで確認したことにはなりません。

本記事で勧める読み方は、動作の見栄えを眺めた後に、「何を入力し、何を出し、何を測ったか」を一行ずつ書くことです。例えば「手首カメラの画像＋指示→腕の動作→箱入れ成功率」と整理すれば、別の発表と比較しやすくなります。VLAという用語は、こうした入出力の関係を理解するための入口です。

評価表では、成功率の分母を確かめる

同じ成功率でも、試験の内容が違えば意味は変わります。理解のための例として、位置を固定した10回と、対象も配置も変えた100回は、そのまま優劣を決める比較にはなりません。ここで示した回数は説明用です。何を変え、何を一定にし、人の介入をどう数えたかを結果と合わせて読んでください。

一つの動作を終えた割合なのか、いくつもの動作を続けて作業全体を終えた割合なのかも確認します。短い動作が得意でも、それを長くつなげたときの結果は別に測る必要があります。評価条件が公開されていない項目は、不明と記録しておけば、後から詳しい資料が出たときに比較を更新できます。

よくある疑問

VLAがあればロボットのプログラムは不要ですか？

不要とはいえません。入力の処理、機械との接続、動作の制約、停止や復旧、評価など、モデルの周辺を含む実装が必要です。

VLAと世界モデルは同じですか？

同じではありません。VLAは動作への対応に着目し、世界モデルは環境がどう変化するかの予測に着目します。組み合わせる構成もあります。

出典・参考資料

公式公開資料を基に構成しています。メーカーが示す性能・実演は各社の発表であり、本メディアによる実機検証ではありません。価格・提供範囲は2026年10月24日の確認時点です。

AIを用いた調査・執筆と出典照合については編集方針をご覧ください。