ロボット向けフィジカルAI(ロボット基盤モデル)
開発・構築・導入支援サービス

ロボット向けフィジカルAIとは現実空間を認識・理解するAIがロボットを効率的に動作させる技術です。
従来のロボット開発はルールベースで進められ、実空間の世界を認識したり、感知する能力には限界がありました。
しかし、GPTを始めとする生成AIの技術発展に伴い、AI自体が現実世界を認識する能力が発展していきました。
ロボット向けフィジカルAIは画像や文章やセンサ等を活用し、マルチモーダルな情報を入力とし、情報を統合し、実空間を認識・理解、状況に応じて自律的に行動します。
これにより、現実世界のタスクを効率的に実行することが可能になります。
ロボット制御での生成AIとロボット向けフィジカルAIの相違点は、生成AIが入力された情報に基づいてロボット制御コードやタスク指示文など、ロボットを間接的に動かす出力を生成するのに対し、ロボット向けフィジカルAIはロボットの動作そのもの（軌道・力・タイミングなど）を直接生成する点にあります。
ロボット向けフィジカルAIを実現するために、GR00TやOpen-VLAやPi0.5、SmoVLAのようなロボット基盤モデルと呼ばれるモデルが登場しています。

・Open-VLA

「Open-VLA」は、スタンフォード大学やトヨタ研究所、Google DeepMindなどの研究者が中心となって開発したオープンソースのVision-Language-Action(VLA)モデルです。画像(視覚情報)と自然言語による指示を入力として受け取り、それらに基づいたロボットの行動を出力します。Open-VLAは、約97万件規模ものロボット制御のデータセットを事前学習されており、ファインチューニングを通じて汎用性を高めているのが特徴です。また、コードや学習済みモデル、ドキュメントやツールが整備されており、研究用途からプロトタイピングまで幅広く活用され、オープンソースとして多くの利用者がいることも特徴です。

・π0

π0(パイゼロ)は、Physical Intelligenceによって開発された汎用ロボット用VLAモデルです。視覚常用や自然言語の指示を入力として受け取り、連続したアクションを直接生成できる点が特徴で、精密な操作を必要とするタスクに適しています。研究デモでは洗濯物の折りたたみやテーブルの片付けといった操作タスクを実現しています。π0は公開後も、継続的に改良を進められており、現在はπ0.5という後継モデルで公開されています。

・Isaac GR00T

Isaac GR00T(グルート)は、NVIDIAが開発した汎用ロボット向けの基盤AIモデルおよび開発プラットフォームです。ヒューマノイドロボットを念頭に置いて設計されており、マルチモーダルな入力（画像、テキスト、音声、人間のデモなど）を理解し、複雑なタスクを実行するロボットの「頭脳」として機能します。 GR00Tモデルは事前学習によって、物体をつかむ、持ち上げる、両手で渡すといった基本的なマニピュレーション動作を、標準状態でもこなすことが可能です。さらに、これをベースとし、特定のロボットや用途に合わせたタスク学習を少ないデータで効率的に行えるのが特徴です。また、Isaac Labと組み合わせることでシミュレーション上でGR00Tモデルを再学習（ファインチューニング）し、現実のロボットにスムーズに適用することができます。 当社では、実機でのGR00Tの動作検証を行っており、オープンソース対応のLeRobot SO-ARM101を使用してファインチューニング・動作検証を行ってます。GR00Tを使用することで、学習が容易になり、簡単なスクリプト(例：ペンを拾って、お皿の上に置いて)だけで、実機を動作させることができます。

当社ではIsaac GR00Tを用いて、シミュレーション上でのタスクの学習や、シミュレーション上での学習結果を実機側にフィードバックを行うといった検証を現在行っています。

・NVIDIA Cosmos

NVIDIA Cosmosとは、NVIDIAが提唱するPhysical AI(物理世界を認識・理解して、行動するAI)開発を加速させるためのプラットフォームです。現実世界の物理法則や因果関係を学習し、映像・動作・環境の変化を高精度に再現・予測できる点が特徴で、ロボティクス、自動運転、産業シミュレーションなどの分野でPhysical AIの基盤を担います。 Cosmosは、目的に応じて複数のワールド基盤モデル(WFM)で構成されており、その中核となるが、Cosmos Predict, Transfer, Reasonの3つです。Cosmosは、これらのWFMを通じて、現実世界を観測(Reason)→変換(Transfer)→予測(Predict)の三段階で理解・再構築することを目指しています。
当社でも保有するGPUワークステーションを用いてNVIDIA Cosmosを動作させ、 文章からロボット動作映像の生成等を検証しております。

さらに近年、NVIDIAはCosmos PolicyというCosmos-Predict2をVLAのように使用するモデルを発表しました。これは、現在のロボットの状態と映像から、次の画像とロボットの状態を生成する仕組みで、事後学習のみでこれまでのVLAモデルよりもタスク成功率を上げることに成功しています。