Physical AI（ロボット基盤モデル）による単腕アームロボットでのPick & Placeの自律動作の検証

近年、Physical AI(フィジカルAI)と呼ばれる技術が注目を集めています。
これは、画像やセンサ情報などのマルチモーダル(複数)な入力を基に、実世界の物理環境を理解し、ロボットを自律的に制御することができる技術です。
一方で、Physical AIの実現には大量の学習データが必要で、実機のみでのデータ取得にはコストや運用面での制約が多く生じます。
そこで注目されているのが、シミュレーション環境を活用した合成データ(学習データ)の取得です。
本記事では、合成データによるロボットアームのSim-to-Real(シミュレーションで学習したPhysical AIモデルを実機へ適用する)に関する検証の取り組みについてご紹介します。

本検証では、シミュレーション上で生成した合成データのみを用いてモデルの学習を行い、Pick & Placeタスクにおける自律動作の実現可否を評価しました。
その結果、実機環境において10回中8回成功（成功率80%）と、実環境データを用いた場合に近い結果が得られました。
また、作業現場を想定すると、製造業では少量多品種生産への対応が進む一方で、人手不足により作業の効率化・自動化が求められています。
特に、部品の移動や仕分けといった判断（自律性）を伴う軽作業は依然として人手に依存している領域です。
そこで本検証では、これらの作業の代替手段として、ティーチング・プログラミングの技術力が不要なPhysical AIを活用したアームロボットによる確認も行いました。

本記事のポイントは以下の通りです。
・シミュレーションによる合成データ生成からモデル学習、実機での推論までの一連の開発フローを検証
・シミュレーションで生成した合成データのみを用いて、ロボットの自律制御モデルを学習が可能であることを確認
・学習したモデルを実機へ適用し、実環境データを用いた場合とほぼ同じ結果を達成

本検証では、以下の観点について検証を行うことを目的としました。
・シミュレーションのみで生成した合成データを用いて学習したモデルが、実機へ適用可能か
・Physical AIにより、どのような自律化が実現可能か
・双腕を想定したIsaac GR00T(Physical AIモデル)が、単腕環境でも活用可能か
・作業現場でも対応できる精度が出るか
・当社のROS 2(ロボットフレームワーク)およびシミュレーションに関するノウハウをPhysical AIへ転用可能か
・Physical AI開発における開発フローおよび評価指標の検討

本検証では、複数ブロックを対象としたPick & Placeタスクを設定し、
ランダムに配置されたオレンジと青の2色のブロックを、それぞれ対応する位置へ移動するタスクで評価を行いました。

実環境で用意した構成は以下の通りです。
ロボット：Realman Robotics製アームロボット
カメラ：Intel RealSense

本構成では、シミュレーション環境（Isaac Sim）と学習環境（Isaac GR00T）、
および実機制御用PCを組み合わせて構成しています。

Isaac Simは、NVIDIAが開発したロボットシミュレーションソフトウェアであり、GPUを活用した物理演算やフォトリアルなレンダリング機能を備えており、加えて、ROS 2との連携やオブジェクト配置のランダム化など、ロボットおよびAI開発に必要な機能が統合されています。

また、Isaac GR00Tは、同じくNVIDIAが開発したヒューマノイド等のロボットを対象としたVLA（Vision-Language-Action）モデルであり、カメラ画像とタスク指示（例：「オレンジを右に運ぶ」）を入力として、 ロボットの関節の動かし方（アクション）を直接出力することが可能です。

今回の検証の手順の概略については以下の通りです。

1. 環境構築
Isaac Sim内に実機構成を再現し、シミュレーション環境を構築
2. 学習データ取得
Isaac Sim上でPick & Placeのシミュレーションを実行し、学習データ(合成データ)を取得
3. モデル学習
収集したデータを用いて、Isaac GR00Tにてモデルの学習を実行
4. シミュレーションでの動作確認
学習済みモデルをシミュレーション環境で推論を実行し、タスクが正常に完了できるかを確認
5. 実機への適用
学習済みモデルをロボット実機に適用し、実環境におけるタスクの実行・検証を行う

環境構築において、実機構成をIsaac Sim上に再現し、実機のカメラパラメータを基に設定したカメラやメーカーのURDFモデルを用いたロボットアームモデル作成など、実環境に近づけたシミュレーション環境を構築しました。
また、実環境とのギャップを低減するため、背景には実環境からRealSenseで取得した画像を使用しています。

学習データ取得では、Isaac Sim上でブロックの初期位置をランダム化し、ROS 2のMoveIt 2を用いて把持動作の計画および実行を行いました。
ランダムに配置されたブロックをロボットアームで把持し、同色の床へ配置する一連の動作を自動化するとともに、その過程を学習データとして記録。

学習データ取得にあたっては、二色混在だけでなく単色のみの場合など、複数のパターンを用意しています。 記録した主な学習データは以下の通りです。

・ロボット状態：関節角度（joint）
・視覚情報：カメラ画像（RGB）

前の段階で収集した学習データを用いて、Isaac GR00Tモデルの学習を行いました。
収集した学習データは、そのままではモデルの入力として使用できないため、所定のフォーマットへ変換する必要があります。
Isaac GR00Tでは、学習データの形式として「LeRobot v2.6」が採用されており、以下のディレクトリ構成で整理されます。
dataset
├ data　　:各タスクごとのロボットの状態やアクションを時系列データとして格納
├ videos　:各タスクの動作を動画形式で記録したデータを格納
└ meta　 :タスク命令やデータ構造の定義、統計情報など、データセット全体に関する情報を格納
この形式に変換することで、モデルはロボットの状態遷移と視覚情報を対応付けて学習できるようになります。
その後、学習用プログラムを用いてモデルのトレーニングを実施します。

学習完了後は、推論処理を通じて学習結果の確認を行います。 Isaac GR00Tの推論では、学習済みモデルに対して以下の情報を入力する仕様です。

・現在のロボットの状態
・カメラから取得した画像
・タスクを表す命令（言語指示）

これらの入力情報に基づき、モデルは次に取るべきロボットの動作（アクション）を出力し、 出力されたアクションをロボットへ逐次適用することで、ロボットは自律的に動作します。

まず、シミュレーション環境上で推論を実行し、動作の妥当性を検証しました。
実行中に停止などの不具合が発生した場合には原因分析を行い、学習データやパラメータの見直しおよび再学習を通じて、安定してタスクを達成できる状態を目指します。

シミュレーション上で安定した動作を確認した後、実機での検証を実施しました。
既存事例として、実環境データを用いた少量データでの把持成功率は、平均で約62〜80％程度の成功率が報告されており（例: SmolVLA: A vision-language-action model for affordable and efficient robotics 2025年6月02日 https://arxiv.org/html/2506.01844v1）、 一般的にはさらに精度が低下すると言われているシミュレーション上の合成データを学習させ実環境でのタスク評価を行いました。
その結果、実機での試行10回中8回成功（成功率80％）と、実環境データを用いた場合と近い傾向の結果を得ることができました。
失敗時のリスクなど運用面での考慮は必要であるものの、作業現場においても合成データのみで一定の精度が得られることを確認しました。

本結果は、実環境データの収集が課題となっているPhysical AIのロボット開発において、 合成データを活用することで開発コストの低減や環境変更時の迅速な再学習が可能になると考えています。
今後はIsaac GR00T(ロボット基盤モデル)のバージョンを上げるなど行い、更なる成功率を上げる対応を行っていきたいと考えています。

本記事では、ROS 2、Isaac Sim、Isaac GR00Tを活用し、
シミュレーション上で実環境を再現しながら学習データを収集し、その結果をロボット実機へ適用する一連の流れをご紹介しました。

本検証の結果、当社が蓄積してきたROSおよびシミュレーション技術を活用し、
構築したシミュレーション環境で取得した合成データを用いた場合でも、
Pick & Placeタスクにおける自律制御において、実環境で安定して動作する傾向が確認されました。
さらに、学習データ取得から学習・評価・実機適用に至る一連の開発の流れや、評価観点についても一定の知見を得ることができました。

一方で、把持位置の若干のズレ等のいくつかの課題が明らかとなっており、それに対する対応を進めていく予定です。
今後は、より作業現場に近い環境やタスクへの適用を見据えた検証を進めていきます。

当社ではPhysical AIに関する検証・開発を進めておりますので、ご興味がございましたらお気軽にご相談ください。

・フィジカルAI(Physical AI) - ロボット基盤モデルによるロボット開発の未来

・フィジカルAIが変える製造業の未来！基本と技術要素を解説