AIエージェントフレームワーク「RAI」によるOpen-RMF音声制御検証

「はじめに」

　近年、物流や飲食業界をはじめ、人手不足が社会問題となっており、さまざまな現場で自律移動ロボットの導入が進んでいます。さらに、これらのロボットは複数台で運用されることが一般化しており、異なるメーカーのロボットを導入した場合、1つの制御システムで一元管理することは困難です。加えて、ロボットの知見を持たない方が、異なるメーカーの複数のロボットを扱うケースも少なくありません。この課題に対し、ROS 2上で動作するオープンソースの群制御ソフトウェア「Open-RMF」を利用すれば、異なるメーカーのロボットを複数台制御することは可能です。しかし、制御するにはROS 2のコマンド形式で指示を出す必要があり、その操作は煩雑になりがちです。
　本事例では、生成AIを使用したロボット制御AIエージェントフレーム「RAI」を用いて、ROS 2で動作するオープンソースの群制御ソフトウェア「Open-RMF」を音声による指示で制御しています。
従来のROS 2のコマンド形式でOpen-RMFを制御する方法ではなく、音声（自然言語）で制御することによって、ROS 2コマンドを覚える必要がなく、口語的な内容で指示を出すことができるため、ロボット(ROS 2)の知見に乏しい方や緊急停止時など緊急に対応が必要な方でもOpen-RMFを制御できることを目標としています。

「RAIによるOpen-RMFデモ制御」

システム構成

Open-RMFデモを、RAIを用いて音声で制御しました。本事例は掃除タスク(Hotel環境)、タスク停止をそれぞれ音声を用いて制御しています。

掃除タスク

Open-RMFデモのHotel環境にはclean_lobbyという場所が存在しています。
音声で「ロビーを掃除」と指示を出すと、clean_lobbyを掃除するタスクを実行できます。

タスク停止

Open-RMFデモには実行しているタスクを停止する機能があります。(cancel_task)
本事例では、「掃除をキャンセル」と指示を出し、実行中の掃除タスクを停止させています。

今後の展望について

本事例で、RAIを用いてOpen-RMFを音声で制御しました。 今後は、音声指示の対応を他Open-RMFタスクへの追加・実機での検証など研究して行く予定です。 また、当社のプロダクト製品であるMixFlitへのアドオンでの追加や他社の群制御システムへのアドオンでの追加なども検討して行きます。

※本動画のすべての権利は富士ソフトに帰属しておりますので、無断複製・転載を禁止させていただきます。