ロボット制御と学習を橋渡しするSUN Programs: 言語指示で実世界タスクを完遂するKuafuシステム

ロボットが複雑なタスクを自律的に実行するためには、その動作のロバスト性（堅牢性）と効率性が不可欠です。特に、複数のステップからなる長期間のマニピュレーションタスクでは、モデルベース制御（Model-Based Control）で計画された理想的な軌道と、強化学習（Reinforcement Learning, RL）で学習されたリアクティブなポリシーとの間に大きなギャップが存在するという課題がありました。

既存のアプローチでは、モデルベース制御で検証されたタスクの「意味論（semantics）」、つまり目標や制約といった本質的な情報が、学習フェーズで失われがちでした。結果として、学習ポリシーのための報酬関数を手作業で設計する必要が生じたり、学習された行動が制御器で検証された振る舞いから逸脱してしまったりする問題が頻繁に起こっています。これにより、実世界でのロボットの信頼性や適用範囲が制限されていました。

この課題に対し、本論文では「Semantically UNified (SUN) Programs」という新しい概念を提案し、その実装システム「Kuafu」を通じて、言語指示に基づいたロボットの長期間マニピュレーションにおける制御と学習のシームレスな統合を目指しています。これは、タスクの意味論を最初から最後まで一貫して保持することで、ロボットの学習効率と実世界でのロバスト性を飛躍的に向上させる可能性を秘めています。

この研究の新規性

この研究の最大の新規性は、タスクの意味論を「SUN Programs」という型付きの実行可能プログラムとして一度だけ定義し、それがモデル予測制御（Model Predictive Control, MPC）のコスト関数、RLの報酬、タスクの進捗を判断する述語、さらには状態遷移のガード条件など、異なるシステムモジュール間で一貫して利用される点にあります。

これにより、これまでバラバラに扱われていた記号的計画（symbolic planning）とデータ駆動型実行（data-driven execution）が、意味論的な観点から真に統合されます。特に、大規模視覚言語システム（Large Vision Language Systems, LVLMs）が、ユーザーの言語指示とシーン情報からこのSUN Programsを自動合成し、MPCが物理的な実現可能性を事前にスクリーニングすることで、デモンストレーション（手本となる操作）や手動による密な報酬設計といった、従来のロボット学習で大きなボトルネックとなっていた要素を排除しています。これは、ロボットがより自律的に、かつ効率的に複雑なタスクを学習・実行するためのブレイクスルーと言えるでしょう。

技術的な核心

本研究の中心にあるのは、以下の二つの主要な技術要素です。

SUN Programs (Semantically UNified Programs)

SUN Programsは、ロボットが実行するタスクの「意味論」を形式的に記述するための、型付きのプログラムです。ここで言う意味論とは、例えば「AをBの上に置く」といった指示に含まれる、幾何学的な関係（位置関係や向き）、接触関係（物体同士が触れているかどうか）、あるいはより抽象的なタスクの目的や制約条件などを指します。

これらの関係は一度SUN Program内で定義されると、システム内部で自動的に、様々な形式に「コンパイル」されます。具体的には、以下のような要素に変換・利用されます。

MPCのコスト: モデル予測制御（MPC）は、未来の状態を予測しながら最適な行動を決定する制御手法です。SUN Programsで定義された目標や制約は、MPCの最適化問題におけるコスト関数として組み込まれ、タスク目標の達成度や制約違反の度合いを評価します。
満足度述語（Satisfaction Predicates）: タスクの各サブゴールが達成されたかを判断するための論理的な条件です。例えば、「オブジェクトが目標位置に到達した」といった条件を意味論的に定義できます。
RL報酬: 強化学習エージェントが、タスクを達成するための行動を学習する際に使用する報酬関数です。SUN Programsから生成される報酬は、タスクの意味論に基づいているため、手動で設計されたスパースな（まばらな）報酬や密な（詳細な）報酬よりも、学習を効率的にガイドします。
遷移ガード（Transition Guards）: タスクの異なるステージ（段階）間の移行条件を定義します。例えば、「オブジェクトを掴んだら次のステージに進む」といった条件を意味論的に記述できます。
診断（Diagnostics）: タスク実行中のエラーや問題点を特定し、デバッグするための情報として利用されます。

このメカニズムにより、タスクの意味論が制御から学習、そして実行中の監視まで、システムのライフサイクル全体で一貫して保持・活用されます。

Kuafuシステム

Kuafuは、SUN Programsを実際のロボットタスクに適用するためのフレームワークです。その主要な機能は以下の通りです。

言語とシーン意味論からのプログラム合成: 大規模視覚言語システム（LVLMs）を活用し、ユーザーの自然言語による指示と、ロボットが認識した環境（シーン）の意味論的な情報から、対応するSUN Programsを自動的に生成します。これにより、ロボットへの指示がより直感的で柔軟になります。
MPCによる実現可能性スクリーニング: 生成されたSUN Programsは、すぐに実行されるわけではありません。まず、モデル予測制御（MPC）によって、そのプログラムが物理的に実現可能であるか、あるいは安全性の制約を満たしているかが「スクリーニング（選別）」されます。これにより、不可能あるいは危険なプランが、実際にロボットを動かす前に排除されます。これは、特に実世界でのロボット運用において極めて重要なステップです。
セマンティクス保持とステージ条件付きポリシー学習: 実現可能性が確認されたSUN Programsは、その意味論を保持したまま、ステージ条件付きポリシー（Stage-Conditioned Policies）の訓練に利用されます。ステージ条件付きポリシーとは、タスクの異なる段階（ステージ）に応じて、それぞれに特化した行動を学習する強化学習ポリシーです。SUN Programsから得られる豊富な意味論的情報は、このポリシーの学習を効率的かつロバストにします。

実験結果と評価

本研究では、提案するKuafuシステムとSUN Programsの有効性を評価するため、9種類の長期間にわたる複雑なマニピュレーションタスクで実験を行いました。その結果、以下のような顕著な成果が報告されています。

高成功率: Kuafuシステムは、9タスク全体で平均 82.03% のマクロ成功率を達成しました。これは、既存のベースライン手法と比較して大幅な改善です。具体的には、スパース報酬（Sparse-Reward）ベースラインの 35.67%、およびステージ行動クローニング（Stage-BC）ベースラインの 24.75% を大きく上回っています。
データ効率の向上: 8192-wayのデータ収集スケールにおいて、Kuafuは人間のテレポート操作（遠隔操作）1時間あたり、10.57倍 の成功軌道時間（成功したタスクの実行時間）を生成することができました。これは、従来のデモンストレーションベースの手法と比較して、データ収集の効率が劇的に向上していることを示唆しています。
学習ポリシーの性能向上: 各タスクでわずか500本の軌道データ（実行履歴）を使用してDP3ポリシーを訓練した場合、Kuafuのデータはシミュレーション環境で 46.0% の成功率を達成しました。これは、代替手法で訓練されたポリシーの成功率 22.4% と比較して約2倍の性能向上です。
実世界への転移能力: シミュレーションでの成功だけでなく、Kuafuで訓練されたポリシーは、物理ロボット（FrankaとKinova）上でも 34.7% の成功率を示しました。これは、シミュレーションでスクリーニングされたタスク意味論が、実世界でのロバストなポリシー生成に効果的に転移することを示しており、実用化に向けた重要な一歩となります。

これらの結果は、SUN Programsが記号的計画とデータ駆動型実行を統合し、デモンストレーションや手動の密な報酬なしに、制御の知見をロバストなポリシーへと効果的に「償却（転用）」できることを明確に裏付けています。

実用への示唆

本研究は、ロボットの自律的な学習と実行に大きな示唆を与えます。主なポイントは以下の通りです。

複雑な多段階タスクの自律化: 製造業における複雑な組み立て作業や、災害現場での探索・救助、あるいは家庭でのサービスロボットなど、多段階で複雑なタスクをロボットがより自律的に学習し、実行できるようになる可能性を秘めています。
開発コストの削減: これまでロボット学習の大きな障壁となっていた、手動による報酬設計や大量のデモンストレーションデータ収集といった手間とコストが大幅に削減されます。これにより、ロボットアプリケーションの開発サイクルが短縮され、より多様なタスクへの展開が加速されるでしょう。
ロバスト性の向上: MPCによる実現可能性スクリーニングと、意味論に基づいたポリシー学習により、ロボットの行動の信頼性とロバスト性が向上します。これにより、予測不可能な実世界環境においても、より安全で確実なタスク実行が期待できます。
言語インタフェースの進化: 大規模視覚言語システムとの連携により、ユーザーは自然言語でロボットに指示を与えることができ、ロボットの操作性が向上します。これは、より人間中心のロボットインタフェースの実現に貢献します。

将来的には、このフレームワークが、汎用的なロボット知能の構築や、新しいロボット学習パラダイムの基礎となることが期待されます。

まとめ

本記事では、ロボットの長期間マニピュレーションにおけるモデルベース制御と学習ポリシー間のギャップを埋める画期的なアプローチである「Semantically UNified (SUN) Programs」と、それを活用するシステム「Kuafu」について解説しました。

SUN Programsは、タスクの意味論を一度定義するだけで、制御器のコスト、強化学習の報酬、タスクの進捗判断など、システム全体で一貫して利用できる点が最大の特徴です。そして、Kuafuシステムは、大規模視覚言語システムとモデル予測制御（MPC）を組み合わせ、言語指示からSUN Programsを自動合成し、その実現可能性をスクリーニングすることで、デモンストレーションや手動の報酬設計なしに、高効率かつロバストなロボットポリシーを実現します。

実験結果は、Kuafuが既存手法を大きく上回る高い成功率とデータ効率を達成し、物理ロボットにおいてもその有効性を示していることを裏付けています。この研究は、記号的計画とデータ駆動型実行を真に統合し、自律的なロボット学習の次の段階を拓く重要な一歩となるでしょう。

元論文

タイトル: SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies
著者: 不明
arXiv ID: 2608.31167

※ 本記事には Amazon アソシエイト・楽天アフィリエイト・A8.net 等のアフィリエイト広告が含まれる場合があります。リンクから商品・サービスが購入された場合、紹介料を受け取ることがあります。