Control
ロボコンで強化学習が効くタスクの判定
RL が古典制御より安くなるのは「接触が支配的・モデル化困難・成否が測りやすい」が揃うときだけ。経路計画や位置制御に使うのは劣化。採用形はハイブリッド
要点: ロボコンに RL が「必要」なタスクはほぼ無い。ただし「古典より安い」タスクはある。判定基準は 3 条件 — (1) 接触が支配的 (2) モデル化が困難 (3) 成否 (報酬) が測りやすい — が全部揃うこと。
タスク別の判定
| タスク | RL | 理由 |
|---|---|---|
| 経路計画・走行 | 不適 | 可視グラフ + TOPP-RA で決定論的に解ける。RL は同じものの劣化版になる |
| 位置制御・軌道追従 | 不適 | PID + FF で十分。デバッグ可能性が段違い |
| タスク順序 (BT の代替) | 不適 | 大会運用は「なぜ失敗したか説明できる」ことが必須。ブラックボックス化は事故 |
| 接触を伴う操作 (押し込み・吸着の当て・立て起こし) | 適 | 接触ダイナミクスのモデル化コストが高く、報酬が明確 |
| 限界近傍の動的制御 (バランス・グリップ限界) | 条件付き | 効き得るが、まず古典 + 実測で限界値を測ってから |
「RL の方が簡単に上手く動いた」の正体
誇張ではなくコストの付け替え: 手作業チューニングの人件費 → GPU 時間 + 報酬設計。 接触タスクではこの交換レートが RL 有利になる。位置制御では古典有利のまま。
リスク
- 分布シフトの silent 劣化: 照明・床材・ワーク個体差で本番だけ性能が落ち、原因が説明できない。sim の値を実機の値と同一視しない原則の悪化版
- 再現性: 同じ入力で同じ挙動を保証しにくい → 大会の「もう一回やれば通る」が成立しない
現実的な採用形
最後の 10cm の接触スキルだけ RL、それ以外は古典で説明可能に保つハイブリッド。
- 状態機械・経路・追従は決定論的に
- RL policy は「接近済みの状態から接触完了まで」の短いスキルとして切り出す
- 失敗時は古典側のリトライ/フォールバックが包む
訓練基盤の条件
- 既に GPU シミュレータ (Isaac 等) を運用しているなら、訓練環境整備 (RL の実コストの大半) は地続き。Isaac Lab は並列環境・ドメインランダム化を持つ
- sim 内の真値 (物体 pose の ground truth 配信) は報酬計算の材料としてそのまま使える
関連
- [[runtime-verification-layers]] — sim 真値の取り方 (Layer 3)。報酬計算と同じ基盤
最終更新: