
Tomonori SHINDOH / 進藤 智則
805 posts

Tomonori SHINDOH / 進藤 智則
@tshindoh
日経Robotics編集長 創刊メンバー 巻頭記事の大半を執筆 Editor-in-Chief of Nikkei Robotics ロボット/フィジカルAI/深層学習/半導体/ソフト工学など興味 電機・自動車・ITなど見てきた記者 投稿内容は個人の意見で所属企業・部門・媒体を代表するものではありません












🤖 ヒューマノイドが「視覚情報のみ」でドアを開ける!NVIDIAの最新成果 Doorman NVIDIA、CMUらによる共同研究「DoorMan」が、ヒューマノイドのロコ・マニピュレーション(歩行+操作)における成果 【ここが凄い!】 • 純粋なRGB画像のみ: 外部センサーに頼らず、ロボット搭載のカメラ画像だけで多様なドアを識別し、開けて通り抜ける • 人間超えのスピード: タスク完了時間は、人間の遠隔操作よりも最大で31.7%(約7.15秒)高速 • 完全シミュレーション学習: 人間のお手本データは一切使わず、100%シミュレータ(Isaac Lab)内での強化学習のみで実機(Unitree G1)への展開に成功 【3段階の学習フェーズ】 1. Teacher学習: シミュレータ上の特権情報(ドアの正確な位置等)を使い、PPOで効率的に学習 2. 蒸留(Distillation): Teacherの動きを、視覚情報しか使えないStudent(実機モデル)へ伝授 3. GRPOによる微調整: 最後にGRPOを用いて、視覚入力特有の曖昧さを克服し、成功率を20〜30%向上 【Stage-reset探索】 ドア開けのような長い工程(近づく→触る→回す→通る)を効率化するため、シミュレータ内で途中のステージから強制的にリセットして開始する機能を導入。これにより、難易度の高い「ハンドルを回す」等の経験値を稼ぐことが可能に 【シミュレーションの力】 Isaac Labの超高画質レンダリング(RTX)により、5,000種以上の照明条件や多様なテクスチャ、モーションブラーまでも再現。この圧倒的なデータ量と質の高い試行錯誤が、実世界での高い汎用性を生み出しているとのこと 【コメント】 まだコンタクトリッチ(接触の多いタスク)への展開は難しいようだが、ドアを開けるといった比較的単純なタスクであれば、ロコマニピュレーションがSimulationで解けるようになってきたのは非常に面白い #NVIDIA #AI #Robotics #Humanoid #Sim2Real #MachineLearning





AIロボット協会(AIRoA)にて以下のコンペティションを行います。是非ご検討ください。 airoa.org/ja/updates/202…

Our model can now learn from its own experience with RL! Our new π*0.6 model can more than double throughput over a base model trained without RL, and can perform real-world tasks: making espresso drinks, folding diverse laundry, and assembling boxes. More in the thread below.


