ManiWAV
学习野外音频视觉数据的机器人操控
- 通过音频信号提供丰富的交互和物体属性信息
- 使用'ear-in-hand'数据收集设备同步收集音频和视觉反馈
- 直接从人类演示中学习机器人操控策略
- 在四个接触丰富的操控任务中展示系统能力
- 通过多样化的野外人类演示学习，实现对未见过环境的泛化
产品详情
ManiWAV是一个研究项目，旨在通过野外的音频和视觉数据学习机器人操控技能。它通过收集人类演示的同步音频和视觉反馈，并通过相应的策略接口直接从演示中学习机器人操控策略。该模型展示了通过四个接触丰富的操控任务来证明其系统的能力，这些任务需要机器人被动地感知接触事件和模式，或主动地感知物体表面的材料和状态。此外，该系统还能够通过学习多样化的野外人类演示来泛化到未见过的野外环境中。
