Video Prediction Policy
一种基于视频扩散模型的多任务灵巧手操控通用机器人策略
0
- - 多任务灵巧手操控：VPP支持多种任务，如放置、杯直立、重定位、堆叠、传递、按压、拔插、开启等。
- - 视频扩散模型（VDMs）：VPP基于视频扩散模型，能够预测未来图像序列，理解物理动力学。
- - 预测性视觉表示：VPP利用VDMs中的视觉表示来反映物理世界的演变。
- - 统一视频生成训练目标：通过结合多样化的数据集，VPP能够提升预测视觉表示的质量。
- - 模拟环境与真实世界测试：VPP在CALVIN基准和MetaWorld基准等模拟环境，以及Panda臂操控和XHand灵巧手操控等真实世界任务中进行了广泛的测试。
- - 相对改进与成功率提升：在Calvin ABC-D基准测试中，VPP实现了28.1%的相对改进，并在复杂任务中提高了28.8%的成功率。
- - 单一通用策略：VPP使用单一通用策略，通过不同的指令来执行多样化的任务。
产品详情
Video Prediction Policy（VPP）是一种基于视频扩散模型（VDMs）的机器人策略，能够准确预测未来的图像序列，展现出对物理动力学的良好理解。VPP利用VDMs中的视觉表示来反映物理世界的演变，这种表示被称为预测性视觉表示。通过结合多样化的人类或机器人操控数据集，并采用统一的视频生成训练目标，VPP在两个模拟环境和两个真实世界基准测试中均优于现有方法。特别是在Calvin ABC-D基准测试中，相较于先前的最佳技术，VPP实现了28.1%的相对改进，并在复杂的真实世界灵巧手操控任务中提高了28.8%的成功率。
