VGGSfM
深度学习驱动的三维重建技术
- 从输入图像中提取2D轨迹
- 使用图像和轨迹特征重建相机
- 基于这些轨迹和相机参数初始化点云
- 应用捆绑调整层进行重建细化
- 完全可微分的框架设计
- 在野外应用中重建照片，展示估计的点云和相机
- 在Co3D和IMC Phototourism上进行相机和点云重建的定性可视化
- 在每一行中，最左侧的帧包含查询图像和查询点，预测的轨迹点显示在右侧
产品详情
VGGSfM是一种基于深度学习的三维重建技术，旨在从一组不受限制的2D图像中重建场景的相机姿态和3D结构。该技术通过完全可微分的深度学习框架，实现端到端的训练。它利用深度2D点跟踪技术提取可靠的像素级轨迹，同时基于图像和轨迹特征恢复所有相机，并通过可微分的捆绑调整层优化相机和三角化3D点。VGGSfM在CO3D、IMC Phototourism和ETH3D三个流行数据集上取得了最先进的性能。
