HoloDreamer
从文本描述生成全息3D全景世界
- 风格化等矩形全景生成：结合多个扩散模型，从复杂的文本提示生成风格化和详细的等矩形全景图。
- 增强两阶段全景重建：进行深度估计并投影RGBD数据以获取点云，使用基础相机和辅助相机在不同场景下进行投影和渲染。
- 3D高斯散射（3D-GS）：快速重建3D场景，增强场景的完整性。
- 多视图监督：利用2D扩散模型生成初始局部图像，然后逐步生成场景，提高全局一致性。
- 全景图旋转无裂缝：应用圆形混合技术，避免在旋转全景图时出现裂缝。
- 两阶段优化：在传递优化阶段对重建场景的渲染图像进行内绘，优化3D-GS，生成最终重建场景。
- 高清晰度全景初始化：生成高清晰度全景图作为3D场景的整体初始化，提高重建的质量和一致性。
产品详情
HoloDreamer是一个文本驱动的3D场景生成框架，能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成：风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化，然后利用3D高斯散射（3D-GS）技术快速重建3D场景，从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。
