Animate3D
3D模型动画生成
- 多视图视频扩散模型（MV-VDM）：基于静态3D对象的多视图渲染，训练在大规模多视图视频数据集上。
- 时空注意力模块：增强空间和时间一致性，整合3D和视频扩散模型。
- 4D得分蒸馏采样（4D-SDS）：结合重建和采样，细化外观和运动。
- 大规模多视图视频数据集（MV-Video）：包含115K动画，涵盖53K动画3D对象，渲染成超过1.8M多视图视频。
- 动画重建：从生成的多视图视频中直接重建运动。
- 动画细化：通过4D-SDS进一步优化外观和运动。
- 数据、代码和模型开放发布：提供资源以供进一步研究和应用。
产品详情
Animate3D是一个创新的框架，用于为任何静态3D模型生成动画。它的核心理念包括两个主要部分：1) 提出一种新的多视图视频扩散模型（MV-VDM），该模型基于静态3D对象的多视图渲染，并在我们提供的大规模多视图视频数据集（MV-Video）上进行训练。2) 基于MV-VDM，引入了一个结合重建和4D得分蒸馏采样（4D-SDS）的框架，利用多视图视频扩散先验来为3D对象生成动画。Animate3D通过设计新的时空注意力模块来增强空间和时间一致性，并通过多视图渲染来保持静态3D模型的身份。此外，Animate3D还提出了一个有效的两阶段流程来为3D模型生成动画：首先从生成的多视图视频中直接重建运动，然后通过引入的4D-SDS来细化外观和运动。
