SV4D
生成多视角视频的模型
- 生成 40 帧的 4D 图像矩阵，分辨率为 576x576。
- 使用 SV3D 生成轨道视频，作为 SV4D 的参考视图。
- 输入视频作为参考帧，进行 4D 采样。
- 生成更长的新视角视频，通过密集采样（插值）剩余帧。
- 适用于生成艺术作品和设计过程。
- 应用于教育或创意工具。
- 用于生成模型的研究，包括理解生成模型的局限性。
产品详情
Stable Video 4D (SV4D) 是基于 Stable Video Diffusion (SVD) 和 Stable Video 3D (SV3D) 的生成模型，它接受单一视角的视频并生成该对象的多个新视角视频（4D 图像矩阵）。该模型训练生成 40 帧（5 个视频帧 x 8 个摄像机视角）在 576x576 分辨率下，给定 5 个相同大小的参考帧。通过运行 SV3D 生成轨道视频，然后使用轨道视频作为 SV4D 的参考视图，并输入视频作为参考帧，进行 4D 采样。该模型还通过使用生成的第一帧作为锚点，然后密集采样（插值）剩余帧来生成更长的新视角视频。
