TCAN
使用扩散模型实现时间一致性的人像动画
- 外观-姿态自适应(APPA层)：在保持源图像外观的同时，维持来自冻结控制网的姿态信息。
- 时间控制网络：防止生成视频因突然和错误的姿态变化而崩溃。
- 姿态驱动的温度图：在推理阶段通过平滑时间层的注意力分数来减少静态区域的闪烁。
- 时间一致性：确保动画过程中人物姿态的连贯性。
- 泛化能力：能够适应不同领域和身份的动画生成。
- 背景保持：在动画过程中保持源图像背景的一致性。
- 多身份动画：能够将动作转移到不同身份的人物或动画角色上。
产品详情
TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。
