Diffusion Self-Distillatio
一种用于零样本定制图像生成的扩散自蒸馏技术
0
- - 零样本定制图像生成：无需大量配对数据即可生成特定实例在新上下文中的图像。
- - 文本到图像扩散模型：利用预训练的模型生成图像网格，并与视觉语言模型协作筛选配对数据集。
- - 图像到图像任务微调：将文本到图像模型微调为文本加图像到图像模型，提高生成图像的质量和一致性。
- - 身份保持生成：在不同场景中保持特定实例（如人物或物品）的身份特征。
- - 自动化数据筛选：通过视觉语言模型自动筛选和分类图像对，模拟人工标注和筛选过程。
- - 信息交换：模型生成两帧图像，一帧重建输入图像，另一帧为编辑后的输出，实现有效信息交换。
- - 无需测试时优化：与传统的每实例调优技术相比，该技术无需在测试时进行优化。
产品详情
Diffusion Self-Distillation是一种基于扩散模型的自蒸馏技术，用于零样本定制图像生成。该技术允许艺术家和用户在没有大量配对数据的情况下，通过预训练的文本到图像的模型生成自己的数据集，进而微调模型以实现文本和图像条件的图像到图像任务。这种方法在保持身份生成任务的性能上超越了现有的零样本方法，并能与每个实例的调优技术相媲美，无需测试时优化。
