Follow Your Motion (FYM) ——肖像编辑时间一致性的通用框架

该视频介绍了 FYM，它是一个用于保持肖像编辑时间一致性的通用框架。通过引入动态重新加权注意力机制，FYM 在说话头像编辑中保持犀利度表情的时间一致性方面，表现明显优于现有方法。

Follow Your Motion (FYM) 这一用于肖像编辑时间一致性的通用框架，主要涵盖研究背景、方法、编辑效果对比等内容。

研究背景：预训练的条件扩散模型在图像编辑领域潜力巨大，但在处理说话头像等场景时，因单张图像独立编辑及编辑过程中时间连续性丢失，存在时间一致性的难题。
FYM 框架方法
- 利用预训练的 3D 高斯溅射（3DGS）模型渲染肖像图像，开发扩散模型学习不同尺度和像素坐标下从首帧到后续帧的运动轨迹变化，让编辑后的头像继承渲染头像的运动信息。
- 提出动态重新加权注意力机制，给空间中的地标点分配更高权重系数，并依据地标损失动态更新权重，以保持说话头像编辑中精细表情的时间一致性。
编辑效果对比：展示了 FYM 分别与 InstructPix2Pix、神经风格迁移、ICLight 结合后的编辑效果。针对不同提示词，如将人物变为乐高风格、添加胡须、转换为超级马里奥角色、油画风格等，FYM 都能实现时间一致的编辑效果。