DreamID-V 采用的方法涉及预训练身份锚定视频合成器,并将其与 DreamID 结合,为时空上下文(Spatio-Temporal Context)、结构引导(Structural Guidance)和身份信息(Identity Information)创建定制化的注入机制。模型采用了三阶段训练策略,包括合成训练(Synthetic Training)、真实数据增强训练(Real Augmentation Training)和身份一致性强化学习(Identity-Coherence Reinforcement Learning)。该策略使模型能够充分利用双向四元组对数据。
DreamID-V 在各种场景下实现了高保真的人脸交换,包括显著的面部形状变化和不同的种族。通过各种视频演示展示了该技术的能力,证明了其在处理复杂人脸交换任务方面的潜力。演示中使用的参考图像和视频来源于公共领域或由模型生成,凸显了该技术在不同领域的潜在应用。

