为了实现强大的多尺度自适应性,DreamActor-M1 采用渐进式训练策略,融合不同分辨率和姿势的数据,使其能够无缝处理不同的图像尺度。其外观引导机制将连续帧的运动模式与互补的视觉参考相结合,即使在参考图像中不可见的区域也能确保长期的时间一致性。这使得在扩展的视频序列中呈现流畅一致的动画,克服了抖动或身份漂移等常见问题。该框架还能生成多视角伪参考,以增强跨帧的细节传播,进一步提升输出的视觉保真度和真实感。
DreamActor-M1 可通过网页演示版访问,用户可以上传图像、调整动画参数(例如运动强度和比例),并轻松生成逼真的动画视频。该模型在云基础架构上运行,只需要现代网页浏览器和互联网连接,每个动画的典型处理时间为 1 到 2 分钟。虽然该演示版可免费用于非商业用途,但专业项目需遵守商业许可条款。 DreamActor-M1 代表了人体图像动画技术的重大进步,它将尖端的扩散变换器与混合引导相结合,提供富有表现力、高质量且时间连贯的动画,突破了数字角色创作的界限。
主要功能包括:
- 基于扩散变换器的逼真人体图像动画框架
- 集成隐式面部特征、3D 头部球体和身体骨骼的混合运动引导
- 对面部表情和全身运动的细粒度控制
- 从肖像到全身视图的多尺度适应性渐进式训练
- 外观引导确保长期时间连贯性和身份保存
- 基于云的演示,具有可调动画参数和快速处理能力
- 支持多视图伪参考生成以增强细节传播