该模型使用视听扩散来生成与面部运动、场景定时和说话者特征保持一致的配音语音。这很重要,因为当运动复杂、说话者转身、场景包含表达性传递或翻译后语音身份漂移时,传统的配音管道通常会失败。 Just-Dub-It 旨在通过共同推理所说内容、听起来如何以及如何在视觉上与视频中的面部对齐来保持表演自然。
对于创作者、本地化团队和研究人员来说,Just-Dub-It 作为跨语言(例如法语、俄语、西班牙语和德语)自动视频配音的研究级基础非常有用。它可以支持电影本地化、社交视频翻译、多语言教育和合成媒体研究,其中输出需要感觉是原人在说翻译后的台词。该产品是一个免费的研究项目,而不是托管配音服务。

