关键功能

用于同步语音和视频响应的端到端 Transformer。
将语言、音频和视频同时建模为输入与输出 token。
使用块因果注意力进行增量式流式生成。
目标是在持续感知输入的同时实现全双工音视频交互。
报告模型侧响应延迟约为 200 毫秒。
支持以短流式单元进行 25 fps 生成。
避免了由 ASR、LLM、TTS 和渲染器组成的多模块流水线。
包含 arXiv 论文和直接的实时录制视频。

该模型将语言、音频和视频表示为由块因果注意力协调的交错输入和输出 token。其技术栈使用因果编码器、因果解码器、低延迟多模态调度,以及最短 160 毫秒的流式单元,以支持约 25 fps 的交互。


Wan Streamer 适用于实时智能体、交互式数字人、多模态助手和低延迟全双工通信研究。项目报告模型侧延迟约为 200 毫秒,在包含网络延迟时,总交互延迟约为 550 毫秒。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!