关键功能

使用多模态扩散语言模型执行并行区域描述。
在一次去噪过程中为多个掩码区域生成描述。
使用高效并行提示将多个区域打包进单个提示。
使用结构化注意力掩码避免区域间相互干扰。
在各区域生成流之间共享全局图像上下文。
建立在类似 LLaDA-8B-Instruct 的扩散语言建模之上。
发布模型权重、训练数据和 ParaDLC-Bench。
提供论文、代码、模型、数据、基准和直接演示视频。

该模型建立在 PerceptionDLM-Base 之上,结合视觉编码器和离散扩散语言模型骨干。高效并行提示将多个区域掩码打包进单个提示中,而结构化注意力掩码则在共享全局图像上下文的同时隔离每个区域的生成流。


PerceptionDLM 适用于密集视觉感知、多区域描述,以及需要快速生成大量局部描述的系统。项目发布了代码、模型权重、训练数据和 ParaDLC-Bench,用于评估并行细粒度局部描述能力。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!