Janus Pro 旨在在从图像生成和分析到复杂文档解析等广泛的视觉语言任务中表现出色。该模型采用了一种新颖的自回归框架，将多模态理解和生成统一在一个 Transformer 架构中。这种创新方法将理解和生成任务的视觉编码路径分开，解决了困扰以前的多模态模型的稳定性和性能问题。
Janus Pro 最引人注目的方面之一是它在各种基准测试中的表现。该模型在多个关键领域都表现出色，在 GenEval 和 DPG-Bench 等基准测试中的表现优于 DALL-E 3、Stable Diffusion 等知名模型。Janus Pro 在文本转图像任务中实现了令人印象深刻的 80% 总体准确率，而 DALL-E 3 为 67%，Stable Diffusion 为 74%。它还以 99% 的单对象准确率和 90% 的位置对齐率创下了新标杆，展示了其根据文本提示生成高度准确和详细图像的能力。
Janus Pro 的开发涉及几项关键创新。该模型结合了合成美学数据来增强文本转图像生成，从而产生更稳定、更详细的图像输出。DeepSeek 还采用了先进的数据缩放技术和改进的训练策略，在保持效率的同时实现了最先进的性能。
Janus Pro 有不同尺寸可供选择，最大的是 7B 参数版本。该模型基于 DeepSeek 的语言模型，特别是 DeepSeek-LLM-7B，并使用 SigLIP-L 作为其视觉编码器。这种架构使 Janus Pro 能够支持各种输入格式和分辨率，使其适用于各种应用。
Janus Pro 最重要的方面之一是其开源性质。与许多专有 AI 模型不同，DeepSeek 已根据 MIT 许可在 GitHub 和 Hugging Face 等平台上免费提供 Janus Pro。这种开放性使研究人员、开发者和公司可以下载、修改和试验该模型，从而有可能在多模态 AI 领域带来进一步的创新和改进。
DeepSeek Janus Pro 的主要功能包括：
- 统一的多模态理解和生成功能
- 在文本到图像生成基准测试中表现出色
- 能够分析和解释图像，识别对象、关系和细节
- 支持多种语言和最多 4,096 个 token 的上下文窗口
- 根据 MIT 许可证开源
- 高效的计算要求，在广泛使用的 Nvidia H800 芯片上进行训练
- 解耦视觉编码路径，提高灵活性和性能
- 结合合成美学数据以增强图像生成
- 支持对自定义数据集进行微调
- 兼容基础模型为 384x384 图像输入，更大版本支持更高的分辨率
- 集成 SigLIP-L 作为视觉编码器，实现强大的图像理解
- 能够处理复杂的文档解析和视频分析任务
- 与某些竞争模型相比，及时性得到改善
Janus Pro 代表了多模式 AI 技术的重大飞跃，为图像生成、分析和基于文本的任务中的广泛应用提供了强大而多功能的工具。它的开源特性和令人印象深刻的性能使其成为希望在其项目和应用中利用高级 AI 功能的研究人员、开发人员和企业的极具吸引力的选择。