关键功能

与类似尺寸的型号相比,吞吐量高达 6 倍
推理、编码、多语言任务中的最高准确度
在单个 NVIDIA A10G GPU 上支持 128K 令牌上下文长度
具有 Mamba-2 层的混合 Mamba-Transformer 架构
Hugging Face 上具有许可的开放数据和模型权重

该产品以其前所未有的透明度和开放性脱颖而出。NVIDIA 发布了大部分训练数据集和方法,包括涵盖代码、数学、多语言、合成监督微调和推理数据的预训练和后训练语料库,以及 Hugging Face 上获得许可的模型检查点。该混合架构用 Mamba-2 层取代了许多传统的 Transformer 自注意力层,从而优化了更快的 token 生成速度,同时又不影响推理质量或准确性。该模型在多语言理解、数学问题求解、编码和外部工具使用方面尤为强大。


Nemotron Nano 2 通过在速度、上下文窗口大小和准确性之间取得平衡,标志着开放式大型语言模型研究的一个重要里程碑。其设计有助于实现英语和编码语言的高质量推理和基于聊天的交互,同时保持优于其他开放模型的性能。NVIDIA 的承诺还包括提供开放的技术论文、模型检查点、教程和代码库,使研发社区能够在此基础上进行构建。这不仅促进了创新,也使企业能够为各种 AI 工作负载部署经济高效且功能强大的语言模型。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!