关键功能

2.4T总参数。
每个令牌 95B 个激活参数。
混合专家架构。
512 名被击溃的专家。
262K 本机上下文窗口。
上下文可扩展至约 101 万个令牌。
强大的编码和代理任务焦点。
vLLM、SGLang 和量化运行时支持。

该模型使用 512 个路由专家,其中 10 个路由专家加上每个代币活跃的共享专家。它具有原生 262K 令牌上下文窗口,可扩展至约 101 万个令牌,并使用门控线性注意力和门控注意力块来管理大规模推理。


Hugging Face 版本包括 vLLM、SGLang、Docker Model Runner 和量化本地运行时的说明。对于拥有大量推理基础设施、需要大容量开放模型权重来处理长上下文代理工作负载的组织来说,它非常有用。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!