该模型使用 512 个路由专家,其中 10 个路由专家加上每个代币活跃的共享专家。它具有原生 262K 令牌上下文窗口,可扩展至约 101 万个令牌,并使用门控线性注意力和门控注意力块来管理大规模推理。
Hugging Face 版本包括 vLLM、SGLang、Docker Model Runner 和量化本地运行时的说明。对于拥有大量推理基础设施、需要大容量开放模型权重来处理长上下文代理工作负载的组织来说,它非常有用。
该模型使用 512 个路由专家,其中 10 个路由专家加上每个代币活跃的共享专家。它具有原生 262K 令牌上下文窗口,可扩展至约 101 万个令牌,并使用门控线性注意力和门控注意力块来管理大规模推理。
Hugging Face 版本包括 vLLM、SGLang、Docker Model Runner 和量化本地运行时的说明。对于拥有大量推理基础设施、需要大容量开放模型权重来处理长上下文代理工作负载的组织来说,它非常有用。
在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!


Get top updates in AI to your inbox every weekend. It's free!