关键功能

可在本地设备上以低比特形式运行 27B 级多模态模型。
提供约 5.9 GB 的三值 27B 变体,面向笔记本级质量。
提供约 3.9 GB 的 1 比特 27B 变体,适合手机级内存预算。
在嵌入、注意力、MLP 和 LM head 上都使用低比特表示。
包含一个紧凑的 4-bit 视觉塔,适用于图像、文档、截图和相机工作流。
支持 262K token 上下文窗口。
支持 speculative decoding 以实现草稿-验证式加速。
按 Apache 2.0 许可证发布模型权重,并提供本地和 API 访问路径。

三值版本每个权重的有效位宽为 1.71 bit,目标是在约 5.9 GB 下实现笔记本级质量;1 比特版本每个权重的有效位宽为 1.125 bit,约占 3.9 GB。两个版本都在语言网络中保持低比特表示,支持紧凑的 4-bit 视觉塔,提供 262K token 上下文,并支持 speculative decoding。


Bonsai 27B 适合私有本地助手、离线智能体工作流、云端与本地混合系统、设备端视觉用例以及对成本敏感的智能体循环。PrismML 报告称,其在数学、编码、工具调用、指令跟随、知识和视觉基准上都较好地保留了全精度基线性能,并在发布时提供 Apache 2.0 权重。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!