Needle 2

它建立在简单注意力网络的基础上，使用 Cactus Quants 压缩为 CQ2 位，并打包在 Cactus 自己的引擎中。浏览器演示在 WebAssembly 中运行模型，并显示工具路由、并行调用、多步骤操作、提取、分类和拒绝行为。

Needle 2 对于内存、延迟和连接都受到限制的离线助手、智能家居控制、电话、可穿戴设备、机器人和嵌入式接口非常有用。 Cactus 在 Raspberry Pi 5 上报告每秒高达 500 个令牌，并在支持的 XR 设备和手机上报告高吞吐量。