Ternary Bonsai

从技术上讲，1.58 位三元表示意味着模型权重以高度压缩的离散格式存储，通常使用负、零和正状态附近的值。面临的挑战是在量化后保持模型质量，同时提高内存带宽、缓存行为和硬件效率。评估应将准确性、延迟、吞吐量和退化与更高精度的基线进行比较。

三元盆景很有价值，因为人工智能部署成本越来越受到内存、带宽和推理硬件的限制。强大的三元模型或方法可以使有能力的模型更容易在本地、边缘设备上运行，或者以较低的基础设施成本大规模运行。