Rotorquant

从技术上讲，Rotorquant 通过块对角旋转变换来压缩键值缓存表示。 KV 缓存压缩很重要，因为自回归解码存储跨令牌的注意力状态，并且随着上下文长度的增长，这些状态变得昂贵。通过集成为嵌入式 llama.cpp 路径，Rotorquant 的目标是真正的推理堆栈，而不仅仅是理论压缩基准。

Rotorquant 对于运行本地或托管 LLM 推理的开发人员来说非常有价值，其中内存带宽、预填充速度和解码延迟都很重要。它可以帮助使较长的上下文在受限硬件上更加实用，同时使输出质量更接近未压缩的基线。