实施被设计为对开发团队极其简单,只需在现有应用程序基础结构中集成最少两行代码。这个浅集成层对请求进行代理到相应的 LLM 服务,记录必要的元数据——如使用的模型、令牌计数和相关成本——然后无缝地将响应传递回应用程序,而无需修改。至关重要的是,此过程以卓越的安全性进行管理;API 密钥永远不会存储在持久存储中,仅在请求周期内短暂存在于内存中,并且提示或响应的内容永远不会被记录。
除了简单的跟踪之外,该平台旨在为数据驱动的决策提供支持,提供智能成本洞察力,并能够在最终发票产生影响之前立即发现支出高峰。用户可以按特定代理、开发团队或部门细分和分析支出,以准确分配资源和优化使用模式。虽然目前对早期采用者完全免费提供基本功能,但该工具承诺将传统应用于云基础设施的严格成本控制方法直接带到生成模型部署的前沿。

