关键功能

它评估了围绕冻结模型的可执行方法或利用的改进。
代理继承了功能正常但可改进的可执行基线。
最终交付件是可执行代码,而不是报告的分数或预测文件。
提交的制品在隐藏的评估集上不变地重新运行。
可见的实验和密封的隐藏评估使用孤立的环境。
RSI-Exam 0.1包含88项任务: 35项公共任务和53项私有任务。
固定评分定义保留域本地指标,同时规范测量的改进。
保存的版本、实验描述、资源使用和结果支持分析。

每个任务都提供可执行基线和可见的开发环境。代理保存并测试候选版本,然后提交在密封环境中的隐藏集上不变地重新运行的代码。域本地指标通过固定评分定义进行映射,以使进度在任务之间具有可比性。


第一个版本包含跨六个广泛领域的88个任务,包括35个公共任务和53个私有任务。RSI-Exam对于研究代理可靠性、可转移改进和长期实验非常有用。保存的轨迹、制品版本和资源使用使开发过程可检查。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!