AgentSearchBench: 一个面向真实场景的AI智能体搜索基准

研究团队推出了AgentSearchBench，这是一个用于评估真实场景中AI智能体搜索能力的大规模基准。该基准从多个平台收集了近10,000个真实世界智能体，将智能体搜索形式化为可执行任务查询和高级任务描述下的检索与重排序问题，并采用基于执行结果的性能信号来评估相关性。实验表明，语义相似性与智能体实际性能之间存在持续差距，暴露了仅依赖描述进行检索和重排序方法的局限性。研究进一步证明，轻量级的行为信号（包括执行感知探测）能显著提升排序质量，凸显了将执行信号纳入智能体发现过程的重要性。相关代码已开源。