查看: 16|回复: 0

Agent 看起来每一步都在自由发挥,但把几千条执行轨迹摊开后,它的行为可能只剩下几十个状态。

[复制链接]

11

主题

0

回帖

33

积分

新手上路

积分
33
发表于 2 小时前 | 显示全部楼层 |阅读模式
Agent 看起来每一步都在自由发挥,但把几千条执行轨迹摊开后,它的行为可能只剩下几十个状态。

UCL 和 Holistic AI 团队这篇论文做了一件很有意思的实验:

把 Agent 的历史轨迹压缩成一张有限状态机(FSM)。

比如 Coding Agent 经常在「搜索 → 修改 → 执行 → 再搜索」之间循环。作者把工具调用和动作抽象成状态,再从大量成功和失败轨迹中自动还原出 Agent 常走的路径。

结果在 12 个公开数据集上,这些 FSM 只有 7–43 个状态,却能以 ≥0.997 的拟合度重放未见过的轨迹,而且几毫秒就能构建完成。

这张「行为地图」还能直接拿来预测Agent 下一步可能做什么,以及当前轨迹是不是正在走向失败。

在下一步预测上,它在 8/8 数据集都超过了 Agent Workflow Memory;失败预测最高 AUROC 达到 0.94。

在 SWE-agent 上,系统甚至可以在失败任务平均只执行到 32% 时触发早停,省掉后面约 68% 的计算。

但我更关注论文里的另一个发现:

换不同 LLM,Agent 的行为拓扑依然非常相似。

底座模型会影响每一步怎么选,harness 可能早已经把「有哪些路可以走」画出了大致边界。

以后分析 Agent,也不能只盯着模型输出。

它反复走哪些路径、在哪里进入循环、失败前会经过哪些状态,本身就是一层很有价值的可观测信号。

📎 arxiv: https://arxiv.org/abs/2608.23670



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部