我们在真实的安卓手机上,让 Qwen3.5-0.8B + 2B 模型执行了 500 多次工具调用。



0.8B 小模型在手机上连跑 550 次调用,完整跑通一次亚马逊下单任务——关键不是模型变强了,而是把“记忆”从模型里挪出去了

先上结论:这篇实验最反直觉的地方在于,它没有证明“小模型突然能独立搞定复杂任务”,而是证明了“只要把流程、状态和恢复逻辑放在模型外面,0.8B 模型也能成为长链路任务里的可靠执行单元”。

几个月前,作者做过一次更轻的实验:让 Qwen3-0.6B 跑在一台 2017 年的三星 Note 8 上,并操作真实浏览器。那次实验主要验证的是感知能力——如果把网页的结构化表示喂给小模型,而不是直接把原始 HTML 塞进上下文,小模型就能做出一些看起来“超出体型”的行为。

这次他们把难度拉高了:不再是点几页,而是让模型完成一个包含数百次调用、网站状态变化、工具失败、数量调整、最终结果校验的完整任务。


一、任务很普通,但执行很硬核

任务目标非常简单:


从空购物车开始
找到 2 瓶 Head & Shoulders 洗发水
再找 1 包黄色橡皮鸭
最终商品小计低于 20 美元
不结账、不付款


流程只规定了目标和约束,没有规定固定点击顺序。模型必须根据真实页面、真实商品、真实工具返回结果做判断。两台手机都从已验证的空购物车开始,执行期间没有人工干预浏览器,也没有预置中间状态。


二、硬件和模型配置


项目配置
设备Samsung Galaxy A04e、Samsung S21
工具执行模型Qwen3.5-0.8B Q4_K_M
推理模型Qwen3.5-2B Q3_K_M
上下文窗口8192 tokens
浏览器真实浏览器,可与手机分离运行



三、结果数据


指标A04eS21
0.8B 模型调用次数550534
2B 模型调用次数2828
工具调用次数537522
单次输入中位 tokens4545
95 分位输入 tokens229211
最大单次输入 tokens1,2371,253
执行时间4 小时 20 分1 小时 41 分
最终小计$13.69$18.53
结果完成完成


速度确实不算快。A04e 花四个多小时买洗发水和橡皮鸭,听起来很离谱。但作者强调,这次实验测的不是速度。

真正值得看的是输入规模。

经过几百次调用、一个多小时执行后,两个模型单次最大输入仍然只有约 1.2k tokens,中位数只有 45 tokens。两个模型都配置了 8192 tokens 上下文窗口,但实际并没有把整个历史塞进去。


四、真正改变结果的设计:状态不在模型里

这次实验的核心思路是:把模型必须做的事,和普通软件更擅长做的事分开。

模型不需要记住前 400 次调用,不需要从对话里重建当前状态,也不需要在工作流失败后自己恢复整条链路。它每次只接收一个有边界的小任务、相关输入和可用工具。流程、状态、中间结果、限制条件和恢复路径都由外部工作流引擎维护。

具体分工是:


Qwen3.5-0.8B:负责本地工具决策
Qwen3.5-2B:在需要判断时单独介入推理
外部运行时:保存状态、管理流程、处理失败和重试


这并没有消除推理需求。选错商品、误读数量,仍然会导致结果失败。一次工具调用成功,也不代表模型语义判断一定正确。但它显著降低了每次模型调用承担的责任。


五、他们用的开源栈


TroLLM:Rust/Android 工作流运行时
E2LLM/SiFR:通过 MCP 提供结构化浏览器感知和操作
模型在手机上本地运行
真实浏览器可以连接在另一台机器上


作者公布了源码、工作流、模型配置、测量数据和脱敏运行日志。需要注意的是,日志是脱敏版本,不会暴露所有原始页面观察和模型响应;公开的两条记录也是挑选出的成功样例。


六、这件事对“小模型评估”意味着什么

我们习惯用“能不能独立解决整个问题”来评估小模型。这对 0.8B 模型来说负担太重。

但如果流程和持久状态放在模型外部,问题就会变成:

这个小模型在哪些具体决策上可靠?这些可靠决策如何被组合成更长的流程?

作者也给了边界:Qwen 模型并不是写死在运行时里的,角色可配置,也可以替换其他本地模型;但替换后是否同样有效尚未验证。工作流本身也是人工编写的,不能理解为“两个小模型可以凭空发明并执行任意复杂流程”。

即便如此,看到 0.8B 模型在一次真实任务中完成 500 多次调用,而且不需要拖着越来越长的对话历史,确实会改变对小模型可用性的判断。


一句话总结

小模型不一定非要“一个人扛下所有”。当流程、状态和恢复机制由外部系统承担时,0.8B 模型也能在真实、长链路、多失败点的任务里稳定参与执行。

这对端侧 AI、本地 Agent、手机离线自动化都有参考价值:与其一味堆模型,不如先想清楚哪些东西不该让模型记。

评论区聊聊:你更看好“端侧小模型 + 外部工作流”,还是“云端大模型一把梭”?如果让你设计本地 Agent,你会把状态放在模型里,还是放在外部系统里?
分类