港大又出新项目,刚开源了一个跑在手机上的Agent,直接装Android上,用自然语言让AI帮你操作各种App 无需电脑,也不用每一步都截图让模型猜怎么操作

[复制链接]
发表于 昨天 10:26 | 显示全部楼层 |阅读模式
港大又出新项目,刚开源了一个跑在手机上的Agent,直接装Android上,用自然语言让AI帮你操作各种App


无需电脑,也不用每一步都截图让模型猜怎么操作

叫PhoneGo,比如说,你让它去小红书找一家香港大学附近的酒店,然后再到携程查询当晚价格

它就会先搜小红书笔记、提取酒店名称,再切换携程搜索同一家酒店,查询可订日期和房价,最后把结果反馈给你

全程无需你逐步指导它打开哪个App、点哪个按钮,App被藏在虚拟屏幕里驱动,不影响你自己用手机

比纯视觉手机Agent,操作步骤减少了47%、执行耗时减少了56%、Token消耗减少了55%

核心是CLI+GUI混合执行,已知的App操作路径直接调用命令,遇到陌生界面才让视觉模型接管

它的工作流程是:离线探索App,建立App Navigation Map,把页面和导航路径编译成可执行命令

在线执行任务,AI理解用户意图,优先调用已有命令,直接执行熟悉的操作流程

然后视觉兜底,遇到未知页面、动态内容或者异常状态,再通过视觉模型识别屏幕、点击、滑动

跨App协作,把一个应用获取的信息传递给另一个应用,完成连续任务

目前支持Android 14+、ARM64,提供APK可直接安装;需自备模型API Key,通过无线调试和无障碍服务操作手机,大部分任务可后台执行

github:http://t.cn/AXT5g4ex

#PhoneGo##PhoneAgent##手机AI#

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部