手机自动化原子能力科普:click/swipe/input/wait_ui 能做什么

你可能听过"让 AI 在手机上操作",但这些操作底层是怎么实现的?今天逐一拆解 iEasyRun 支持的原子能力集——每一个都不是魔法,而是经过验证的工程方案。

能力与架构 · 7 分钟读完
本页目录
  1. 什么是原子能力
  2. 设计理念,以及它和脚本录制的区别

什么是原子能力

原子能力(Atomic Capability)是最小操作单元,不能再拆。和编程里的原子操作一样,要么全部完成,要么全部失败,不会停在做到一半的状态。第一次听到这个词,会觉得抽象。它就是一次点击、一次滑动。

在 iEasyRun 里,原子能力由 Agent 执行端直接调用。执行端就是每台手机上的原生客户端。farm 控制面只管两件事:下发指令、收结果。上下层是拆开的,也就是解耦。上层用什么模型、什么策略,底层执行都一样,而且可以核对。

能力 做什么 成功回执要求
launch_app 启动指定 App 前台已是目标 App
tap 点击坐标或 UI 选择器 点击已发出;可选 UI 变化确认
swipe 滑动手势(上下左右) 手势完成
input 输入文本到指定框 目标框文本符合预期或可读取
wait_ui 等待文案或控件出现 超时则明确失败
album_import / pick_media 导入/选择媒体文件 资源可被发布页选中
screenshot(可选) 截取当前屏幕 仅在调试时启用,默认关闭且不落盘

设计理念,以及它和脚本录制的区别

每次调用都有回执。发出一个 tap 之后,还要确认屏幕确实跳到了下一页。

超时和错误码要明确。wait_ui 最长等待 N 秒,到点返回超时错误,不会一直挂着。

同一条指令要能幂等。同一个 tap 发两次和发一次效果一样,重复发送不会把操作做两遍。

原子操作只改应用内状态。它不清缓存,也不改配置。

原子能力和录制回放经常被放在一起说。

对比维度 录制回放 原子能力 + AI
稳定性 App 改版即失效 看屏幕内容执行,抗改版
灵活性 只能回放录制时的流程 AI 根据意图动态组合
出错处理 中断后从头再来 定位到哪一步失败、重试该步
适用场景 固定流程测试 变长流程(用户随意说任务)

这些调用要串成工作流,去 能力详解 看。

开始学习

想看看这些能力怎么串联?

从短视频发布工作流入手,一步步理解整条链路。