AutoDroid-V2：通过代码生成增强基于 SLM 的 GUI 代理

大型语言模型 (LLM) 为移动 UI 代理带来了令人兴奋的新进展，这是一个长期存在的研究领域，旨在通过移动 UI 交互完成任意自然语言任务。然而，现有的 UI 代理通常需要强大的大型模型的高推理能力，而这些模型很难在最终用户的设备上本地部署，这引起了人们对用户隐私和集中服务成本的巨大担忧。减少所需模型大小的一种方法是使用高质量的训练数据定制较小的领域特定模型，例如各种类型的应用程序和任务的大规模人工演示，而这样的数据集极难获得。受到最近小型语言模型 (SLM) 卓越编码能力的启发，我们建议将 UI 任务自动化问题转换为代码生成问题，该问题可以通过设备上的 SLM 有效解决，并通过设备上的代码解释器高效执行。与可以使用公共数据集进行大量预训练的常规编码任务不同，由于目标应用程序的多样性、复杂性和多变性，生成 UI 自动化代码具有挑战性。因此，我们采用以文档为中心的方法，自动为每个应用程序构建细粒度的 API 文档，并根据此文档生成不同的任务示例。通过使用合成文档和任务示例指导代理，它学会生成精确而高效的脚本来完成看不见的任务。基于与最先进的移动 UI 代理的详细比较，我们的方法有效地改善了移动任务自动化，成功率显著提高，延迟/令牌消耗更低。代码将开源。