Автоматизация мобильных интерфейсов через большие языковые и визуально-языковые модели (LLM и VLM) давно перестала быть экзотикой — с их помощью телефон можно попросить выполнить сложную задачу простой фразой. Но у самого распространённого подхода, «пошаговых» GUI-агентов, есть системная проблема: на каждом шаге такому агенту нужно заново опрашивать мощную облачную модель вроде GPT-4 или Claude, передавая ей текущее состояние экрана. Это бьёт сразу по трём направлениям — приватности (данные с экрана уходят наружу), трафику пользователя и стоимости серверных вычислений, что затрудняет массовое внедрение подобных агентов.
До появления GUI-агентов задачи на телефоне решались шаблонными помощниками вроде Siri, Google Assistant и Cortana, которые опирались на заранее заданные сценарии. Более гибкие GUI-подходы пришли им на смену, но столкнулись с другой бедой: мобильные приложения постоянно меняют состояния и элементы интерфейса, из-за чего скриптовые агенты, ранее обученные на конкретной GUI-логике, быстро теряли актуальность.
Скрипты вместо пошаговых запросов
Команда из Института исследований индустрии ИИ (AIR) при университете Цинхуа предложила AutoDroid-V2 — систему, которая строит GUI-агента на кодовых способностях небольших языковых моделей (SLM). В отличие от пошаговых агентов, принимающих решения по одному действию за раз, AutoDroid-V2 генерирует и выполняет целые многошаговые скрипты на основе пользовательской задачи. Такой подход решает две проблемы разом: повышает эффективность — один скрипт закрывает всю последовательность действий, снижая частоту запросов и расход ресурсов, и опирается на способности SLM писать код, которые уже доказали себя в лёгких кодовых ассистентах.
Архитектура системы делится на офлайн- и онлайн-этап. На офлайн-этапе строится «документ приложения» — результат анализа истории взаимодействия с приложением, включающий сжатие состояний GUI с помощью ИИ, автогенерацию XPath для элементов интерфейса и анализ зависимостей между экранами. Этот документ становится основой для генерации скриптов. На онлайн-этапе, когда пользователь формулирует задачу, локальная LLM генерирует многошаговый скрипт, который затем выполняет специализированный интерпретатор, отвечающий за надёжное исполнение в реальном времени.
Результаты тестов
AutoDroid-V2 проверили на двух бенчмарках — 226 задач в 23 мобильных приложениях, сравнивая с базовыми решениями AutoDroid, SeeClick, CogAgent и Mind2Web. Система показала прирост доли завершённых задач на 10,5–51,7%, при этом сократив потребление входных токенов в 43,5 раза, а выходных — в 5,8 раза, и снизив задержку вывода LLM в 5,7–13,4 раза по сравнению с базовыми решениями. При тестировании на разных моделях — Llama3.2-3B, Qwen2.5-7B и Llama3.1-8B — AutoDroid-V2 демонстрировал стабильную долю успеха от 44,6% до 54,4% при коэффициенте «обратной избыточности» в диапазоне 90,5–93,0%.
Авторы называют AutoDroid-V2 заметным шагом в автоматизации мобильных задач благодаря подходу на основе документа и скриптов с использованием SLM прямо на устройстве. По их данным, система достигает точности, сопоставимой с облачными решениями, но сохраняет приватность и безопасность на уровне устройства. Слабое место — приложения без структурированного текстового представления интерфейса, например построенные на Unity или веб-технологиях; авторы считают, что это можно решить, добавив VLM для восстановления структуры GUI по визуальным признакам.
Источник: MarkTechPost.