Page Agent от Alibaba управляет веб-интерфейсами через DOM без скриншотов и мультимодальных моделей

Alibaba 2 июля 2026 года представила Page Agent — браузерный агент на чистом JavaScript, который управляет веб-интерфейсами по текстовым командам, читая структуру страницы через DOM. Агент работает полностью на стороне клиента и не требует скриншотов, мультимодальных моделей и изменений в серверном коде.

Как работает Page Agent

Агент встраивается в веб-страницу как обычный JS-скрипт. Когда пользователь или внешняя система передаёт естественно-языковую команду — например, «нажми на кнопку отправки формы» — агент анализирует живое дерево DOM: читает теги, атрибуты, текстовые метки и структуру вложенности. На основе этого анализа он выбирает нужный элемент и выполняет действие: клик, ввод текста, выбор из выпадающего списка.

Ключевые характеристики:

• Выполнение на стороне клиента — серверные запросы для управления UI не нужны
• Управляющий сигнал — обычный текст на естественном языке
• Источник данных — текстовое представление живого DOM
• Действия — клики, ввод, взаимодействие с элементами форм
• Не требует мультимодальной модели — достаточно текстового LLM

Почему DOM лучше, чем скриншот?

Большинство современных GUI-агентов для браузера работают через визуальное представление страницы: сделать скриншот, подать картинку в мультимодальную модель, получить координаты, выполнить клик. Этот подход работает, но у него есть системные ограничения.

Мультимодальные запросы дороже текстовых — как по стоимости токенов, так и по задержке ответа. Плотные интерфейсы с мелкими элементами снижают точность: модель может ошибиться в координатах или «потерять» кнопку за слоем всплывающего окна. Скриншотный подход также зависит от рендера — агент ведёт себя иначе при разных размерах окна и в headless-режиме.

Дополнительная проблема — динамический контент. Если элемент появляется через несколько сотен миллисекунд после загрузки, скриншотный агент должен угадывать момент стабилизации. DOM-агент берёт актуальное состояние дерева в момент команды и видит свежий контент автоматически.

DOM-подход устраняет все эти ограничения. HTML-структура страницы уже содержит семантику — идентификаторы, роли, текстовые метки, иерархию элементов. Текстовому агенту точнее найти «кнопку подтверждения в модальном окне», читая DOM, чем угадывая объект по пикселям. Агент одинаково работает в обычном Chrome, мобильном WebView и headless-браузере.

Где это применимо

DOM-агент показывает лучшие результаты там, где структура страницы предсказуема: корпоративные веб-приложения, CRM-системы, административные панели, формы. Принципиально важно, что Page Agent не требует доступа к серверному коду или API сайта-хоста. Владелец сервиса не должен ничего переписывать — достаточно подключить скрипт-агент на стороне клиента.

Это открывает сценарий «нулевой интеграции»: разработчик или конечный пользователь добавляет агент к любому уже работающему сайту и сразу начинает управлять им текстовыми командами. Для корпоративной автоматизации это существенно снижает стоимость внедрения по сравнению с традиционными RPA-решениями, требующими глубокой настройки под каждое конкретное приложение.

Что это значит

Page Agent от Alibaba показывает, что браузерная автоматизация не требует дорогих мультимодальных моделей. DOM как текстовый источник даёт агенту достаточно информации для точного управления интерфейсом — при меньших затратах и без зависимости от визуального рендера. Если подход докажет надёжность на разнородных реальных сайтах, он может задать новый стандарт для лёгких веб-агентов — встраиваемых без переписки бэкенда и совместимых с любым сайтом из коробки.