Прокси для ИИ-агентов: когда нужны и как подключить

ИИ-агенты всё чаще сами ходят в интернет. Один открывает браузер и проходит по сайту, как человек. Другой получает от модели адрес страницы и скачивает её через HTTP-запрос. Третий обходит сотни документов, чтобы потом отвечать по ним на вопросы.

Для сайта все они выглядят как обычный посетитель или как робот — в зависимости от того, как настроены. Ниже — когда агенту нужен прокси, когда нет, как его подключить и как следить за расходом трафика.

Какие бывают агенты, которые читают страницы

Браузерные агенты управляют настоящим браузером через Playwright или Puppeteer. Они кликают, заполняют поля, проходят несколько шагов подряд. Такой агент загружает страницу целиком, вместе со скриптами и картинками.

Инструменты чтения страниц — функция, которую модель вызывает, когда ей нужен текст по ссылке. Обычно это HTTP-клиент: requests, httpx или аналог. Он скачивает только HTML, без картинок, поэтому трафика уходит немного.

Сборщики для RAG обходят сайты и складывают документы в базу, по которой модель потом отвечает. По сути это парсер, только результат идёт в поиск для модели. Если ваша задача — именно сбор данных для обучения и проверки моделей, этому посвящён отдельный сценарий: сбор данных для ИИ.

Когда прокси агенту действительно нужен

Прокси — не обязательная часть агента. Он нужен в нескольких понятных ситуациях:

• Контент зависит от страны. Агент проверяет цены, наличие или выдачу так, как их видит покупатель в Польше или Германии, а не там, где стоит сервер.
• Нагрузку нужно распределить. Агент читает много страниц, и все запросы с одного адреса сервера упираются в лимиты сайтов.
• Нужна стабильная сессия. Агент входит в аккаунт и проходит несколько шагов, и сайт должен видеть одного и того же посетителя.
• Сервер агента стоит в дата-центре, а часть сайтов не отдаёт страницы адресам дата-центров.
• Нужно разделить задачи. Разные клиенты или проекты работают через разные планы, и расход каждого виден отдельно.

Когда можно обойтись без него

Если агент время от времени открывает открытые страницы из вашей же страны и сайты отвечают нормально, прокси ничего не добавит. То же самое, если у сайта есть официальный API: агенту проще и надёжнее брать данные через него.

Прокси также не нужен для запросов к самой языковой модели. Его подключают к той части агента, которая ходит на сайты, а запросы к API модели оставляют напрямую.

Если сомневаетесь, запустите агента без прокси на десятке типичных задач. Посмотрите, где сайты отвечают ошибками, капчей или контентом не той страны. Именно для этих задач прокси и стоит подключить, а остальные оставить как есть.

Как подключить прокси к агенту

Прокси подключается не к модели, а к сетевой части агента: к HTTP-клиенту или к браузеру, которым он управляет. Строка подключения везде одна: протокол, логин, пароль, хост gw.prokso.com и порт. Её можно взять в генераторе кабинета в нужном формате.

Удобно создать один клиент или контекст браузера на задачу и передавать его во все инструменты агента. Тогда все шаги задачи гарантированно пойдут через один и тот же прокси, а не через случайный набор подключений.

После подключения проверьте адрес: пусть агент откроет страницу мой IP и вернёт страну и адрес, которые увидел. Если страна не та, ошибка в строке подключения или в выбранной стране.

Ротация или фиксированный адрес для задач агента

Здесь та же логика, что у людей и парсеров, только агент проходит шаги быстрее. Если адрес сменится посреди входа в аккаунт, сайт увидит, что один пользователь за минуту побывал в разных местах, и попросит подтверждение.

• Многошаговая задача на одном сайте — фиксированный порт от 10000 до 20000. Он держит один адрес от 1 до 120 минут, по умолчанию 30. Выставьте время с запасом на всю задачу.
• Много независимых страниц на разных сайтах — ротация: порт 823 для HTTP или 824 для SOCKS5, новый адрес на каждый запрос.
• Несколько агентов параллельно — каждому свой фиксированный порт, чтобы их сессии не пересекались.
• Долгие задачи с резидентскими или мобильными адресами — учитывайте, что адрес может смениться раньше, если устройство ушло из сети. Порт получит новый адрес той же страны, а агенту полезно уметь продолжить шаг, а не падать с ошибкой.

Подробнее о режимах — в глоссарии: sticky-сессия и ротационный прокси.

Бюджет: где агент тратит трафик

Трафик в Prokso считается в обе стороны: и то, что агент отправил, и то, что получил. Для HTTP-инструмента, который берёт только HTML, это немного. Браузерный агент загружает страницу целиком, и основную часть трафика съедают картинки, видео, шрифты и рекламные скрипты.

• Отключите загрузку картинок, видео и шрифтов, если агенту нужен только текст. В Playwright и Puppeteer это делается перехватом запросов.
• Не пускайте через прокси сторонние счётчики и рекламу, если они не нужны для задачи.
• Кэшируйте страницы, которые агент уже читал, и не давайте ему открывать одну ссылку по нескольку раз за задачу.
• Ограничьте глубину: сколько ссылок агент может открыть за одну задачу.
• Для разных проектов держите разные планы и включите лимит трафика за сутки или неделю, чтобы зациклившийся агент не потратил весь остаток.

Оценить расход заранее поможет калькулятор трафика: укажите средний размер страницы и число страниц в день. Цены за гигабайт для каждого типа — на странице тарифы.

Как агенту реагировать на ошибки

Модель склонна повторять действие, пока не получит результат. Для сети это плохая привычка: десять повторов подряд в ответ на ошибку тратят трафик и злят сайт. Правила обработки ошибок надёжнее прописать в коде инструмента, а не оставлять их на усмотрение модели.

• Ошибка 407 — проблема с логином и паролем прокси или закончился трафик плана. Повторять бесполезно, нужно проверить строку подключения и остаток.
• Ошибки 429 и 403 — сигнал остановиться на этом сайте и вернуться позже с меньшим темпом.
• Таймаут — один-два повтора с растущей паузой, потом пропуск страницы.
• Пустая страница — проверить, не нужна ли для неё загрузка через браузер, а не через HTTP-клиент.

Агент может получать прокси через API

Если агент работает сам, ему удобно брать прокси без человека. У Prokso есть API для клиентов: через него можно узнать баланс и цены, получить список планов и строки прокси в нужном формате, поставить план на паузу или возобновить.

Покупка нового плана и докупка гигабайтов через API идут только с баланса, пополнение — в кабинете. Лимит — 60 запросов в минуту на ключ, ключ создаётся в настройках кабинета. Для агента это значит простую схему: человек пополняет баланс, а агент сам берёт нужные строки и следит за остатком.

Правила сайтов действуют и для агентов

Агент — такой же посетитель, как человек или парсер, и правила сайта для него те же. Соблюдайте robots.txt и условия использования, держите разумный темп и не давайте агенту открывать десятки страниц в секунду. Если сайт отвечает 429 или 403, агент должен остановиться, а не повторять запрос.

Прокси не отменяют этих правил и не делают агента невидимым. Часть сайтов закрыта для всех адресов сервиса — список на странице закрытые сайты. Подробнее о спокойной работе с лимитами — в статье как не получить бан по IP.