Проксі для ШІ-агентів: коли потрібні і як підключити

ШІ-агенти дедалі частіше самі ходять в інтернет. Один відкриває браузер і проходить сайтом, як людина. Інший отримує від моделі адресу сторінки й завантажує її через HTTP-запит. Третій обходить сотні документів, щоб потім відповідати за ними на запитання.

Для сайту всі вони виглядають як звичайний відвідувач або як робот — залежно від того, як налаштовані. Нижче — коли агенту потрібен проксі, коли ні, як його підключити і як стежити за витратою трафіку.

Які бувають агенти, що читають сторінки

Браузерні агенти керують справжнім браузером через Playwright або Puppeteer. Вони клікають, заповнюють поля, проходять кілька кроків поспіль. Такий агент завантажує сторінку цілком, разом зі скриптами й картинками.

Інструменти читання сторінок — функція, яку модель викликає, коли їй потрібен текст за посиланням. Зазвичай це HTTP-клієнт: requests, httpx або аналог. Він завантажує лише HTML, без картинок, тому трафіку йде небагато.

Збирачі для RAG обходять сайти й складають документи в базу, за якою модель потім відповідає. По суті це парсер, тільки результат іде в пошук для моделі. Якщо ваше завдання — саме збір даних для навчання та перевірки моделей, цьому присвячено окремий сценарій: збір даних для ШІ.

Коли проксі агенту справді потрібен

Проксі — не обов'язкова частина агента. Він потрібен у кількох зрозумілих ситуаціях:

• Контент залежить від країни. Агент перевіряє ціни, наявність або видачу так, як їх бачить покупець у Польщі чи Німеччині, а не там, де стоїть сервер.
• Навантаження треба розподілити. Агент читає багато сторінок, і всі запити з однієї адреси сервера впираються в ліміти сайтів.
• Потрібна стабільна сесія. Агент входить в акаунт і проходить кілька кроків, і сайт має бачити того самого відвідувача.
• Сервер агента стоїть у дата-центрі, а частина сайтів не віддає сторінки адресам дата-центрів.
• Треба розділити завдання. Різні клієнти або проєкти працюють через різні плани, і витрату кожного видно окремо.

Коли можна обійтися без нього

Якщо агент час від часу відкриває відкриті сторінки з вашої ж країни і сайти відповідають нормально, проксі нічого не додасть. Те саме, якщо в сайту є офіційний API: агенту простіше й надійніше брати дані через нього.

Проксі також не потрібен для запитів до самої мовної моделі. Його підключають до тієї частини агента, що ходить на сайти, а запити до API моделі залишають напряму.

Якщо сумніваєтеся, запустіть агента без проксі на десятку типових завдань. Подивіться, де сайти відповідають помилками, капчею або контентом не тієї країни. Саме для цих завдань проксі й варто підключити, а решту залишити як є.

Як підключити проксі до агента

Проксі підключається не до моделі, а до мережевої частини агента: до HTTP-клієнта або до браузера, яким він керує. Рядок підключення скрізь один: протокол, логін, пароль, хост gw.prokso.com і порт. Його можна взяти в генераторі кабінету в потрібному форматі.

Зручно створити один клієнт або контекст браузера на завдання й передавати його в усі інструменти агента. Тоді всі кроки завдання гарантовано підуть через той самий проксі, а не через випадковий набір підключень.

Після підключення перевірте адресу: нехай агент відкриє сторінку мій IP і поверне країну та адресу, які побачив. Якщо країна не та, помилка в рядку підключення або в обраній країні.

Ротація чи фіксована адреса для завдань агента

Тут та сама логіка, що в людей і парсерів, тільки агент проходить кроки швидше. Якщо адреса зміниться посеред входу в акаунт, сайт побачить, що один користувач за хвилину побував у різних місцях, і попросить підтвердження.

• Багатокрокове завдання на одному сайті — фіксований порт від 10000 до 20000. Він тримає одну адресу від 1 до 120 хвилин, за замовчуванням 30. Виставте час із запасом на все завдання.
• Багато незалежних сторінок на різних сайтах — ротація: порт 823 для HTTP або 824 для SOCKS5, нова адреса на кожен запит.
• Кілька агентів паралельно — кожному свій фіксований порт, щоб їхні сесії не перетиналися.
• Довгі завдання з резидентськими або мобільними адресами — зважайте, що адреса може змінитися раніше, якщо пристрій пішов із мережі. Порт отримає нову адресу тієї самої країни, а агенту корисно вміти продовжити крок, а не падати з помилкою.

Докладніше про режими — у глосарії: sticky-сесія і ротаційний проксі.

Бюджет: де агент витрачає трафік

Трафік у Prokso рахується в обидва боки: і те, що агент надіслав, і те, що отримав. Для HTTP-інструмента, який бере лише HTML, це небагато. Браузерний агент завантажує сторінку цілком, і основну частину трафіку з'їдають картинки, відео, шрифти й рекламні скрипти.

• Вимкніть завантаження картинок, відео і шрифтів, якщо агенту потрібен лише текст. У Playwright і Puppeteer це робиться перехопленням запитів.
• Не пускайте через проксі сторонні лічильники й рекламу, якщо вони не потрібні для завдання.
• Кешуйте сторінки, які агент уже читав, і не давайте йому відкривати одне посилання по кілька разів за завдання.
• Обмежте глибину: скільки посилань агент може відкрити за одне завдання.
• Для різних проєктів тримайте різні плани й увімкніть ліміт трафіку на добу або тиждень, щоб агент, який зациклився, не витратив увесь залишок.

Оцінити витрату заздалегідь допоможе калькулятор трафіку: вкажіть середній розмір сторінки й кількість сторінок на день. Ціни за гігабайт для кожного типу — на сторінці тарифи.

Як агенту реагувати на помилки

Модель схильна повторювати дію, доки не отримає результат. Для мережі це погана звичка: десять повторів поспіль у відповідь на помилку витрачають трафік і дратують сайт. Правила обробки помилок надійніше прописати в коді інструмента, а не залишати їх на розсуд моделі.

• Помилка 407 — проблема з логіном і паролем проксі або закінчився трафік плану. Повторювати марно, треба перевірити рядок підключення й залишок.
• Помилки 429 і 403 — сигнал зупинитися на цьому сайті й повернутися пізніше з меншим темпом.
• Таймаут — один-два повтори зі зростаючою паузою, потім пропуск сторінки.
• Порожня сторінка — перевірити, чи не потрібне для неї завантаження через браузер, а не через HTTP-клієнт.

Агент може отримувати проксі через API

Якщо агент працює сам, йому зручно брати проксі без людини. У Prokso є API для клієнтів: через нього можна дізнатися баланс і ціни, отримати список планів і рядки проксі в потрібному форматі, поставити план на паузу або відновити.

Купівля нового плану й докупівля гігабайтів через API йдуть лише з балансу, поповнення — в кабінеті. Ліміт — 60 запитів на хвилину на ключ, ключ створюється в налаштуваннях кабінету. Для агента це означає просту схему: людина поповнює баланс, а агент сам бере потрібні рядки й стежить за залишком.

Правила сайтів діють і для агентів

Агент — такий самий відвідувач, як людина чи парсер, і правила сайту для нього ті самі. Дотримуйтеся robots.txt і умов використання, тримайте розумний темп і не давайте агенту відкривати десятки сторінок за секунду. Якщо сайт відповідає 429 або 403, агент має зупинитися, а не повторювати запит.

Проксі не скасовують цих правил і не роблять агента невидимим. Частина сайтів закрита для всіх адрес сервісу — список на сторінці закриті сайти. Докладніше про спокійну роботу з лімітами — у статті як не отримати бан по IP.