Proxy dla agentów AI: kiedy są potrzebne i jak je podłączyć

Agenci AI coraz częściej sami wychodzą do sieci. Jeden otwiera przeglądarkę i porusza się po stronie jak człowiek. Drugi dostaje od modelu adres strony i pobiera ją zapytaniem HTTP. Trzeci przegląda setki dokumentów, żeby później odpowiadać na ich podstawie na pytania.

Dla strony każdy z nich wygląda jak zwykły odwiedzający albo jak robot – zależnie od tego, jak go skonfigurowano. Poniżej: kiedy agent potrzebuje proxy, kiedy nie, jak je podłączyć i jak pilnować zużycia transferu.

Rodzaje agentów, które czytają strony

Agenci przeglądarkowi sterują prawdziwą przeglądarką przez Playwright lub Puppeteer. Klikają, wypełniają pola i przechodzą kilka kroków po kolei. Taki agent ładuje całą stronę razem ze skryptami i obrazkami.

Narzędzia do czytania stron to funkcja, którą model wywołuje, gdy potrzebuje tekstu spod linku. Zwykle jest to klient HTTP: requests, httpx lub podobny. Pobiera tylko HTML, bez obrazków, więc zużywa mało transferu.

Kolektory RAG przeglądają strony i zapisują dokumenty w bazie, z której model potem odpowiada. W gruncie rzeczy to scraper, tyle że wynik trafia do wyszukiwania dla modelu. Jeśli Twoim zadaniem jest właśnie zbieranie danych do trenowania i testowania modeli, opisaliśmy to w osobnym scenariuszu: zbieranie danych dla AI.

Kiedy agent naprawdę potrzebuje proxy

Proxy nie jest obowiązkowym elementem agenta. Przydaje się w kilku konkretnych sytuacjach:

• Treść zależy od kraju. Agent sprawdza ceny, dostępność lub wyniki wyszukiwania tak, jak widzi je kupujący w Polsce czy w Niemczech, a nie tam, gdzie stoi serwer.
• Trzeba rozłożyć obciążenie. Agent czyta wiele stron, a wszystkie zapytania z jednego adresu serwera trafiają na limity stron.
• Potrzebna jest stabilna sesja. Agent loguje się na konto i przechodzi kilka kroków, a strona musi widzieć tego samego odwiedzającego.
• Serwer agenta stoi w centrum danych, a niektóre strony nie wyświetlają treści adresom z centrów danych.
• Zadania trzeba rozdzielić. Różni klienci lub projekty działają na różnych planach, a zużycie każdego widać osobno.

Kiedy można się bez niego obejść

Jeśli agent od czasu do czasu otwiera ogólnodostępne strony z Twojego kraju, a strony odpowiadają normalnie, proxy nic nie wnosi. Podobnie ze stroną, która ma oficjalne API: agentowi prościej i pewniej jest pobierać dane przez nie.

Proxy nie jest też potrzebne do zapytań do samego modelu językowego. Podłącza się je do tej części agenta, która chodzi po stronach, a zapytania do API modelu idą bezpośrednio.

Jeśli nie masz pewności, uruchom agenta bez proxy na kilkunastu typowych zadaniach. Zobacz, gdzie strony odpowiadają błędami, captchą lub treścią z niewłaściwego kraju. Właśnie do tych zadań podłącz proxy, a resztę zostaw bez zmian.

Jak podłączyć proxy do agenta

Proxy podłączasz nie do modelu, lecz do części sieciowej agenta: do klienta HTTP lub do przeglądarki, którą steruje. Linia połączenia wszędzie jest taka sama: protokół, login, hasło, host gw.prokso.com i port. Wygenerujesz ją w potrzebnym formacie w generatorze w panelu klienta.

Wygodnie jest tworzyć jeden klient lub kontekst przeglądarki na zadanie i przekazywać go wszystkim narzędziom agenta. Wtedy wszystkie kroki zadania na pewno przejdą przez to samo proxy, a nie przez przypadkowy zestaw połączeń.

Po podłączeniu sprawdź adres: niech agent otworzy stronę mój IP i zwróci kraj oraz adres, które zobaczył. Jeśli kraj się nie zgadza, błąd jest w linii połączenia albo w wybranym kraju.

Rotacja czy stały adres w zadaniach agenta

Logika jest tu taka sama jak u ludzi i scraperów, tyle że agent przechodzi kroki szybciej. Jeśli adres zmieni się w trakcie logowania na konto, strona zobaczy jednego użytkownika w różnych miejscach w ciągu minuty i poprosi o weryfikację.

• Zadanie wieloetapowe na jednej stronie: port sticky od 10000 do 20000. Trzyma jeden adres od 1 do 120 minut, domyślnie 30. Ustaw czas z zapasem na całe zadanie.
• Wiele niezależnych stron w różnych serwisach: rotacja, port 823 dla HTTP lub 824 dla SOCKS5, nowy adres przy każdym żądaniu.
• Kilka agentów równolegle: każdy dostaje własny port sticky, żeby ich sesje się nie nakładały.
• Długie zadania na adresach rezydencjalnych lub mobilnych: pamiętaj, że adres może zmienić się wcześniej, jeśli urządzenie wyjdzie z sieci. Port dostanie nowy adres w tym samym kraju i dobrze, jeśli agent potrafi wtedy kontynuować krok, zamiast kończyć się błędem.

Więcej o trybach w słowniku: sesja sticky i proxy rotacyjne.

Budżet: na co agent zużywa transfer

Transfer w Prokso liczy się w obu kierunkach: zarówno to, co agent wysłał, jak i to, co odebrał. Dla narzędzia HTTP pobierającego tylko HTML to niewiele. Agent przeglądarkowy ładuje całą stronę, a większość transferu idzie na obrazki, wideo, fonty i skrypty reklamowe.

• Wyłącz ładowanie obrazków, wideo i fontów, jeśli agent potrzebuje tylko tekstu. W Playwright i Puppeteer robi się to przez przechwytywanie żądań.
• Nie puszczaj przez proxy zewnętrznych liczników i reklam, jeśli zadanie ich nie wymaga.
• Zapisuj w pamięci podręcznej strony, które agent już przeczytał, i nie pozwalaj mu otwierać tego samego linku kilka razy w jednym zadaniu.
• Ogranicz głębokość: ile linków agent może otworzyć w jednym zadaniu.
• Trzymaj osobne plany dla różnych projektów i włącz dzienny lub tygodniowy limit transferu, żeby agent, który utknął w pętli, nie zużył całego salda.

Kalkulator transferu pomoże z góry oszacować zużycie: wpisz średni rozmiar strony i liczbę stron dziennie. Ceny za gigabajt dla każdego typu znajdziesz w cenniku.

Jak agent powinien reagować na błędy

Model ma skłonność do powtarzania działania, aż dostanie wynik. W sieci to zły nawyk: dziesięć ponowień z rzędu w odpowiedzi na błąd marnuje transfer i irytuje stronę. Pewniej jest zapisać zasady obsługi błędów w kodzie narzędzia, zamiast zostawiać je modelowi.

• Błąd 407: problem z loginem i hasłem proxy albo w planie skończył się transfer. Ponawianie nie ma sensu; sprawdź linię połączenia i saldo.
• Błędy 429 i 403: sygnał, żeby zatrzymać się na tej stronie i wrócić później w wolniejszym tempie.
• Przekroczenie czasu (timeout): jedno lub dwa ponowienia z rosnącą przerwą, potem pomiń stronę.
• Pusta strona: sprawdź, czy nie trzeba jej ładować przez przeglądarkę zamiast klienta HTTP.

Agent może pobierać proxy przez API

Jeśli agent działa samodzielnie, wygodnie jest, gdy pobiera proxy bez udziału człowieka. Prokso ma API dla klientów: przez nie sprawdzisz saldo i ceny, pobierzesz listę planów i linie proxy w potrzebnym formacie, a także wstrzymasz lub wznowisz plan.

Zakup nowego planu i dokupienie gigabajtów przez API są opłacane wyłącznie z salda; doładowania robisz w panelu klienta. Limit to 60 żądań na minutę na klucz, a klucz tworzysz w ustawieniach panelu klienta. Dla agenta oznacza to prosty układ: człowiek doładowuje saldo, a agent sam pobiera potrzebne linie i pilnuje salda.

Zasady stron obowiązują także agentów

Agent jest odwiedzającym tak samo jak człowiek czy scraper i obowiązują go te same zasady strony. Przestrzegaj robots.txt i regulaminu, trzymaj rozsądne tempo i nie pozwalaj agentowi otwierać dziesiątek stron na sekundę. Jeśli strona zwraca 429 lub 403, agent musi się zatrzymać, a nie powtarzać żądanie.

Proxy nie znoszą tych zasad i nie czynią agenta niewidzialnym. Niektóre strony są zamknięte dla wszystkich adresów usługi: listę znajdziesz na stronie zablokowane strony. Więcej o spokojnej pracy z limitami w artykule jak uniknąć bana IP.