Резидентські чи серверні проксі: що обрати

Резидентські та серверні проксі розв'язують одне завдання — підміняють вашу адресу на іншу. Різниця в тому, звідки ця адреса береться і як на неї дивляться сайти. Від цього залежить, чи пройде ваш запит з першого разу і скільки ви заплатите за кожен гігабайт.

Нижче — чим відрізняються два типи, як сайти їх розпізнають і як обрати під конкретне завдання без зайвих витрат.

Звідки беруться адреси

Резидентську (її ще називають резидентною) адресу видає домашній інтернет-провайдер — той самий, через якого ви дивитеся серіали й перевіряєте пошту. За такою адресою стоїть реальний пристрій: комп'ютер або телефон людини, яка погодилася ділитися з'єднанням через застосунок-партнер. Докладніше — у глосарії: резидентський проксі.

Серверна адреса, вона ж датацентрова, належить дата-центру або хостинг-компанії. Такі адреси видають серверам, а не людям: їх багато, вони стоять поруч в одних підмережах, а власник мережі вказаний у відкритих реєстрах. Докладніше — серверний проксі.

Як сайт відрізняє один тип від іншого

Кожен блок адрес в інтернеті закріплений за власником — автономною системою з номером ASN. За цим номером видно, хто видав адресу: домашній провайдер, мобільний оператор чи дата-центр. Бази з такими даними доступні всім, і перевірка триває частки секунди.

Далі кожен сайт вирішує сам. Інтернет-магазин може спокійно віддавати сторінки будь-яким адресам. Соцмережа може показати капчу або вимагати підтвердження входу, якщо бачить дата-центр. Пошуковик може сповільнити відповіді, якщо з однієї підмережі надходить забагато запитів.

Крім власника мережі, сайти дивляться на сусідів адреси. Серверні адреси йдуть блоками в одній підмережі, і якщо з цих блоків приходить багато однотипних запитів, сайт може обмежити одразу всю підмережу. Домашні адреси розкидані між різними провайдерами й районами, тому таке масове блокування їх майже не зачіпає.

Тож питання не в тому, який тип «кращий», а в тому, чи перевіряє конкретний сайт тип адреси і наскільки суворо.

Порівняння за головними параметрами

Коли вистачить серверних

Серверні адреси вигідні там, де сайт не прискіпується до походження запиту, а обсяг великий. Типові випадки:

• збір відкритих даних із сайтів без суворого захисту: каталоги, дошки оголошень, довідники;
• перевірка доступності та швидкості своїх сайтів з різних країн;
• завантаження великих обсягів, де кожен гігабайт помітний у бюджеті;
• тести й налагодження скриптів, перш ніж запускати їх на дорогому трафіку;
• робота з API, які обмежують кількість запитів з однієї адреси, але не перевіряють тип адреси.

Серверні проксі зазвичай стабільніші: сервер не вимикають на ніч і не виносять із зони покриття. Якщо завдання довге і сайту байдуже, хто до нього прийшов, це плюс. Докладніше про тип — на сторінці серверні проксі.

Коли потрібні резидентські

Резидентські адреси потрібні там, де сайт чекає живу людину і перевіряє це:

• вхід в акаунти соцмереж, маркетплейсів, рекламних кабінетів;
• сайти із захистом від ботів, які віддають дата-центрам капчу або помилку;
• перевірка реклами й видачі так, як їх бачить звичайний користувач у потрібному місті;
• моніторинг цін на сайтах, які показують ботам інші ціни або порожні сторінки;
• завдання з точним вибором місця: регіон, місто або провайдер.

Резидентський пул найширший за географією, і в розширеному режимі можна обрати не лише країну, а й регіон, місто або провайдера. Докладніше — на сторінці резидентські проксі.

Ціна помилки в обидва боки

Взяти резидентські там, де вистачило б серверних, — означає переплатити за кожен гігабайт. Для великого збору даних різниця в бюджеті буває в рази.

Взяти серверні там, де сайт їх фільтрує, обходиться дорожче, ніж здається. Трафік витрачається на капчі й помилки, скрипт робить повторні запити, а частину даних так і не зібрано. Дешевий гігабайт, витрачений на помилки, зрештою коштує дорожче.

Три хибні уявлення про типи проксі

«Серверні — це погані проксі». Ні, це проксі під інші завдання. Для сайтів без суворої перевірки вони працюють так само, як резидентські, лише дешевше і з рівнішим з'єднанням. Поганими їх робить тільки невідповідне завдання.

«Резидентські проходять скрізь». Домашня адреса знімає одне питання — звідки прийшов запит. Але сайт дивиться ще на браузер, cookies, частоту запитів і поведінку. Якщо скрипт відкриває сто сторінок за секунду, його зупинять і на резидентській адресі.

«Що дорожча адреса, то швидше». Радше навпаки. Сервер у дата-центрі підключений до магістральних каналів, а домашній пристрій — до звичайного тарифу провайдера. Резидентські беруть не за швидкість, а за довіру сайтів.

Як перевірити вибір за годину

1. Почніть із серверних: купіть невеликий обсяг і запустіть завдання на 100–200 сторінок.
2. Подивіться на відповіді. Нормальні сторінки — серверних вистачає. Капчі, помилки 403 і порожні відповіді — сайт фільтрує дата-центри.
3. Повторіть той самий прогін через резидентські й порівняйте частку успішних відповідей.
4. Порахуйте вартість однієї успішної відповіді, а не одного гігабайта. Оцінити обсяг допоможе калькулятор трафіку.

Якщо завдань кілька, дайте відповідь на три запитання в підборі проксі — він підкаже тип під кожне.

Ротація і фіксована адреса — в обох типів

Тип адреси і режим її зміни — різні налаштування. І резидентські, і серверні в Prokso працюють у двох режимах: нова адреса на кожен запит або одна адреса на певний час. Для цього є порти від 10000 до 20000: кожен тримає одну адресу від 1 до 120 хвилин. Докладніше — у глосарії: ротаційний проксі і sticky-сесія.

Для збору даних зазвичай беруть ротацію: кожен запит іде з нової адреси, і навантаження розподіляється по пулу. Для акаунтів — фіксовану адресу на час сеансу, щоб майданчик не бачив, як користувач щосекунди переміщується.

Як це влаштовано в Prokso

Обидва типи оплачуються за гігабайти, без підписки, і куплений трафік не згорає. Кожен тип — окремий план зі своїм логіном, паролем і залишком, тому їх зручно тримати паралельно під різні завдання. Ціни за гігабайт для кожного типу — на сторінці тарифи.

Якщо серверні адреси проходять, але сайт іноді все одно просить підтвердження, перевірте, чи збігаються часовий пояс і мова браузера з країною адреси. Перевірити, як вас бачить сайт, можна на сторінці мій IP.