Потоки (одночасні з'єднання)
Потоки — кількість з'єднань, які програма одночасно відкриває через проксі.
Оновлено · Редакція Prokso
Парсер у 50 потоків відкриває 50 з'єднань одночасно і завантажує 50 сторінок паралельно. Браузер теж відкриває кілька з'єднань на одну сторінку: картинки, скрипти, стилі.
Що більше потоків, то швидше йде робота, але то більше навантаження на сайт. Якщо всі потоки йдуть на один сайт, швидко спрацює ліміт запитів.
Кількість потоків і частота запитів — різні речі. Можна мати багато потоків і невеликий темп на кожен сайт, розподіливши запити між різними сайтами. Для великих обсягів відкритих даних використовують ротацію.
У Prokso на план доступно до 1000 одночасних з'єднань. Трафік рахується за обсягом, а не за кількістю потоків.
З якої кількості потоків почати
Почніть із 5-10 потоків на один сайт і кілька хвилин стежте за відповідями. Якщо майже всі вони 200, а час відповіді не росте, додавайте потоки невеликими кроками. Щойно з'являються 429, 503 або тайм-аути, поверніться до попереднього кроку й залиште його.
| Що бачите | Що це означає | Що робити |
|---|---|---|
стабільні 200, рівний час відповіді | сайт витримує темп | можна обережно додати потоки |
429 або Retry-After | сайт просить сповільнитися | зменшити потоки, почекати вказаний час |
| дедалі більше тайм-аутів | перевантажений сайт або ваш комп'ютер | зменшити потоки, перевірити процесор і пам'ять |
Потоки й IP-адреси в Prokso
На портах 823 і 824 кожен запит отримує новий IP, тож 50 потоків — це 50 різних вихідних адрес одночасно. На порту з діапазону 10000-20000 усі потоки ділять один фіксований IP на час утримання. Якщо задачі потрібні десять стабільних адрес водночас, беріть десять різних портів — по одній sticky-сесії на кожен.
Ліміт 1000 з'єднань належить плану, а не програмі. Якщо два скрипти працюють з одним логіном плану, вони ділять цей ліміт між собою.
З'єднання і запит — не одне й те саме
Завдяки keep-alive одне з'єднання передає багато запитів поспіль, тому 20 потоків можуть зробити тисячі запитів, не відкриваючи щоразу нове з'єднання. Браузери теж обмежують з'єднання: Chrome відкриває до 6 одночасно до одного хоста по HTTP/1.1. По HTTP/2 браузер зазвичай надсилає всі запити до хоста через одне з'єднання.
Питання й відповіді
Скільки потоків ставити?
Почніть з невеликого числа і збільшуйте, поки відповіді сайту стабільні. Надто багато потоків на один сайт швидко впирається в ліміт.
Чи впливають потоки на ціну?
Ні. Оплачується трафік, а не кількість з'єднань.
Резидентські $1.59, мобільні $2.50, серверні $0.65 за 1 ГБ
Реєстрація за хвилину, доступи одразу після оплати.