Wątki (równoczesne połączenia)
Wątki to liczba połączeń, które program jednocześnie otwiera przez proxy.
Zaktualizowano · Redakcja Prokso
Parser w 50 wątkach otwiera 50 połączeń naraz i pobiera 50 stron równolegle. Przeglądarka też otwiera kilka połączeń na jedną stronę: obrazy, skrypty, style.
Im więcej wątków, tym szybciej idzie praca, ale tym większe obciążenie strony. Jeśli wszystkie wątki idą na jedną stronę, szybko zadziała limit żądań.
Liczba wątków i częstotliwość żądań to różne rzeczy. Można mieć wiele wątków i niewielkie tempo na każdą stronę, rozkładając żądania między różne strony. Przy dużych ilościach otwartych danych stosuje się rotację.
W Prokso na plan dostępnych jest do 1000 równoczesnych połączeń. Transfer liczy się według ilości danych, a nie liczby wątków.
Od ilu wątków zacząć
Zacznij od 5-10 wątków na jedną stronę i przez kilka minut obserwuj odpowiedzi. Jeśli prawie wszystkie to 200, a czas odpowiedzi się nie wydłuża, dodawaj wątki małymi krokami. Gdy tylko pojawią się 429, 503 lub przekroczenia czasu, wróć do poprzedniego kroku i przy nim zostań.
| Co widzisz | Co to znaczy | Co zrobić |
|---|---|---|
stabilne 200, równy czas odpowiedzi | strona wytrzymuje tempo | możesz ostrożnie dodać wątki |
429 lub Retry-After | strona prosi o zwolnienie | zmniejsz liczbę wątków, odczekaj podany czas |
| coraz więcej przekroczeń czasu | przeciążona strona lub Twój komputer | zmniejsz liczbę wątków, sprawdź procesor i pamięć |
Wątki i adresy IP w Prokso
Na portach 823 i 824 każde żądanie dostaje nowy IP, więc 50 wątków to 50 różnych adresów wyjściowych naraz. Na porcie z zakresu 10000-20000 wszystkie wątki dzielą jeden stały IP przez czas utrzymania. Jeśli zadanie potrzebuje dziesięciu stabilnych adresów jednocześnie, użyj dziesięciu różnych portów, po jednej sesji sticky na port.
Limit 1000 połączeń należy do planu, a nie do programu. Jeśli dwa skrypty używają tego samego loginu planu, dzielą ten limit między sobą.
Połączenie to nie to samo co żądanie
Dzięki keep-alive jedno połączenie przenosi wiele żądań po kolei, więc 20 wątków może wykonać tysiące żądań bez otwierania za każdym razem nowego połączenia. Przeglądarki też ograniczają połączenia: Chrome otwiera najwyżej 6 naraz do jednego hosta przez HTTP/1.1. Przez HTTP/2 przeglądarka zwykle wysyła wszystkie żądania do hosta jednym połączeniem.
Pytania i odpowiedzi (FAQ)
Ile wątków ustawić?
Zacznij od niewielkiej liczby i zwiększaj, dopóki odpowiedzi strony są stabilne. Zbyt wiele wątków na jedną stronę szybko trafia na limit.
Czy wątki wpływają na cenę?
Nie. Płacisz za transfer, a nie za liczbę połączeń.
Rezydencjalne $1.59, mobilne $2.50, serwerowe $0.65 za 1 GB
Rejestracja w minutę, dostęp od razu po płatności.