Integracja serwerów proxy z zapytaniami w Pythonie
Integracja serwerów proxy z Pythonem, umożliwiająca wysyłanie żądań za pośrednictwem kodu. Większa anonimowość i kontrola nad połączeniami
1187
21 серпня 2023
Python i serwery proxy
Biblioteka Python Requests jest szeroko znana jako wygodne i powszechnie stosowane narzędzie do obsługi żądań HTTP/1.1. Dzięki milionom pobrań miesięcznie stała się popularnym wyborem wśród programistów. Biblioteka ułatwia zarządzanie żądaniami HTTP i odpowiedziami, eliminując konieczność ręcznego wprowadzania linii żądań do adresu URL.
Integracja serwerów proxy z bibliotekami skrapowania lub web requestów jest bardzo ważna. Korzystając z serwerów proxy, można zapobiec niechcianym blokadom adresów IP docelowych stron internetowych i zmniejszyć ryzyko związane z ujawnieniem własnego adresu IP.
Instalacja Requests jest bardzo prosta. Poniżej znajduje się instrukcja, jak zintegrować proxy z Twoim kodem.
import requests # Adres URL do zeskrobania url = 'https://www.example.com' # Zmień na adres URL docelowej strony internetowej # Konfiguracja proxy z loginem i hasłem proxy\_host = 'de-1.stableproxy.com' proxy\_port = 11001 proxy\_login = '2TYt4bmrOn\_0' proxy\_password = '2oRTH88IShd4' proxy = f'http://:@:' proxies = { 'http': proxy, 'https': proxy } # Wyślij żądanie GET za pomocą proxy response = requests.get(url, proxies=proxies) # Sprawdź, czy żądanie zostało pomyślnie zrealizowane if response.status\_code == 200: # Przetwórz treść odpowiedzi print(response.text) else: print('Żądanie nie powiodło się ze statusem:', response.status\_code)
UWAGA: Proszę, zamień i na swoje prawdziwe dane do serwera proxy, żeby kod działał z Twoim własnym loginem i hasłem do serwera proxy.
To wszystko! Włączenie serwerów proxy do bibliotek skrapowania lub zapytań jest bardzo ważne. Konfigurując serwery proxy w żądaniach Pythona, możesz z pewnością przystąpić do swoich projektów skrapowania stron internetowych, nie martwiąc się o blokowanie adresów IP czy ograniczenia geograficzne.