Методы защиты от веб-скрапинга и как их обойти

Web scraping — to zautomatyzowany zbiór danych z witryn internetowych. Może być potrzebny do różnych zadań, w tym wyszukiwania informacji, tworzenia katalogów danych, monitorowania zmian i aktualizacji, a także indeksowania stron internetowych. Jednak web scraping (znany również jako parsowanie) nie jest zawsze wykorzystywany tylko do celów informacyjno-statystycznych — znajduje zastosowanie także w szeregu innych zadań, często związanych z działalnością komercyjną:

• Zbieranie cennych lub płatnych danych;
• Plagiat lub uzyskanie nieuczciwej przewagi konkurencyjnej;
• Przeciążenie serwera konkretnej strony (jako akt ataku technicznego);
• Obniżenie przychodów stron konkurencji (boty parsujące obchodzą systemy subskrypcji);
• Zniekształcanie analiz ruchu na stronach internetowych. Dlatego właściciele stron wdrażają zabezpieczenia przed parsowaniem, kierując się kwestiami bezpieczeństwa, ochrony prawnej i handlowej.

Dostępne metody web scrapingu i sposoby ich obejścia

1. Ograniczenie prędkości lub blokada IP. Wykrywane są wielokrotne i zbyt częste zapytania z jednego IP lub ich zakresu (np. setki zapytań na sekundę), po czym takie IP są blokowane lub ograniczane w częstotliwości zapytań w jednostce czasu. Metoda obejścia:

1. Rotacja IP, używanie IP z różnych zakresów i lokalizacji geograficznych.
2. Ustalanie opóźnień między zapytaniami i losowych interwałów.
3. Wprowadzanie losowych działań między zapytaniami w celu imitatowania zachowania ludzkiego użytkownika.

1. Filtracja User-Agent. Blokada podejrzanych lub brakujących nagłówków HTTP. Metoda obejścia:

1. Immitacja prawdziwych nagłówków prawdziwych przeglądarek.
2. Okresowa zmiana nagłówków.
3. Losowa zmienność linii User-Agent między sesjami dostępu.

1. Wykonywanie skryptów JavaScript. Dostarczanie danych dopiero po pełnym wyrenderowaniu strony internetowej przez skrypt JavaScript po stronie klienta, możliwe z opóźnieniami renderowania. Metoda obejścia:

1. Użycie przeglądarek bez głowy (headless browsers).
2. Użycie usług opartych na przeglądarkach z renderowaniem stron.

1. Captcha. Wykonywanie zadań związanych z działalnością poznawczą człowieka (rozpoznawanie tego, co jest na obrazkach, wprowadzanie tekstu, wykonywanie obrotu obiektów itp.). Metoda obejścia:

1. Użycie zautomatyzowanych lub ucyfrowionych usług rozpoznawania i obsługi Captcha.
2. Unikanie uruchamiania systemów Captcha poprzez symulację zachowania ludzkiego na stronach.
3. Użycie narzędzi zapobiegających uruchomieniu Captcha.

1. Rozpoznawanie odcisków przeglądarki. Zbieranie danych i analiza właściwości urządzenia (WebGL, canvas, czcionki, system operacyjny, rozszerzenia ekranu itp.), z którego odbywa się dostęp do witryny, w celu rozpoznania botów. Metoda obejścia:

1. Ukryte wtyczki.
2. Narzędzia do podmieniania danych.
3. Użycie prawdziwych profili przeglądarek z okresową rotacją.

1. Śledzenie plików cookies. Monitorowanie sesji odwiedzin i analiza ich pod kątem "ludzkiego" zachowania. Metoda obejścia:

1. Przetwarzanie plików cookies przy użyciu narzędzi imitujących realizację humanizowanej sesji.
2. Zapisywanie informacji o sesjach między zapytaniami.
3. Okresowe czyszczenie plików cookies.

1. Dodanie niewidzialnych pól do wypełniania i wysyłania formularzy. Ukryte pola Honeypot na stronach internetowych zwykle są wypełniane tylko przez boty, a nie przez ludzi, co czyni je podejrzanymi. Metoda obejścia:

1. Analiza stron internetowych pod kątem Honeypots, aby uniknąć wypełniania i wysyłania ukrytych formularzy.

1. Autoryzacja oparta na tokenach specyficznych dla sesji. Przydzielanie każdemu odwiedzającemu tokenów na każdą unikalną sesję. Metoda obejścia:

1. Wstępna analiza strony w celu wykrycia takich tokenów przed rozpoczęciem zbierania danych.

1. Analiza ruchu myszy. Wykrywa brak ruchów myszy lub nieprawidłowy, nienaturalny ruch dla człowieka. Metoda obejścia:

1. Imitacja naturalnego ruchu myszy, w tym przewijania i kliknięć.
2. Użycie bibliotek symulujących naturalne zachowanie myszy.

1. Analiza wzorców ruchu sieciowego. Śledzenie częstotliwości zapytań, ich kolejności, czasu i innych zachowań mogących świadczyć o automatyzacji. Metoda obejścia:

1. Imitacja rzeczywistego zachowania człowieka podczas zagłębiania się w strukturę strony internetowej.
2. Dodanie losowych opóźnień między zapytaniami.
3. Skanowanie stron w nieprzewidywalnej kolejności.

Podsumowanie

Współczesny web scraping nie zawsze jest bezpieczny, dlatego strony internetowe muszą wdrażać metody ochrony przed nim, odróżniając roboty od prawdziwych użytkowników.