Методы защиты от веб-скрапинга и как их обойти

Web scraping — to zautomatyzowany zbiór informacji ze stron internetowych. Może być potrzebny do różnych zadań, wśród których są wyszukiwanie informacji, tworzenie katalogów informacji, monitorowanie zmian i aktualizacji, a także indeksacja webowa. Jednak web scraping (znany również jako parsering) nie zawsze jest używany wyłącznie do celów informacyjno-statystycznych — często jest stosowany również w innych zadaniach, często związanych z działalnością gospodarczą:

• Zbieranie cennych lub płatnych danych;
• Plagiat lub uzyskiwanie nieuczciwej przewagi konkurencyjnej;
• Przeciążenie serwera określonej strony (jako akt ataku technicznego);
• Obniżenie przepływów dochodów konkurencyjnych stron (boty parserujące obchodzą modele subskrypcji);
• Zniekształcanie statystyk odwiedzalności stron. Dlatego właściciele stron wdrażają zabezpieczenia przed parserowaniem, kierując się względami bezpieczeństwa, prawnymi i handlowymi.

Dostępne metody web scrapingu i ich obejścia

1. Ograniczenie prędkości lub blokada IP. Wykrywane są liczne i zbyt częste zapytania z jednego IP lub ich zakresu (np. setki zapytań na sekundę), po czym takie IP są blokowane lub ograniczane w częstotliwości zapytań w jednostce czasu. Metoda obejścia:

1. Rotacja IP, używanie IP z różnych zakresów i geo.
2. Wprowadzenie opóźnień zapytań i losowych interwałów.
3. Wdrożenie losowych działań między zapytaniami w celu naśladowania zachowania użytkownika.

2. Filtracja User-Agent. Wykonywane jest blokowanie podejrzanych lub brakujących nagłówków HTTP. Metoda obejścia:

1. Naśladowanie prawdziwych nagłówków rzeczywistych przeglądarek.
2. Cykliczna zmiana nagłówków.
3. Losowa zmiana ciągu User-Agent między sesjami dostępu.

3. Wykonywanie skryptów Java. Dostarczanie danych tylko po pełnym renderowaniu strony internetowej przez skrypt Java klienta, możliwe z opóźnieniami renderowania. Metoda obejścia:

1. Użycie przeglądarek headless.
2. Użycie usług opartych na przeglądarkach z renderowaniem stron.

4. Captcha. Wykonywanie zadań związanych z czynnościami poznawczymi człowieka (rozpoznanie tego, co jest na obrazkach, wpisanie tekstu, wykonanie obrotu obiektów itp.). Metoda obejścia:

1. Użycie zautomatyzowanych lub zhumanizowanych serwisów rozpoznawania i obsługi Captcha.
2. Unikanie uruchamiania captcha przez imitację zachowania ludzkiego na stronach.
3. Wykorzystanie narzędzi zapobiegających uruchomieniu Captcha.

5. Rozpoznawanie odcisków przeglądarki. Zbieranie danych i analiza właściwości urządzenia (WebGL, canvas, czcionki, system operacyjny, rozdzielczość ekranu itp.), z którego wykonywany jest dostęp do strony, w celu wykrycia botów. Metoda obejścia:

1. Tajne wtyczki.
2. Narzędzia do podmieniania danych.
3. Użycie prawdziwych profili przeglądarek z okresową rotacją.

6. Śledzenie plików cookies. Śledzenie sesji odwiedzin i ich analiza pod kątem „ludzkiego” zachowania. Metoda obejścia:

1. Obsługa plików cookies za pomocą narzędzi imitujących przeprowadzenie zhumanizowanej sesji.
2. Zapisywanie informacji o sesjach między zapytaniami.
3. Cykliczne czyszczenie cookies.

7. Dodanie niewidzialnych pól do wypełniania i wysyłania formularzy. Ukryte pola Honeypot na stronach internetowych są zazwyczaj wypełniane tylko przez boty, a nie przez ludzi, co oznacza je jako podejrzane. Metoda obejścia:

1. Analiza stron internetowych pod kątem Honeypots, aby zapobiec wypełnianiu i wysyłaniu ukrytych formularzy.

8. Autoryzacja oparta na tokenach specyficznych dla sesji. Przyznanie każdemu odwiedzającemu tokenów dla każdej unikalnej sesji. Metoda obejścia:

1. Wstępna analiza strony w celu wykrycia obecności takich tokenów przed rozpoczęciem wysyłania zapytań o dane.

9. Analiza ruchu myszy. Wykrywa brak ruchów myszy lub nienaturalny ruch, niecharakterystyczny dla człowieka. Metoda obejścia:

1. Naśladowanie naturalnego ruchu myszy, w tym przewijania i kliknięć.
2. Użycie bibliotek symulujących naturalne zachowanie myszy.

10. Analiza wzorców ruchu. Śledzenie częstotliwości zapytań, ich kolejności, czasu i innych zachowań, które mogą wskazywać na automatyzację. Metoda obejścia:

1. Naśladowanie rzeczywistego zachowania człowieka podczas zagłębiania się w strukturę strony.
2. Dodanie losowych opóźnień między zapytaniami.
3. Skany stron w nieprzewidywalnej kolejności.

Podsumowanie

Nowoczesny web scraping nie jest zawsze nieszkodliwy, dlatego strony internetowe powinny wdrażać metody ochrony przed nim, rozróżniając roboty od ludzi użytkowników.