Методы защиты от веб-скрапинга и как их обойти

Web scraping — to zautomatyzowany zbiór informacji ze stron internetowych. Może być potrzebny do różnych celów, w tym wyszukiwania informacji, tworzenia katalogów danych, monitorowania zmian i aktualizacji, a także indeksacji witryn. Jednak web scraping (znany również jako parsowanie) nie zawsze jest używany wyłącznie do celów informacyjno-statystycznych — często znajduje zastosowanie w innych zadaniach, często związanych z działalnością komercyjną:

• Zbieranie cennych lub płatnych danych;
• Plagiat lub uzyskanie nieuczciwej przewagi konkurencyjnej;
• Przeciążenie serwera określonej strony (jako akt ataku technicznego);
• Obniżenie dochodów konkurencyjnych witryn (boty parsujące omijają modele subskrypcji);
• Zniekształcanie statystyk odwiedzin witryn. Dlatego właściciele stron wdrażają zabezpieczenia przed parsowaniem, opierając się na kwestiach bezpieczeństwa, prawnych i handlowych.

Dostępne metody web scrapingu i ich obejścia

1. Ograniczenie prędkości lub blokada IP. Wykrywane są liczne i zbyt częste zapytania z jednego IP lub ich zakresu (np. setki zapytań na sekundę), po czym takie IP są blokowane lub ograniczane w częstotliwości zapytań w jednostce czasu. Metoda obejścia:

1. Rotacja IP, korzystanie z IP z różnych zakresów i lokalizacji geograficznych.
2. Ustanowienie opóźnień między zapytaniami i losowych interwałów.
3. Wprowadzenie losowych działań między zapytaniami w celu imitacji zachowania człowieka-użytkownika.

1. Filtrowanie User-Agent. Blokada podejrzanych lub brakujących nagłówków HTTP. Metoda obejścia:

1. Imitacja rzeczywistych nagłówków prawdziwych przeglądarek.
2. Okresowa zmiana nagłówków.
3. Randomizacja ciągu User-Agent między sesjami dostępu.

1. Wykonywanie skryptów Java. Dostarczanie danych dopiero po pełnym renderowaniu strony internetowej przez skrypt Java po stronie klienta, możliwe z opóźnieniami renderowania. Metoda obejścia:

1. Użycie przeglądarek bezgłowych (headless browsers).
2. Wykorzystanie usług opartych na przeglądarkach do renderowania stron.

1. CAPTCHA. Realizacja zadań związanych z czynnością myślową człowieka (rozpoznawanie obrazków, wpisywanie tekstu, obracanie obiektów itp.). Metoda obejścia:

1. Użycie zautomatyzowanych lub humanizowanych serwisów rozpoznawania i obsługi CAPTCHA.
2. Unikanie uruchamiania CAPTCHA poprzez symulację zachowania człowieka na stronach.
3. Wykorzystanie narzędzi do zapobiegania uruchomieniu CAPTCHA.

1. Rozpoznawanie odcisków przeglądarki. Zbieranie danych i analizowanie właściwości urządzenia (WebGL, canvas, czcionki, system operacyjny, rozdzielczość ekranu i inne), z którego następuje dostęp do strony, w celu rozpoznawania botów. Metoda obejścia:

1. Zakryte wtyczki (plugins).
2. Narzędzia do podmiany danych.
3. Wykorzystanie rzeczywistych profili przeglądarek z okresową rotacją.

1. Śledzenie cookie. Monitorowanie sesji odwiedzin i analiza ich pod kątem „ludzkiego” zachowania. Metoda obejścia:

1. Przetwarzanie plików cookie za pomocą narzędzi imitujących realizację humanizowanej sesji.
2. Zapisywanie informacji o sesjach między zapytaniami.
3. Okresowe czyszczenie cookie.

1. Dodanie niewidocznych pól do wypełniania i wysyłki formularzy. Ukryte pola Honeypot na stronach internetowych zazwyczaj wypełniają tylko boty, a nie ludzie, co czyni je podejrzanymi. Metoda obejścia:

1. Analiza stron internetowych pod kątem obecności Honeypots, aby unikać wypełniania i wysyłania ukrytych formularzy.

1. Uwierzytelnianie oparte na tokenach specyficznych dla sesji. Wydanie każdemu odwiedzającemu tokenów dla każdej unikalnej sesji. Metoda obejścia:

1. Wstępna analiza strony w celu wykrycia takich tokenów przed rozpoczęciem wysyłania zapytań o zbieranie danych.

1. Analiza ruchu myszy. Wykrywa brak ruchów myszy lub nieprawidłowe, nienaturalne ruchy. Metoda obejścia:

1. Imitacja naturalnego ruchu myszy, w tym przewijania i kliknięć.
2. Użycie bibliotek symulujących naturalne zachowanie myszy.

1. Analiza wzorców ruchu. Śledzenie częstotliwości zapytań, ich sekwencji, czasu i innych zachowań, które mogą wskazywać na automatyzację. Metoda obejścia:

1. Imitacja rzeczywistego zachowania człowieka podczas zagłębiania się w drzewo stron witryny.
2. Dodanie losowych opóźnień między zapytaniami.
3. Skanowanie stron w nieprzewidywalnej kolejności.

Podsumowanie

Współczesny web scraping nie zawsze jest nieszkodliwy, dlatego strony internetowe koniecznie wdrażają metody ochrony przed nim, rozróżniając roboty od ludzi-użytkowników.