Методы защиты от веб-скрапинга и как их обойти

Веб-скрапинг — это автоматизированный сбор информации с веб-сайтов. Он может быть нужен для различных задач, среди которых поиск информации, создание каталогов информации, мониторинг изменений и обновлений, а также веб-индексация. Однако веб-скрапинг (также известный как парсинг) далеко не всегда используется только для информационно-статистических целей — он также применяется в ряде других задач, часто связанных с коммерческой деятельностью:

• Сбор ценных или платных данных;
• Плагиат или же получение несправедливого конкурентного преимущества;
• Перегрузка сервера определённого сайта (как акт технической атаки);
• Снижение потоков доходов сайтов конкурентов (парсинговые боты обходят модели подписки);
• Искажение аналитик посещаемости сайтов. Поэтому владельцы сайтов внедряют защиты от парсинга, руководствуясь соображениями безопасности, юридической и коммерческой защиты.

Имеющиеся методы веб-скрапинга и пути их обхода

1. Ограничение скорости или блокировка IP. Обнаруживаются множественные и слишком частые запросы с одного IP или их диапазона (например, сотни запросов в секунду), после чего такие IP блокируются или ограничиваются в частоте запросов за единицу времени. Метод обхода:

1. Ротация IP, использование IP из разных диапазонов и гео.
2. Установление задержки запросов и случайных интервалов.
3. Внедрение случайных действий между запросами для имитации поведения человека-пользователя.

1. Фильтрация User-Agent. Выполняется блокировка подозрительных или отсутствующих HTTP-заголовков. Метод обхода:

1. Имитация настоящих заголовков реальных браузеров.
2. Периодическая смена заголовков.
3. Рандомизация строки User-Agent между сеансами доступа.

1. Выполнение Джава скриптов. Поставка данных только после полной отрисовки веб-страницы клиентским Джава скриптом, возможно, с задержками рендеринга. Метод обхода:

1. Использование headless браузеров.
2. Использование основанных на браузерах сервисов с рендерингом страниц.

1. Captcha. Выполнение задач, связанных с человеческой мыслительной деятельностью (распознавание того, что на картинках, ввод текста, выполнение вращения объектов и т.д.). Метод обхода:

1. Использование автоматизированных или гуманизированных сервисов распознания и обработки Captcha.
2. Избегание запуска сервиса Captcha имитацией человеческого поведения на страницах.
3. Использование инструментов превенции запуска сервиса Captcha.

1. Распознавание отпечатков браузера. Сбор данных и анализ свойств устройства (WebGL, канвы, шрифты, операционная система, расширения экрана и др.), с которого выполняется доступ к веб-сайту, для распознавания ботов. Метод обхода:

1. Скрытые плагины.
2. Инструменты подмены данных.
3. Использование реальных профилей браузеров с периодической их ротацией.

1. Отслеживание кукисов. Отслеживание сеансов посещений и их анализ на «человечность» поведения. Метод обхода:

1. Обработка файлов кукисов с помощью инструментов, имитирующих выполнение гуманизированного сеанса.
2. Сохранение информации о сеансах между запросами.
3. Периодическая очистка кукисов.

1. Добавка невидимых полей для заполнения и отправки форм. Скрытые поля Honeypot на веб-страницах обычно заполняются только ботами, но не людьми, что отмечает их как подозрительные. Метод обхода:

1. Анализ веб-страниц на наличие Honeypots во избежание заполнения и отправки скрытых форм.

1. Авторизация на основе токенов, специфичных для сеанса. Выдача каждому посетителю токенов для каждого уникального сеанса. Метод обхода:

1. Предварительный анализ страницы для определения наличия таких токенов, прежде чем начать отправлять запросы на сбор информации.

1. Анализ движения мыши. Обнаруживает отсутствие движений мыши или неестественное движение, нехарактерное для человека. Метод обхода:

1. Имитация натурального движения мыши, включая прокрутку и клики.
2. Использование библиотек, имитирующих естественное поведение мыши.

1. Анализ шаблонов трафика. Отслеживание частоты запросов, их последовательность, время, и другое поведение, что может свидетельствовать об автоматизации. Метод обхода:

1. Имитация реального поведения человека при углублении в дерево страниц сайта.
2. Добавление случайных задержек между запросами.
3. Сканирование страниц в непредсказуемом порядке.

Заключение

Современный веб-скрапинг далеко не всегда безобидный, поэтому сайтам важно внедрять методы защиты от него, дифференцируя между роботами и людьми-пользователями.