Методы защиты от веб-скрапинга и как их обойти

Веб-скрапинг — это автоматизированный сбор информации с веб-сайтов. Он может потребоваться для различных задач, среди которых поиск информации, создание каталогов данных, мониторинг изменений и обновлений, а также веб-индексация. Однако веб-скрапинг (также известный как парсинг) далеко не всегда используется только в информационно-статистических целях — он также применяется в ряде других задач, часто связанных с коммерческой деятельностью:

• Сбор ценных или платных данных;
• Плагиат или получение несправедливого конкурентного преимущества;
• Перегрузка сервера определённого сайта (как акт технической атаки);
• Снижение доходов конкурентов через парсинговых ботов, обходящих модели подписки;
• Искажение аналитики посещаемости сайтов. Поэтому владельцы сайтов внедряют защиты от парсинга, руководствуясь соображениями безопасности, юридической и коммерческой защиты.

Методы веб-скрапинга и способы их обхода

1. Ограничение скорости или блокировка IP. Обнаруживаются множественные и слишком частые запросы с одного IP или их диапазона (например, сотни запросов в секунду), после чего такие IP блокируются или ограничиваются в частоте запросов за единицу времени. Метод обхода:

1. Ротация IP, использование IP из разных диапазонов и геолокаций.
2. Установка задержки между запросами и случайных интервалов.
3. Внедрение случайных действий между запросами для имитации поведения человека-пользователя.

1. Фильтрация User-Agent. Выполняется блокировка подозрительных или отсутствующих HTTP-заголовков. Метод обхода:

1. Имитация настоящих заголовков реальных браузеров.
2. Периодическая смена заголовков.
3. Рандомизация строки User-Agent между сессиями.

1. Выполнение JavaScript. Поставка данных только после полной отрисовки веб-страницы клиентским JavaScript, возможно, с задержками рендеринга. Метод обхода:

1. Использование headless браузеров.
2. Использование основанных на браузерах сервисов с рендерингом страниц.

1. Captcha. Выполнение задач, связанных с человеческой мыслительной деятельностью (распознавание изображений, ввод текста, вращение объектов и т.д.). Метод обхода:

1. Использование автоматизированных или гуманизированных сервисов распознавания и обработки Captcha.
2. Избегание запуска сервиса Captcha имитацией человеческого поведения на страницах.
3. Использование инструментов предотвращения запуска Captcha.

1. Распознавание отпечатков браузера. Сбор данных и анализ свойств устройства (WebGL, канвас, шрифты, операционная система, расширения экрана и др.), с которого осуществляется доступ к сайту, для распознавания ботов. Метод обхода:

1. Скрытые плагины.
2. Инструменты подмены данных.
3. Использование реальных профилей браузеров с периодической их ротацией.

1. Отслеживание кукисов. Отслеживание сеансов посещений и их анализ на «человечность» поведения. Метод обхода:

1. Обработка файлов кукисов с помощью инструментов, имитирующих гуманизированный сеанс.
2. Сохранение информации о сеансах между запросами.
3. Периодическая очистка кукисов.

1. Добавление невидимых полей для заполнения и отправки форм. Скрытые поля Honeypot на веб-страницах обычно заполняются только ботами, а не людьми, что отмечает их как подозрительные. Метод обхода:

1. Анализ веб-страниц на наличие Honeypots для избегания заполнения и отправки скрытых форм.

1. Авторизация на базе токенов, специфичных для сеанса. Выдача каждому посетителю токенов для каждого уникального сеанса. Метод обхода:

1. Предварительный анализ страницы для определения наличия таких токенов перед началом отправки запросов на сбор информации.

1. Анализ движения мыши. Обнаруживает отсутствие движений мыши или неестественное движение, нехарактерное для человека. Метод обхода:

1. Имитация естественного движения мыши, включая прокрутку и клики.
2. Использование библиотек, имитирующих естественное поведение мыши.

1. Анализ шаблонов трафика. Отслеживание частоты запросов, их последовательности, времени и других признаков автоматизации. Метод обхода:

1. Имитация реального поведения человека при углублении в структуру страниц сайта.
2. Добавление случайных задержек между запросами.
3. Сканирование страниц в непредсказуемом порядке.

Заключение

Современный веб-скрапинг далеко не всегда безобидный, поэтому сайтам важно внедрять методы защиты от него, различая роботов и настоящих пользователей.