Как настроить прокси в Octoparse - Простая поэтапная инструкция

Описание Octoparse

Octoparse - это эффективное средство для скрапинга данных, которое предоставляет пользователю возможность просто собирать общедоступные данные без необходимости использования кода. Этот инструмент предлагает ряд функций, таких как автопрокси и установка времени сеанса, чтобы обойти системы, препятствующие скрепингу. Octoparse использует передовые алгоритмы машинного обучения для быстрого распознавания и извлечения данных с сложных сайтов. Это инструмент в состоянии обрабатывать различные виды данных, включая текст, ссылки, URL-ы изображений и HTML.

Вот пошаговые указания, как настроить параметры прокси cредствами Octoparse:

1. Скачайте и установите Octoparse со сайта-разработчика. Запустите приложение после его установки.
2. В верхнем левом углу нажмите "+New" для создания нового задания. Среди предложенных опций выберите "Custom Task".
   
3. Введите URL-адрес страницы, откуда хотите выгрузить данные, в поле для ввода URL. К примеру, возьмем сайт "books.toscrape.com". Далее нажмите кнопку Save.
   
4. После того, как страница загрузится, нажмите на кнопку "Settings" в правом верхнем углу.
   
5. Найдите внизу секцию под названием "Anti-block settings".
6. Отметьте галку напротив "Proxy Server Enable". В этом случае появятся настройки для прокси и кнопка "Configuration".
   
7. Нажмите кнопку Configuration и откроется всплывающее окно. Скопируйте и вставьте адреса своих прокси-серверов от stableproxy в соответствующее поле. Адреса должны быть приведены в формате IP:PORT.
   Rotating residential proxies:
   IP Selection: Укажите адрес для вращающихся прокси. Например, мы выберем адрес de-1.stableproxy.com
   
8. Установите таймер переключения, исходя из типа сессии и вашего предпочтения.
9. Чтобы сохранить изменения, нажмите кнопку Confirm.
10. Чтобы проверить проведенную интеграцию с Octoparse, убедись, что в разделе "Anti-block settings" перед кнопкой "Configuration" стоит галочка.
11. Чтобы сохранить изменения, нажмите кнопку Save.
12. Вы вернетесь на основной экран страницы, которую анализируете.
13. Нажмите на иконку с похожей на лампочку картинкой, чтобы открыть ее и выбрать, нужно ли переходить по страницам или включить прокрутку.
14. Когда выберите опцию, нажмите на "Create workflow".
    
15. Выберите элемент на странице, который хотите анализировать, например, "Mystery". Нажмите на него и выберите "Extract the text of the selected element".
16. Появится всплывающее окно. В правом верхнем углу нажмите "Save" и затем "Run".
17. В появившемся окне опубликованы возможные варианты. Заджайте выбор на наиболее подходящий для вас (возможно, для некоторых вариантов потребуется оплата). В нашем случае, мы выберем "Local Extraction" и "Standard Mode".
    
18. Откроется новая страница, где начнется процесс скрапинга. Нужный вам процесс вы сможете приостановить и возобновить, когда потребуется.
19. Так как это лишь пример, мы остановимся. Подтвердите остановку запуска.
20. Вам отобразится статистика по вашему заданию. Выберите, когда экспортировать данные: сейчас или позже; в этот раз мы выберем "сейчас".
21. Последнее всплывающее окно предложит вам выбрать формат данных для извлечения.
22. Выберите наиболее подходящий формат данных.

Готово! Теперь ваше устройство настроено и готово к работе; целевая задача: расширенный сбор данных с веб-страниц с помощью Octoparse.