Соединение
Данная вкладка содержит настройки для HTTP протокола. Они используются для получения страниц из Интернета.
Порт - это порт доступа к сайтам. Стандартное значение 80 и его не рекомендуется изменять.
Следовать инструкциям файла "robots.txt" - при включении этой опции Atomic Lead Extractor не станет исследовать запрещенные страницы указанные в файле "robots.txt" размещенном на обрабатываемом сервере. Файл "robots.txt" - стандарт исключений для роботов, описание ограничения доступа к содержимому поисковым роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt).
Ограничения по загрузке ссылок (ограничение активности) - включение настройки следующих параметров:
Общее число потоков загрузки - это число одновременно обрабатываемых страниц. Значение по умолчанию 2. Если у вас современный компьютер и быстрое Интернет-соединение, то вы можете увеличить значение, в противном случае уменьшение этого значения оптимизирует скорость поиска.
1 запрос в ... секунд - это период времени, в течение которого Atomic Lead Extractor ожидает ответа сервера. Его следует увеличить, если ваше Интернет-соединение медленное (что актуально для отечественных линий).
Идентифицировать как (user agent) - это строка, которая используется Atomic Lead Extractor`ом при загрузке страниц с сайтов для поиска. Она определяет название и версию браузера. Рекомендуемые значения "Mozilla", "Opera" или другой браузер, в этом случае сайты будут "считать", что их просматривают с использованием браузера.
Дополнительные разделы
Начало работы с Atomic Lead Extractor