Описание парсера
Content Downloader:
Content Downloader – профессиональная программа, предназначенная для парсинга любой информации с любых русскоязычных или англоязычных сайтов (где это вообще возможно):
– Парсинг интернет-магазинов (с выводом данных в CSV формат)
– Загрузка Google картинок по списку ключевиков в разные папки
– Парсинг статей с картинками и файлами (например, файлами торрентов, флеш-игр или рефератов)
– Сбор любых ссылок с сайта, которые отвечают заданным фильтрам (до 1 миллиона)
– Парсинг любой части кода с любой введенной в программу (или собранной программой) ссылки
– Парсинг контента с закрытых источников (где требуется авторизация)
Content Downloader полностью универсален! Перечислять полный список его применений нет смысла, так как он ограничен лишь только вашей фантазией.
Принцип работы Content Downloader очень удобен, эффективен и прост: указываете программе с каких частей веб-страниц (кусков кода) брать данные и в каком формате их выводить.
Варианты сохранения данных:
– В один файл/в несколько файлов
– Расширения: CSV (с любыми колонками, которые вы сами задаете), htm, txt, php, MySQL
– Возможность отправки данных в базу MySQL сразу при парсинге
Также в программе есть возможность создать xml файл импорта для WordPress из файлов htm или txt с диска компьютера.
Поддерживаемые кодировки парсинга: Windows-1251, koi, utf-8
Поддерживаемые кодировки сохранения контента: Windows-1251, utf-8, utf-8 без BOM
Парсер Content Downloader имеет множество дополнительных возможностей, вот некоторые из них:
– Многопоточность
– Авторизация через передачу cookies из IE или через POST-Запрос
– Возможность задать любые cookies
– Возможность задавать любой user agent (даже менять их при парсинге)
– Возможность использовать список прокси без авторизации
– Возможность задавать паузу между запросами
– Возможность обработки данных прямо в процессе парсинга
