Сбор данных, телефонов, адресов, email, контактов, информации о компаниях и организациях
Программа BlackSpider. Универсальный сборщик данных с веб-сайтов и поисковых систем по всей wWw паутине!
Данная программа предназначена для быстрого и качественного сбора телефонов, почтовых адресов, email, контактов, информации о компаниях, организациях и других данных по всей wWw паутине! Универсальный комплекс для маркетинга и сбора данных, поиск потенциальных клиентов, для продвижения, рекламы, продажи, создания телефонных, E-Mail справочников, справочников адресов и других данных. В программу интегрирован полнофункциональный WebParser Professional для профессионального парсинга поиcковых систем.
Все, что вам нужно это ввести ключевые слова для искомой информации,
Либо ввести список ссылок и добавить их в очередь на сбор информации.
После нажатия кнопки поиск программа сама задаст команды для поиска в программу web-parser, начнет поиск сайтов и параллельно будет собирать всю необходимую информацию.
Чтобы посмотреть какие операции на данный момент выполняет парсер или для настройки его работы, нажмите в главном меню "Программа" => "Открыть Webparser"
Все это и многое другое доступно в универсальном программном комплексе для маркетинга
BlackSpider Блэк-Спайдер.
В случае парсинга справочников программа автоматически разбивает данные о разных компаниях на одной стрнице на несколько записей в каждой из которых находится информация только об одной компании.
Возможен поиск определенного признака в информации о компании, например если вы ищите компании и для отсеивания лишней информации можно использовать слово "ЗАО", "ОАО", "Режим работы" и т.д., в итоге для каждой записи будет соответствующая пометка, какое слово найдено в ней.
Готова версия со сбором данных государтвенного росреестра кадастровых инженеров.
Имеется функционал парсинга специализированных каталогов, ведутся доработки по созданию универсального парсера каталогов. На данный момент возможен парсинг контактов из каталогов Тренеров, Консультантов, Мастеров, Центров. Возможно добавление вашего каталога за дополнительную плату.
Программа значительно расширяется. Все дополнения выполняются по требованиям клиентов и в порядке приоритетов. Новые дополнения получают все клиенты абсолютно бесплатно. Возможно как платная так и бесплатная доработка функционала.
Для каждого клиента возможно выполнение доработкок касающихся функционала, поэтому мы можем обговорить нюансы и нужный вам функционал, а также рассмотреть вариант дополнения программного функционала специально под ваши нужны за дополнительную плату.
Дополнение может быть выполнено бесплатно, согласно приоритетам имеющихся заказов и планов по доработке функуионала.
Для заказа нового функционала обращайтесь в нашу службу поддержки: support@cybermake.com
Инструкция по парсингу Кадастровых инженеров РосРеестра:
Внимание для использования алгоримов Росреестра необходимо скачать архив с программой BlackSpider версии 1.0.1 Build 2 и распаковать его.
Дальнейшее обновление программы начиная с текущей верcии поддерживает автообновление программы и базы данных путем выбора пункта меню Проверить обновления в разделе меню программвы Информация.
Скачать последнюю версию программы BlackSpider вы можете по ссылке, указанной в вашей лимцензии
Обновить программу всегда можно автоматически из Главное меню -> Информация -> Проверить обновления
При парсинге использутся windows библиотеки для https соединений (ssl или ssleay.dll), которые должны быть включены в системную папку windows по умолчанию для стандартных комплектаций OS Windows.
Если бы не https соединение, то процесс парсинга был бы как минимум в 50 раз быстрее.
Поэтому не страйтесь использовать очень много потоков для парсинга Росреестра по причине того что Госсайт делает свою задержку для запросов специально от парсинга, а также из-за ограничения использования https соединений в windows.
К примеру 10 потоков может быть уже много, когда при парсинге других сайтов обычно нормой использования потоков в парсере является число потоков более нескольких сотен, в зависимости от пропускной способности канала.
Все новые алгоритмы в работе программы для Росреестра приведены ниже. Советуем внимательно их изучить перед использованием данного алгоритма.
1. Выбираем в списке алгоритмов: Алгорим 4: Росреестр. При этом полностью сменятется нижняя таблица данных.
2. Нажимает кнопку начать поиск.
2.1 Выполняется формирование всех страниц очереди на которых расположены по 10 инженеров. (Открывается сайт, ищется ссылка на Росреестр, Открывается Росреестр, запоминается сессия, Открывается первая стрнаица каталога, Ищется последняя стрница каталога, формируется очередь на парсинг)
2.2 Просмотреть текущую очередь можно нажатием на кнопку Показать очередь
2.3 Очистить текующую очередь можно нажатием на кнопку Очистить очередь
2.4 После формирования списка очереди, будет выполнен парсинг каждой из них, при этом для каждой страницы будет выполнена подгрузка еще 10 страниц с детальной информацией по инженерам. Отсюда и большая задержка по парсингу каждого запроса.
2.5 Ссылка на страницу хранится в поле URL
2.6 Ссылка на детальную информацию по инженеру хранится в поле URL детальной информации (также имеются отдельные поля PageNum – Номер страницы и ItemID – ID детальной информации)
2.7 Действующий или нет сертификат на данный момент – отображается в одноименном поле таблицы.
3. Для обновления детальных данных по инженеру необходимо нажать всплывающее меню возле таблицы данных и далее выбрать обновить выбранные данные (обновится одна текущая позиция данных по инженеру) или выбрать обновить все данные, при этом будет сформирована очередь всех URL детальной информации по инженерам и запущен парсинг данной очереди.
4. Для обновления всей страницы инженеров (10 инженеров на странице) необходимо нажать всплывающее меню возле таблицы ссылок и далее выбрать обновить выбранные данные (обновится одна текущая страница с 10 инженерами) или выбрать обновить все данные, при этом будет сформирована очередь всех URL с ссылками на страницы по инженерам и запущен парсинг данной очереди.
5. Как видно из 3 и 4 – возможна обработка 2х видов ссылок – страницы с инженерами и детальной информацией по инженеру. Все что нужно выбрать необходимую ссылку и добавить ее в очередь, все остальное программа разберет сама.
6. Алгоритм программы устроен таким образом, что формирование первоначальной очереди на парсинг описанной в пункте 2.1 выполняется только если очередь на парсинг пустая. Что является логически верным.
Например в противном случае, если бы вы обработали половину страниц каталога и решили продолжить потом, то нажали стоп. Далее в очереди находятся ссылки, но при повторном парсинге началось бы повторное формирование очереди. Именно поэтому – если очередь не пуста тогда и только тогда верен алгоритм пункта 2.1
7. Вызов всплывающего меню возможен также нажатием правой кнопки на таблицу
8. Меню вызываемые в пунктах 3 и 4 вызываются на разных таблицах (Нижней и правой соответственно)
9. Пункт меню таблицы Очистка таблицы выполняет очистку нижней таблицы. Поскольку для разных алгоритмов общими таблицами являются только Таблица списка доменов и таблица списка URL (Нижняя таблица данных является разной), то очистка верхних таблиц должна происходить если все нижние таблицы пусты. В противном случае не возможно будет использовать фильтр данных для перемещения по домену или ссылке, если верхние таблицы пусты, а нижние нет.
10. Для очистки полностью всех таблиц доменов, ссылок и данных используйте пункт всплывающего меню таблиц Очистить все данные
11. Для проверки правильности собранных данных существует кнопка проверить данные:
запускается алгоритм проверки количества данных на каждой собранной странице по росреестру.
При этом если количество данных на определенной странице будет менее 10, то данная страница будет добавлена в отображаемый список очереди.
При этом парсинг данной стрницы можно выполнив просто нажав на кнопка добавить в очередь.
12. Никогда не сменяйте положение выбранного алгоритма в процессе парсинга, программа может на ходу начать обрабатывать собранные данные по вновь смененному алгоритм.
13. При парсинге уже имеющейся страницы, будут обновлены все данные по всем инженерам текущей страницы
14. При парсинге уже имеющейся детальной информации по инженеру, будут обновлены все данные текущему инженеру
15. Если при повторном парсинге страницы с инженерами, не будет найдет инженер, то в поле Признак будет отображено: Не найдены данные.
При этом имеющиеся старые данные по инженеру не будут стреты, а так и останутся. Данные могут быть не найдены, если по имеющему инженеру в процессе обновления его Детальной информации, окажется что не существует информации по инженеру с текущим Item_id, который хранится в поле таблицы ID Детальной ифнормации
16. Для поиска всех изменений желательно запускать полный парсинг всех страниц. (пункт 2.1) Т.к. данные обновляются очень часто. А при возможности сделать резервную копию и выполнять поиск инженеров с нуля, выполнив перед поиском очистку всех данных. Но это выполняется при желании пользователя.
17. При запуске полный парсинг всех страниц (пункт 2.1) - данный режим поиска выполняет обновление только тех данных которые имеются в web-каталоге , если же они будут удалены то это не будет видно в программной базе.
Чтобы увидеть такие запсии используйтепункт 18.
18. Для поиска удаленных данных и обвноелния имеющихся детальных данных по инженеру используйте Пункт всплывающего меню таблицы данных Обновить все данные. Данный пункт меню уже описывался в пункте 3.
Для того чтобы приобрести и скачать базу кадастровых инженеров обратитесь в службу технической поддержки cybermake.
Исправления в 1.1.4.15. Обновлен WebParser Engine до последней версии. Добавлен сканер сайтов, сканер SiteMap, паук BlackSpider для поиска без поисковиков, добавлен алгоритм 2 для поиска email.
Исправления в 1.1.3.1. Обновлен WebParser Engine до последней версии. Добавлен парсинг каталога b17.
Исправления в 1.1.2.1. Обновлен WebParser Engine до последней версии. Добавлен парсинг каталогов treko.ru, samopoznanie. Обвнолениы алгоритмы сбора телефонов и email.
Исправления в 1.1.1.2. Обновлен WebParser Engine до последней версии. Добавлен парсинг каталогов и РосРеестра.
В разделе Загрузки вы можете
Скачать последнюю версию программы BlackSpider
Программа BlackSpider. Универсальный сборщик данных с веб-сайтов и поисковых систем
Cбор телефонов, почтовых адресов, E-Mail, контактов, информации о компаниях, организациях и других данных.
Универсальный комплекс для маркетинга и сбора данных, поиск потенциальных клиентов, для продвижения, рекламы, продажи, создания телефонных, E-Mail справочников, справочников адресов.
Если у вас возникли вопросы, то вы можете связаться с нами по:
С уважением,
Компания CyberMake.
