Программа для парсинга и анализа сайтов WebParser
- Программа Веб-Прасер WebParser
В данном разделе вы можете просмотреть обзор программы Веб-Парсер
В разделе Загрузки вы можете
Скачать последнююю версию программы WebParser Программа для Сбора баз addnews DLE PhpBB и др.
Надоело, искать сайты для собственной базы? Новая версия программы WebParser для парсинга поисковых систем, просто задаете название новости и имя автора и программа находит все сайты на которых данный автор опубликовал данную новость. Или просто указываете любой ключевой запрос. В программе предусмотрен поиск зарубежных сайтов, использование списка прокси серверов и автосохранение. Работает с Google и Yandex. Теперь программа отлично ищет DLE, WordPress, Joomla, uCoz, phpBB движки. Также может просто выдавать вам список всех найденных ссылок, а вы анализируйте их сами. Работает очень шустро.
Это новая программа от компании CyberMake. Незаменимая программа при работе с addnews для сбора баз сайтов.
Программа для поиска баз DLE WebParser последней версии Скачать
WebParser Программа для поиска и создания баз сайтов
WebParser - это многофункциональная система для поиска и создания баз любого типа DLE, PhpBB форумы, блоги, базы для AddNews.
Программа для поиска сайтав WebParser - это удобная и не заменимая программа, для тех кому надоел постоянный поиск баз по всему интеренту, теперь программа все сделает для вас.
Если у вас версия парера с БД Обновления из программы пока не выполнять, еще не синхронизировал сервер для БД...
В БД пока только используются таблицы стран, языков, поисковиков и соответствий между таблицей языков программы и языками самих поисковиков.
Чтобы работал поисковик Google Search API и Yahoo Search API в таблице поисковиков необходите включить параметр использовать данный поисковик.
И в поле Поисковой ключ ввести ключ от Google И Yahoo в соотетствующие строки.
Нам нужны Google AjaxSearch Key и Yahoo Application ID
Для получения ключей нужно сначала зарегестрировать аккуунты.
Получение гугл ключа
http://code.google.com/apis/ajaxsearch/signup.html
либо
http://code.google.com/apis/loader/signup.html
Яху кей
Помоему эта ссылка регистрации аккуунта
http://developer.yahoo.com/wsregapp/index.php
А эта ссылка Получения ключа
https://developer.apps.yahoo.com/wsregapp/index.php
-----------
Администрация CyberMake не несет ответственности за использование вами полученных ключей в программе.
Вы можете не использовать данные ключи. Программа может парсинговать любую поисковую систему,
поисковые системы Google Search API и Yahoo Search AP добавлены в программу только в качестве демонстрации
поисковых возможностей парсингового движка компании CyberMake
Cкриншот главной формы в процессе парсинга
|
|
Программа парсингует поисковики на ссылки и находит ссылки на сайты написанные на той CMS которую вы укажите при парсинге.
Работает в неограниченном, настраиваемом количестве потоков.
Работает через список прокси и без него.
В программе предусмотрен ввод каптчи гугла и яндекса.
В программе по умолчанию включен демонстрационный режим, запрещающий ставить поисковые запросы в очередь а обработку.
Ведется активная разбота по улучшению функционала программы по советам наших пользователей. Так что не забываем оставлять и свой отзыв.
Не забывайте отписаться по программе на форуме nails.cybermake.ru или в блогх cybermake.ru/blogs... а также в разделе отзывов на сайте
Программа находит даже те сайты которые addnews при анализе определяет как не DLE и на них добавляются новости при публикации.
Настройки программы сохраняются автоматом. При закрытии нечего не сбросится.
Оптимальное время без списка прокси для парсинга 10000-12000 милисекунд
Если сайт - является дублем - его анализ даже не будет запущен и добавлен в список.
Можно писать коментарии в файле с сайтами.
Кстати напоминаю что м демке не полный функционал, список ключевых фраз из файла, автообновление и список прокси доступены только в полной версии.
Как купить смотрите раздел покупки.
В сдедующих версиях: автозаполнение поисковых запросов из любого DLE сайта,
например - пишешь ссылку на сайт с разделом музыки или публикациями всеми атора - она выбирает слова для поиска по новости и автору.
Планируется - базу данных подключить. И анализатор PR, тИЦ и посещаемости.
PR будет опрашивать в многопоточном режиме
Всем удачи и приятного постинга и парсинга.
Коротко о том как пользоваться:
Сверху поисковая фраза справа выбор поисковика
Далее ниже
слева список найденых url
справа список тех которые DLE
Первая закладка - поиск по нескольким ключевым фразам.
Подробнее:
Слева здесь очередь url найденных из поисковика на анализ. Сюда же можно вписать сайт ручками (при отключенном автоанализе иначе пока вы напишите одну букву прога попытается сразу проанализировать что это за хост...)
Можно поставить очередь на анализ без парсинга поисковика если нажать - загрузить список из файла.
Программа обрабатывает файлы в которым каждый сайт начинается с новой строки вобщем как обычно.
Справа от строки поиска выбирается поисковик. Включенная опция - поиск по гуглу, отключенная - по яндексу.
Проанализированные сайты и удовлетворяющие условию посика отображаются справа (Пока работает только поиск DLE)
Во время поиска нежелательно изменять количство разрешенных потоков, иначе могут быть серьузные проблемы.
Помоньше гасите прогу простым закрытием во время парсинга - лучше остановите. Т.к. она работает с VCL потом и создает там много потоков..
Далее после парсинга нажимаем добавить сайты в файл.
Пути к файлам устанавливаютя в настройках - относительно пути exe файла.
Если нужна каптча то дожно высветится окно. Если не высветилось и ниче не ищетя нажимаем закладку проверка соединения и жмеме кнопку и вводим открышуюся каптчу. Помоему окно каптчи не всегда само появляется. (исправлю в след.) версии
Слева устанавливаем количество максимальное потоков для поисковых систем - а справа для анализаторов сайта.
Количество стрниц которые мы просматриваем - т.е. глубина поиска устанавливается на закладки настройка.
Там же есть включение прокси для поисковика
Размер страницы так же можно установить - т.е. сколько сайтов отображать на одной странице поиска - не ставьте сиьльно много - иначе поисковик долго грузится )))
Время ожидания между поиковыми запросами ставьте в 10000-12000 (это 10-12 секунд) милисекунд если у вас нет списка прокси.
В полной версии:
Загрузить список поисковых запросов из файла.
Парсинг списка поисковых фраз.
Поиск выполняется с постоянным чередованием поисковиков, что вменьшает вероятность появления каптчи.
После поиска фраза удаляется из списка. Список автоматом сохраняется в файл
Полное чередование прокси сервера из списка
В статусе программы видно сколько фраз обработано сколько осталось, сколько ссылок найдено, какие отобраны и т.д
На закладке логи ведется лог последних 100 запросов
Программа для поиска сайтав WebParser - это удобная и не заменимая программа, для тех кому надоел постоянный поиск баз по всему интеренту, теперь программа все сделает для вас.
По ссылке выше можно скачать последнюю версию приложения.
Если у вас возникли вопросы, то вы можете связаться с нами по:
С уважением,
Компания CyberMake.
