Нужен парсер выдачи с Поисковиков Яндекса и Гугла. В программе можно выберать опционально какой ПС парсить ли бо же если выбраны оба то парсятся оба ПС. (или можно сделать 2 отдельных exe файла. Один под Яндекс второй под Гугл)
Нужно сделать что бы ссылки сохранялись полность., но и в тоже время происходила фильтрафиция ссылок от повторов (по имени домена). (Можно сделать что бы сохранялись домены в виде http://site.ru), а ещё лучше сделать выбор в настройках программы сохранять полностью всю ссылку или сокращать её до http://site.ru
Так же сделать блек лиск куда можно будет написать имена доменов в формате site1.ru site2.ru и они не будут заносится в список спарсеных сайтов.
Так же нужно сделать что бы программа сохраняла собранные результаты в режиме работы.
Программа должна работать в многопоточном режиме + Работа с антигейт + работа с прокси
Ключевые запросы вот такого плана
inurl:“newthread.php?do=newthread“ кей1
inurl:“newthread.php?do=newthread“ кей2
inurl:“newthread.php?do=newthread“ кей3
inurl:“newthread.php?do=newthread» кей4
inurl:“newthread.php?do=newthread“ кей5
inurl:“newthread.php?do=newthread» кей6
Нужно что бы в настройках был шаблон ссылки для парсинга то есть у Яндекса ссылка выглядит след образом.
http://yandex.ru/yandsearch?text={text}&p={page}&n...
там где {text} это подстановка ключевого слова из файла с ключевыми словами (ключевых слов может быть хоть миллион)
там где {page} это подставляется число страниц, для парсинга всей доступной выдачи Яндекса.
Такого плана шаблон ссылки нужно сделать в настройках и для Гугла.
Так же нужно реализовать возможность работы с ГЕО выдачей, то есть в программа указывать с каких конретно городов смотреть выдачу или выбрать обпределённую группу городов или все вместе.
Так же нужно сделать возможность выбора языка сайтов для Парсинга в Гугле и в Яндексе есть такая функция как «показывать русские сайты» и тп.
В самой программе сделать удобный для работы интерфейс. С отдельной вкладкой настройки
Во вкладке Настроки должны быть настройки многопоточности, Шаблон ссылки для парсинга, ввод ключа антигейт, настройка прокси.
Прокси должны работать как с указанного файла который находится на локальном компьютере так же и через ссылку.
Так же нужно сделать поля для указания Паузы между запросами (что бы можно было оптимально настроить программу под ПС что бы не получать бан от них).
Работа с антигейт и прокси. Сделать настройку лимита кол капч на 1 прокси для того что бы в случае появления капчи менялась прокси, но при этом продолжало парсить на остановившемся месте.
Оплата только после получения готового софта.
Бюджет до 100$
Необходимо консультирование в 1С пользуемся 1С:Предприятие 8.1 (8.1.15.14) "Управление торговлей", редакция 10.3 (10.3.8.9) Ищем человека который может периодически консультировать по этой проге + програмирование. Что нужно: Настроить ...
Нужно написать программу в mathlab. в программе Mathlab нужно спроектировать виртуальный цифровой эквалайзер-он же адаптивный фильтр с обратной связью, применяющийся в радиосвязи и гидроакустике. В программе необходимо показать, как эквалайзер восстанавливает исходную последовательность принятого сигнала(FSC-кодирование) ...
Учебному центру требуется разработка дистанционного обучения с "нуля". Требования: -доступность для пользователя -возможность редактирования и добавления курсов -промежуточное тестирование -удаленный итоговый экзамен Оплата - безнал. Заявки без ...
1) Создать таблицу Excel, содержащую информацию о анонсе мобильных телефонов за первое полугодие 2012 года (без картинок и тех. характеристик, просто даты, регионы, модели, производители...) . 2) Написать макрос для VBA для ...
Проект заключается в создании программы для Windows, предназначенной для обработки видео. От исполнителя требуется умение работать с DirectShow (строить графы и управлять ими; свои DirectShow фильтры писать не нужно), способность создавать несложный интерфейс на wxWidgets ...
Нужно создать приложение WPF C# по работе с договором либо доработать мой интерфейс. С возможностью сохранения в docx pdf djvu. Договор типовой, но в размерности может меняться. Могут вставляться блоки текста или удаляться блоки с ...
Есть строительный чертёж в формате JPEG или PDF. В чертеже существуют размеры, буквенно-цифровые обозначения деталей, отдельные слова примечаний. Каждый из перечисленных элементов, как аксиома, является единицей информации. Необходимо автоматизировать распознавание, подсчёт и суммирование этих единиц ...
Нужно адаптировать ранее созданную программу для автоматизации работы на сайте под ОС Windows Vista, браузеры Opera 11.52 или IE9. Также нужно немного расширить функционал.
Для реализации крупного проекта, приглашаем к сотрудничеству программиста с опытом реализации клиент-серверных приложений AD ,DropBox на С++ и Java. Задание: 1) Client server system that runs on Windows client ...
Бюджет по договоренности ПО для биллинга Есть Биллинг. Есть Интернет-магазин. 1. В биллинге генерируются ваучеры. Ваучер состоит из кода(6 цифр). Требуется к ваучеру добавить QR-код(в котором будет зашифрован этот код) ...
