Требуется написать парсер логов огромный объемы ГИГАБАЙТЫ, для сбора статистики
Логика сложная:
1) Очишаем по USER AGENT всех ботов
2) По IP КЛИЕНТА вычишаем тех, кто посетил более 15 продуктов
3) Считаем по каждому ID продукту кол-во просмотров УНИКАЛЬНО на каждлый IP (То есть каждому продукту засчитываем только 1 просмотр)
Парсеров много нужно будет писать таких, нужен профессионал с опытом работы по написанию таких парсеров
Сервер на Freebsd
Писать результаты нужно будет в mysql
Писать на С или каких то аналогах чтобы парсер летал
Прием проекта будет таким образом:
Даю лог, 1 ГБ, запускам парсер и смотрим:
а) top сервера чтобы он не ушел в даун ни по диску ни по процу (На этапе доложен быть разбити парсер)
б) устойчивость и четкость подсчета статистики(Чтобы не получилось так что не записав в базу статисткиу, он обрубил свое выполнени)
Аськ 9975 44
Здравствуйте уважаемые фрилансеры. Необходимио создать программку тренажер 1.програмка exe. 2.програмка делает арифметическеи вычисления с четырмя значениями сразу: +,-,*,\. 3.програмка работает на время: 1 минута. 4.програмка ...
Требуется программист, имеющий опыт и знания работы с такими архиваторами как: TAR,BZIP2,GZIP,ACE,UPX,ASPACK,FSG,PEC,ISCAB,PET,ZIP,RAR3 (RAR v.3),CHM,FSG2 (FSG v.2),PDIM, (PeDiminisher v. 0.1),YODA (Yoda v. 1.2 compressor) Необходимо, доработать библиотеку, которая осуществляет просмотр и распаковку ...
Необходимо комплексное решение по созданию процессинга платежных карт (сперва подключаем VISA, затем MASTERCARD) рассматриваются различные варианты по нагрузоустойчивости (как на базе бесплатных субд c последующей модернизацией, так и на базе платных oracle, аналогично по ...
Есть многоугольник (массив точек) необходима фнкция которая разрежет его на прямоугольники и треугольники с максимальной площадью - по вертикали и по горизонтали. т.е. в результате варианты - разреза. Детали при переписке
Есть база Торговля и склад 7.7. есть пустая база УТ 11 8.2 есть пять файлов в екселе каждый файл содержит информацию о загружаемых документах нужно будет именно из экселя ...
Программа для быстрого удаления русских букв и лишних символов из txt документа
Нужна программа на делфи реализующая генетические алгоритмы. Можно разбить на следующие этапы-подпрограммы: 1) Генетические алгоритмы Программа генерирует набор случайных битовых строк, по определенным алгоритмам выбирает пары, по определенным алгоритмам ...
Требуется: создание плана помещения(несколько этажей) с возможностью его дальнейшего редактирования, далее необходимо рассчитать и отобразить оптимальную траекторию прокладки кабеля(точки откуда и куда вести задаются вручную) и подсчитать его длину. Красивое оформление приветствуется.
Требуется программист для напииания процесса получения html element, и последующего перехода по ссылкам рекламных компаний гугла, яндекса, сейп и т.д. в компоненте webbrowser. Вот что-то подобное: HtmlElementCollection links = webBrowser1.Document.GetElementsByTagName("A"); (Получение ...
Есть сайт на drupal 7 Необходимо разработать модуль для импорта и экспорта прайса из exele. На каждый товар будет от 1 до 10 фото, необходимо придумать, как их тоже импортировать. Вариант ...
