Нужен помощник-программист и энтузиаст data mining с научно-исследовательскими целями. Решается проблема нашего технократического общества, в котором технологии опережают реальные потребности людей.

Дано:

Собранный объем информации за определенный период в виде статей с таксономией.

Задача:

Сделать выводы и прогнозы, обнаружив закономерности и тренды

Решение:

Нужно проанализировать статьи на % повторяющихся слов и словосочетаний. Результат нужен в виде не просто отсортированных ключевых слов, а группы статей, объединенные по их типу. То есть это похоже на задачу кластеризации.

Основное, что требуется для ее решения, — написать функцию расстояния, которая на вход принимает пару заказов и на выходе дает число, показывающее, насколько они похожи. Например, 1, если это одна и та же задача, и 0, если между ними нет ничего общего. Если что-то общее есть, то какое-то значение где-нибудь между 0 и 1. Есть разные алгоритмы кластеризации, которые, используя эту функцию расстояния, смогут объединить близкие задачи в одну группу.

Чтобы такую функцию написать тоже может потребоваться перебрать несколько вариантов. Для начала можно смотреть на количество одинаковых слов в текстах статей. Слова можно взвешивать, чтобы часто употребляемые имели меньший вес (TF-IDF). Возможно, у текста статей есть какие-то особенности, которые помогут построить более точную функцию расстояния.

10 лет назад
rewiaca
34 года
15 лет в сервисе
Был
5 лет назад

Заявки фрилансеров

Нет заявок фрилансеров
  • Похожие заказы

  • Написание приложения клиент-сервер для использования VPN сервиса, с методом оплаты в виде просмотра рекламы. 1. Клиент 1.1 Клиентское приложение должно представлять собой windows openvpn клиент, с вшитой конфигурацией для подключению к VPN серверу. ...

    Закрыт
    10 лет назад
  • есть готовая задача сделанная в Excel, ее необходимо реализовать в IBM ILOG CPLEX

    Прикладное ПОнет заявок
    Закрыт
    10 лет назад
  • Кратко теория. Кузнецов в своей книге "Биоритмы человека" изложил теорию трех ритмов (физического, эмоционального, интеллектуального). У каждого ритма свой период изменения (в днях): Физического - 23,688437 Эмоционального ...

    Прикладное ПО1 исполнитель
    Завершен
    10 лет назад
  • Нужен программист работающий с winapi. Для распространение через установочную оболочку (установка дополнительного ПО при установке основного продукта) нужен билдер .exe файлов, сам exe файл должен менять стартовую страницу браузера на указанную. Страница задается в билдере ...

    Закрыт
    10 лет назад
  • Нужен генератор html шаблонов. Цветовая схема берется на основе http://www.colorschemer.com/online.html Шаблоны 2-3 столбика, верстка фикс. Рандомный css. Сам генератор я писал на ZennoPoster, но мне нужно удобный десктопный вариант. А в таком ...

    Закрыт
    10 лет назад
  • Если вкратце, то нужен регистратор фрихостинга на определенном движке. И дальнейшая заливка файлов в аккаунт через ftp. Примеры страниц регистраторов фрихостинга: http://prohosts.org/signup.php http://celtichost.net/signup.php Таких хостингов ...

    Закрыт
    10 лет назад
  • Доброй ночи! Надо сделать приложение для виндоуз: - чтобы в нем грузилась определенная страница и обновлялась там на весь экран. - если пропадает интернет, то замирает страница, как есть, пока ...

    Прикладное ПО1 исполнитель
    Завершен
    10 лет назад