Проект на Яве

Требуется написать программу на ЯВЕ с интерфейсом для сбора и специальной обработки новостных статей.

Программа должна задействовать функционал двух существующих опенсорс библиотек (с хорошей документацией на английском и фидбеком от авторов). В них реализован почти весь необходимый функционал - в основном, надо будет рефакторить.

Допустим, у нас собрана коллекция из 1000 статей. Для S-Space (проги, которую я линковал) эта коллекция должна быть представлена в виде одного текстового файла, где каждая строка - это отдельный документ. Т.е. в файле будет 1000 строк.

В самом s-space есть утилиты для приведения любых коллекций к такому виду

Это типа входные данные

Остальное, насколько я понимаю, делает сам алгоритм ЛСА из класса lsa

s-space это пакет, функционал которого и нужно применять http://code.google.com/p/airhead-research/

http://code.google.com/p/airhead-research/wiki/LatentSemanticAnalysis

вот тут описание

только прога, состоящая из вызовов типа

"java -jar lsa.jar -d corpus.txt my-lsa-output.sspace" (если так можно вообще) не годится, потому что мне там потом править надо будет некоторые вещи.

Все необходимые Jar'ы должны быть импортированы в проект.

точнее не джары, а их исходники, если это не одно и то же.

я не знаком с этой пакетной структурой

в проге условно есть три части (сбор, построение пространства, кластеризация). И это надо в интерфейсе отобразить.

Сделать три вкладки-страницы, на каждой свои настройки.

На вкладке сбора страниц должны быть:

1)выбор файла с конфигом (текстовика с адресами новостных лент).

2)кнопка "собрать", которая собирает статьи

3)таблица типа датагрида, в которой отображается собранная инфа. Инфа должна включать, с какого ресурса статья, точный линк, категория (спорт, политика и т.д., если такое поле у них есть), заголовок, индикатор повтора, а также чекбокс.

4)внизу (под таблицей) должны быть кнопки "выбрать все" и "очистить выбор", которые массово чекают чекбоксы в таблице.

5) кнопка "сохранить", которая сохраняет отмеченные галками статьи в файл.

помимо файла со статьями пополняется файл с точными линками на сохраненные статьи.

Если при повторном сборе загрузится статья, которая уже была сохранена, то в таблице у нее должен быть отображаться индикатор повтора, а чекбокс не отмечен.

у всех остальных статей по дефолту чекбокс отмечен

в текстовый файл со статьями сохраняется только сам текст статьи

каждая статья - в отдельную строку

такое вроде требование к входным данным у этого s-space

По поводу ЛСА.

http://code.google.com/p/airhead-research/wiki/LatentSemanticAnalysis

В интерфейсе этого этапа должна быть следующее:

1)Возможность выбора входного файла с коллекцией. (С кноппочкой "Browse")

2)Текстовое поле "Размерность" (ключ -n на странице из линка)

3)Дропдаун "Препроцессорная обработка" с тремя вариантами (Log-Entropy, TFIdf, None). (ключ -p)

4)Текстовое поле "Количество слов в документе" (ключ -z).

5)Дропдаун "Стемминг" с вариантами "нет", "русский", "английский" (ключ -Z). Нужно убедиться, что там есть стемминг для русского языка.

6)Формат выходного файла. Там есть четыре возможных формата. Для каждого формата должен быть заведен лейбл, редактируемое текстовое поле с вписанным туда дефолтным именем и чекбокс.

Если чекбокс отмечен, то файл такого формата с таким именем создается. Файлы создаются в какой-нибудь дефолтной папке.

Дефолтные имена для форматов: result_text, result_bin, result_text_sparse; result_bin_sparse.

7)Кнопка "Старт"

вторая - webharvest http://web-harvest.sourceforge.net/

я ее уже линковал