WebCrawler - веб-комбайн
Одна из программ-монстров, предназначение которой мне до конца так и не понятно :)
Программа умеет скачивать сайты используя АПИ Offline Explorer, дальше идет обработка скаченных страниц, смена доменов, надписей и пр. пр. пр., фактически комбайн для копирования сайта.
Могу писать про нее очень долго и мучительно, я лучше покажу changelog:
Требования
=================
- Windows 2000 или выше (Для Win2K вам необходимо иметь установленную библиотеку GDI+)
- 64 Mb ОЗУ
- 8 Mb Video
- Keyboard
- Mouse, touchpoint device
О разработчике
=================
MMM_Corp, [email protected] (Инкогнито Николай)
Delphi 2010 + DevExpress + + EurekaLog
История версий
=================
1.2.0.944 [01.09.2010]
* визуальный баг в 5.1
1.2.0.943 [20.08.2010]
* фильтр 5.1
1.2.0.942
* футер действий по середине
* переход на новую версию визуальных компонентов
* вроде поправил фильр главной страницы
1.2.0.941
* вроде поправил мистическую багу
1.2.0.936
* поддержка большых проектов
1.2.0.933
* главная страница
1.2.0.932
- убрал лишние кнопка транслитов в настройках
- убрал лишнюю закладку с настройки обработки проектов
1.2.0.931
* немного изменил панель "ошибки обработки" (подвести мишку к панельке, закрептьь можно кнопкой что тыкал)
+ пересчет размера папки
1.2.0.930
* поправлен фильтр главной страници
1.2.0.929
* исправлени мелкые баги в фильтре главной страници
1.2.0.928
* исправлен мелкий баг при удалении мусора
* исправленна потенциальная утечка памяти, при фильтре главной страници
* главная страница 5.3, 5.4
1.2.0.927
* главная страница 5.1, 5.2
1.2.0.926
* замена запрещщених символов
1.2.0.925
* замена запрещенних расширений
1.2.0.924
* замена запрещенных расширений
1.2.0.923
* надписи на замену запрещенных расширений
- убрана ненужная колонка
+ фильтр 3 теперь обрабатывает запрещенные расширения, убирает расширение указанное в запрещенных расширениях в расширении файла вместе с точкой (файл становится без расширения)
+ с переименованием файлов справляется и фильтр также називающейся
+ переименование файлов перемещон в конец фильтров
1.2.0.922
+ фильтр запрещенные расширения (работа продолженна)
+ таблица настройки тегов
+ теперь и папки уже обрабатываются
+ реализованна обработка кода
* исправлен механизм запуска фильтров на более безопасний
* оптимизирован поиск файлов при фильтре запрещених расширений
1.2.0.921
+ фильтр запрещенные расширения (операции над файлами с '@' и ' ')
1.2.0.920
+ фильтр приведения в нижний регистр файлов и папок
* теперь все настройки приводятся при обработке в нижний регистр (*nix-хак)
1.2.0.919
* более коректная проверка параметров при переносе файлов/папок
+ переименование файлов (указывается без маски, только расширение, напр. "txt", "doc" и т.д.), к сожалению работа через маску не так то просто сделать(
1.2.0.918
* обработка кода, теперрь обрабативает даже если нет ниодного файла в проекте
+ возможность вибирать фильтри обработки кода
+ переименование файлов по маске (пока не работает)
* код обработки переписан на более безопасный и устойчивый
* исправленна потенциальная проблема падения программы при закритии окна настройки обработки кода и программы
1.2.0.917
+ обработка кода (удаление мусора, транслит имен файлов и папок, при том что папки траслитятся только тот кусок что идет внутрь папки проекта)
* мелкие правки при запуске обработки
+ настройка мусора (+поддерживает маски)
+ настройка транслитерации (есть возможность добавлять в конец таблици записи, думаю для одного "_25" можно такое и сделать)
1.2.0.915
* действие к помеченным
+ обработка кода, реализовано транслитерация имен файлов
+ кнопки редактирования в настройках файлов транслитерации
1.2.0.914
* опять правим переделки
1.2.0.913
* просмотр "О программе" в Windows 7
* обработка файлов и папок, заменил длинние надписи на иконки (а то много места занимало)
+ опциональное удаление записи при успешном переносе
- удаление файла Descr.wd3 при переносе, перенесу его удаление на обработку кода
* поле обработки кода перенесено с отдельного поля в поле действие
* поправленни оптимизацыя, футери, группы, установка действия, загрузка списка, пометка списка, нумерацыя и т.д. (ненавижу переделки)
* отрисовка группы
1.2.0.912
* специфическая утечка памяти при закритии программы
* оптимизирована обработка файлов и папок
* удаление и перенос файлов и папок при обработке
* ошибка при загрузке и вигрузке скинов
+ хот-комбинации для оптимизации, обработке, свернуть, развернуть, просмотр папки
* теперь коректно удаляется мусорные файлы descr.wd3 (любой регистр названия), при переносе удаляется
* перенос пустых проектов
1.2.0.911
* произведен переезд на новую версию бибилиотеки компонентов, пришлось чинить некоторые вещи (
* исправленна утечка памяти при работе скинов
* слои новой версии (пришлось повозится)
1.2.0.910
+ реализован перенос в обработке файлов
1.2.0.909
* оптимизировано очищение списка проектов
+ пункт главного меню "О программе"
* баг неправильной пометки на уделание
* баг неубываемого окна оптимизации проектов при востановлении с трея
+ оптимизировна отрисовка таблицы при обработке проектов (мельканий теперь меньше, и обрабатывает заметно быстрее)
* зависание при обработке проектов
* отмена обработки проектов теперь дорабатывает текущый проект только потом останавливается
+ нумерацыя строк, експериментальная (ручная, чтоб не тормозила программа), а то будет тормозить на каждый пук
+ кнопки свертывания и развёртивания груп (для полного щастья)
1.2.0.908
* правки мелких багов
* аварийный выход с программы в настройках
* отмена при обработке проектов (експериментальный вариант)
1.2.0.907
* попытка исправить не верное выделение при згарузке списка
1.2.0.906
* исправленны баги прорисовок
1.2.0.905
* операция с файлами, всяческые пометки, подстветки и т.д.
* оптимизацыя проектов при свернутой программе в трей
* оптимизировал вывод данных при оптимизации
+ "будут обработаны", запланированны проекти на обработку
+ "ждут обработки", заблокированные записи, те над которым трудится обработка (может и лышнее будет, пока оставлю)
1.2.0.904
* футер действий
* удаление проектов
* немного оптимизированн код обработки файлов
1.2.0.900
* завершение потоков теперь происходит коректно при выходе
1.2.0.899
* оптимизацыя проектов
* размер проекта при ошибках удаления
+ реализовано удаление проектов
+ изменён формат хранения данных в БД
! остается баг с еперрисовкой футера действий... (как же он меня зае...)
! остается неясно как перерисововать грид при все розвернутом списке групп...
* создание/уничтожение потоков обработки проектов
* оптимизация проектов, баг с завершением потока
+ поле и панель для хранения логов обработки проектов (для ошибок покачто, пригодится)
+ наконецто реализованни автоблокировки при обработке проектов
+ поправил данные данные по группе, добавив виртуальное поле в таблицу сразу для формирования выда группы
+ роскраска действия
* если нет вложенной папки то пустые квадратные скобки не выводяься
* обновление системы безопасности
* видимость в статус-баре 1 и 3 ячейки (фаворит и интренет мониторинг)
* поле "действие" вместо выпадающего списка обзавелось радио-группой
+ настройка подстветки размера
+ просмотр URL (замена поля просмотр)
+ просмотр папки (замена поля просмотр)
+ поле "Статус действия", идея в том чтобы в 1 поле показывать прогрес выполнения и значки статуса
* название управление -> метка в загрузке УРЛ (что более логично)
! № в работе с файлами и папками (пока не понятно как побороть глюк, откладываю на потом)
+ кнопка удаления подстветки
* посдсветка УРЛ-ов в списке
+ ИМХО, мусорную фичу под список загружаемого УРЛ
1.2.0.898
+ обработка файлов, просмотр списка УРЛ
+ обработка файлов, выбор действия при загрузке УРЛ
+ раскраски всякие
+ статус действий в виже 3 пар чисел
+ поле для выбора папки для переноса
- легенду (она нам не понадобится, только место занимает)
* нет необходимости в лишных полях, напр. действие выделил в 1 поле, там же картинка есть и можно сразу менять его значение также
можно клавишами, что ещё быстрее
* переход на более безопасный StringList -> ThreadStringList (может незначительно снизить скорость работы программы)
* завершение потоков при изменении параметров и завершении работы программы, мелкая ошыбка
+ дефолтные значения в настройках
- отключил проверку на существование папки в настройках
* небольшая ошыбка при старте/стопе потока
- лишнаяя картинка в настройках
* менее аварийный но более коретктный выход с программы через "настройки" и команду трея
1.2.0.897
* исправленна безопасность распределения ресурсов потоков
* завершение потоков при изменении параметров и завершении работы программы
1.2.0.896
* исправленны недочёты в работе потоков
* для наглядности отключенны элементы настроек чтобы было выдно что уже работает а что не реализовано
1.2.0.854
! мониторинг интернет-подключения и папки "Избранное" ещё отлажывается
* исправленны незначительные багы интерфейса и опечатки
* при оптимизации папки теперь проверяется по полю "URL обрабативаемого проекта" на уникальность внесения данных
* оптимизирован механизм применения новых настроек
+ программа "похудела" на 520 Кб за счёт предидущего пукнта
* в срочном порядке была произведена миграцыя на другые средства хранения данных в связы с предидущей ошыбкой
! утечка памяти при закритие пула на БД, при закритии программы (баг не выяснен, ведутся переговоры с разработчиком бибилиотеки)
* главное меню изза проблем с скиновкой возвращено на старый лад, ждем новых версий скиновки
- небольшая чистка ядра от мусора и фейковых функцый
* утечка памяти при закритии программы
* работа с настройками полностью переделана
* активацыя окна загрузок URL
* исправленно главное меню, теперь оно дейстительно главное меню (тиц. F10, Ctrl+F6)
* совместимость валиадаторов и системы отлова багов
* уменшен вес программы, а также занимаемой ею памяты за счёт выноса скинов в отдельную DLL
+ запланированно на будущые сборки - выбор роскрасок для стилей (в далеких планах)
* в очередной раз переделан механизм работы с потоками
* исправлен интерфейс в настройках
* проведенна чистка интерфейса для более быстрой работы
* устраненно неправильное распределение памяти при загрузке системы безопасности
* скины теперь жывут автономно, подключаютя с DLL-ки (если конечно есть DLL-ка)
+ добавленно множество новых настроек: интерфейс, мониторингы, интервал мониторингов, приоритеты потоков
* иник русифыкации "Дев" встроен в екзешнык
1.2.0.697
+ отправка ельф-файла+скриншот
- скиновку, пожывем пока без нее, программа заметно быстрее начала работать
* мелкые опечатки
+ в связы с нестабильной работой системных функцый windows, добавленна настройка папка "Избранное"
1.1.0.638
* коректное создание/удаление потоков
+ критическые секции для большей безопасности потокового кода
* значительно ускоренно завершение программы (експериментально)
* ускоренн запуск программы за счёт позднего запуска мониторинга папки "Избранное"
* мониторинг папки "Избранное" переписан под потобезопасный лад, в отдельном потоке теперь
* исправленны многочисленные потенцыальные ошибки при потокобезопасной оптимизации папки
* при добавлении данных в таблицу, после оптимизации папки, проверяется на уникальность данные (по полному пути к проекту)
+ вложенная папка теперь показывается в выде полного пути а в формате "[МЕСЯЦ][Вложенная папка][Объединены]"
* потокобезопасное добавление данных в БД при оптимизации папки, медленее но надежнее
* оптимизировано оптимизация папки
* полностью переделан механизм создания и работы потока при оптимизации папки
* улучшено создание папок при оптимизации папок
+ Тб, Пб-байты включены в вывод обемов ))), но дальше гигабайт не заходить лучше (не проверялось)
+ улучшен вывод ошибок при оптимизации папок
1.1.0.562
* создания окна отображения прогресса
+ заполнение таблицы
+ очистка списка
+ групперы для вложеных папок (а также вес папок, и к-во элементов в каждой группе) и суммированный результат
+ красный шрифт при обеме="0 байт"
* блокирование таблицы при добавление записей
* создние окна оптимизации каталогов теперь более коректное
1.1.0.530
* оптимизация папок
* удаление папки при их оптимизации
1.1.0.440
* оптимизирован механизм оптимизации папки
+ более коректноые сообщения ошибок при оптимизации папок
* исправленна обёртка удаления папок со всем содержжимым
* оптимизация папок
+ дерево каталогов в оптимизацыю папок
+ унифицыровани надписи типов состадаваэмых папок
* выбор папки/файла после перехода
* переход на новую версию компонентов
1.1.0.242
* однопроходное оптимизирование папки
* оптимизировано создание окна оптимизации папки
* оптимизировать в один момент времени можно только одну папку, поскольку дисковые и процесорные ресурсы задейстованы по максимуму
- окно оптимизации не закривается, если в нем есть ошибки
+ логирование ошибок оптимизации
+ оптимизацыя папки
* механизм поиска файлов, доработан и оптимизирован
+ оптимизацыя папки выделена в отдельный поток )
+ полупрозрачность для оптимизации папки
+ значительное уменьшение занимаемой памяти при сворачивании в трей
1.1.0.0
+ начата работа над модулем работи с файлами и папками
1.0.0.1106
* фильтрацыя и надписи при обединеии ячеек
* загрузка урлов, поправлен баг с импортом и фильтром
* баг, если рабочая папка корень диска, убран лишный слеш
+ диалог настроек переделан, добавлены проверки заполнения полей
1.0.0.1068
* создание папок, теперь генерируется их имени архива
* очистка содежимого папки избранных тепер удаляет и папки
! доступность фильтра если не было загруженно данных пока не работает, буду копать позже
* названия месяцев теперь идут с большй букви, а не как раньше все большые
+ усилена проверка целестности программы
* сворачивание/разворачивание с трея
* набор данных для создания папок и ярлыков тепер учитывает фильтрацыю
+ доступность кнопок и элементов в загрузке URL
+ папка избранное автоматически сканируется раз в 5 секунд
1.0.0.992
* название создаваемой папки
* более рационально размещёны список созданных и не созданных папок
+ возвращенна кнопка "очистить список сайтов"
* орфоошыбки
* оптимизирована прорисовка при создлании папок
* номер по порядку
+ поле "статус" теперь видно всегда не зависимо от выбранного фильтра
* название сгенерированого ярлыка обзавелось префиксом типа
1.0.0.948
* исправлена вложенность папок при распаковке
+ версия в главном окне программы
+ управление
+ ручной импорт и создание папок
+ показ статуса создания папки в таблице
1.0.0.884
* распаковка
* обёртка диалогов выбрать файл/папку
+ обёртка статусных сообщений
* прозрачное сохранение для настроек
* ошибки распаковке при загрузке УРЛов
+ главная папка создается, статус создания отображается в окне загрузок УРЛов
* исправлены ошибки в окне настроек
1.0.0.600
+ переделан механизм профилей (альфа)
+ нашол в интернете свалку иконок, теперь то можно розгулятся)
+ работает Удалить содержимое папки "Избранное", Загрузка адресов
* поправлен бар главной формы (аля меню)
* бари теперь действительно статичные
* к-во ярлыков, и его внутренний список папки "Избранное" вынесен в статус бар, можно даблкликом обновлять, оптимизировано
1.0.0.579
+ обёртка работы над архивами (Архивирование / разархивирования: 7z, ZIP, GZIP, BZIP2 и TAR
Только разархивирование: ARJ, CAB, CHM, CPIO, DEB, DMG, HFS, ISO, LZH, LZMA, MSI, NSIS, RAR, RPM, UDF, WIM, XAR и Z.)
можно апдейтить в будущем, при выпуске новых версий, СПАСИБО сообществу 7-zip за прекрасную прогу)
+ обертка для всех диалогов вида выбрать файл/папку, монолитное обращение
* оптимизировано скан папки "Избранное"
* мгновенное переключение окон
* движок для работы с внутренней БД серйозно доработан, быстродействие поднялось больше чем в 3 раза!!!)
+ парсер месяцев
+ "Настройки" полностью работают, кроме шаблонов, здесь ещё надо ТЗ покурить хорошенько
+ включен мощный режим отладки и отлова багов
+ трей, (сворачивание при закрытии оставил на потом)
+ автозагрузка
1.0.0.0
первая версия :)