Нужен скрипт PHP, который будет вытягивать урлы сайтов (всего ~ 4млн. сайтов) из каталога и записывать их столбиком в файле all.txt
+ возможность вытягивать определенное количество урлов (указывать кол-во обрабатываемых страниц) из каждой категории (всего 16 категорий)
+ автоматическое удаление ненужных параметров в урле (http://www.adres.com/index.htm должен преобразовываться в adres.com)
+ сортировка на дубликаты в файле all.txt
+ возможность разделить файл all.txt на файлы (1.txt, 2.txt итд) с определенным количеством строк с урлами в каждом файле (например по 5000)
+ возможность ручной остановки работы скрипта
Ко всему этому админский интерфейс.