Необходим PHP скрипт обработчик большого количества текстовых файлов.

Каждый файл содержит ~100000 строк данных, таких файлов ~10000.

Формат входных данных в строке email:text

Необходимо:

1. автоматизировать массовый импорт

2. ключевое поле - Email

3. исключить дублированные записи

4. иметь возможность отсортировать записи по домену принадлежности email (например выбрать все @ukr.net итд)

4 года назад
BreezeE_OU
Руслан 
75 лет
5 лет в сервисе
Был
4 года назад

Заявки фрилансеров

Дмитрий
 
47 лет
4 года в сервисе
Был
3 месяца назад
2 отзыва
4 года назад
Алексей
 
35 лет
4 года в сервисе
Был
4 года назад
3 отзыва
4 года назад
Дмитрий
 
33 года
11 лет в сервисе
Был
2 месяца назад
47 отзывов
4 года назад