Скрипт отлова захода ботов поисковых систем

Техническое задание на разработку скрипта по учету посещения страниц роботами поисковых систем.

Основная суть скрипта - показ когда заходил поисковый бот на каждую страницу сайта. Как это выглядит в моем представлении:

1. На каждой странице сайта размещается определенный элемент (скрипт вроде счетчика посещений), который не виден посетителям.

2. Этот скрипт фиксирует заход бота яндекса и google по user agent-у, все остальные заходы (посетителей или другие поисковые системы) игнорируются.

3. Зафиксировав заход бота, скрипт отправляет информацию в базу данных (можно MySQL) о точном времени захода, с точностью до минуты.

4. Пользователь скрипта (админ или вебмастер) создает специальную страницу (тут два варианта, либо страница должна иметь уникальное название, например page-1254-bot-fixed.php либо должна быть доступной по паролю, что бы обезопасить от постороннего посетителя информацию). В эту страницу внедряется код, который будет показывать информацию взятую с БД в виде таблицы. То есть на этой странице пользователь будет видеть все результаты посещения ботами страниц.

Сама таблица выглядит таким образом (см приложение). Там представлен порядковый номер страницы, url страницы (без домена для экономии места), графа "яндекс" в которой указывается время посещения ботом яндекса, графа "google" в которой показано время захода бота google на каждую конкретную страницу и графа "удалить" которая позволяет удалить страницу (строку) из списка.

Размер таблицы фиксированный - 900px (как на картинке). Здесь же необходимо предусмотреть пагинацию, каждый 100 строк появляется новая страница.

Все графы должны иметь функцию упорядочивания, по убывания и по возрастанию.

5. Хранение информации в БД только в виде последнего посещения, то есть постоянно обновляется. В случае если посещения не было то показывать нули (00.00.00 - 00:00). Это может произойти если скажем страницу посетил бот googla, но пока не посетил бот яндекса.

Здесь же нужно отметить, что страницы в списке появляются после того как их посетил один из ботов. Иными словами зашел бот на страницу - информация отправилась в БД и создалась строка с новым url и информацией. Если же страница (строка была удалена ранее, то она создается вновь с обновленными данными.

Вот в принципе и все. Основные три момента (элемента)

1. Скрипт который "отлавливает" заход бота поисковой системы (внедряется на каждую страницу или на те страницы которые пожелает пользователь).

2. База данных в которой хранится и обновляется вся информация.

3. Таблица для вывода информации в удобочитаемом виде.

Если есть вопросы - обращайтесь в ЛС. Хочу добавить, что очень вероятно, что этот скрипт будет усовершенствоваться и дополняться поэтому работа не "разовая".