Требуется разработка сервиса, который крутился бы непрерывно на сервере, сканировал бы все web-страницы, включая динамические, строго определенных сайтов, искал бы там определенную информацию и заносил в базу данных MySQL.

Не спам, не реклама и не прочие гадости. При этом в базу должна также поступать информация о всех посещенных страницах, чтобы граббер не лазил по одним и тем же страницам одного сайта.

В настоящий момент такое решение у нас уже есть, оно написано на Python, но сожалению имеет ряд выраженных недостатков. Хотелось бы создать решение, которое не есть много памяти, перебирает как динамиические, так и статические страницы сайтов.

Обязателен многопоточный режим, желательно чтобы сервис мог одновременно собирать информацию с *** сайтов.