Вот есть скрипт кравлера на Си, http://larbin.sourceforge.net/index-eng.html

нужно сделать чтобы он кравлил страницы и сохранял только ссылки с них, при этом проверял соответствие ссылки на наличие слов из шаблона и имел список доменов которые кравлить вообще не нужно

т.е. сейчас программа скачивает страницы и складывает их куда то. нужно чтобы из этих страниц выдирались урлы, проверялись на соответствие слова в урле на слова из шаблона, если подходит, то сохраняет если нет то удаляем. также должен быть стоп лист доменов которые кравлить не нужно (microsoft etc)

пишите в аську.