Написать парсер (граббер)

Нам нужны данные по топовым игрокам игры World of Warcraft.

Топовые игроки измеряются различными метриками в зависимости от того, в чем они крутые, но в данном случае наша метрика – это кол-во очков внутриигровых достижений.

Вот на этом сайте есть полный список игроков, где Rank – это их позиция, определяемая количеством достижений (тот у кого больше всех – на первом месте). Character – имя персонажа. Guild – гильдия в которой он состоит. Realm – игровой сервер, на котором находится персонаж, Ach. Points – количество очков внутриигровых достижений.

www.wowprogress.com/apoin...

www.wowprogress.com/apoin...

Нас интересуют EU и US регионы, собственно 2 вышеприведенных ссылки – это таблица топ игроков по очкам достижений на EU и US.

Нам необходимо спарсить по 50 000 позиций из каждой вкладки. Причем если нажать на любого персонажа из этого списка – откроется страничка, на которой указаны дополнительные персонажи данного игрока. Например если открыть www.wowprogress.com/apoin... и там нажать на первую позицию (персонаж Метатроша) – откроется эта вкладка www.wowprogress.com/chara... , где можно увидеть дополнительный список его персонажей Alts and Transfers (Alts and Transfers: Метавоин (Азурегос), Метаохотник (Азурегос), Метахвостик (Азурегос), Метапаладин (Азурегос), Метарыцарь

(Азурегос)).

Нам нужны по 50 000 позиций с каждой вкладки, и все персонажи игрока, занимающего эту позицию. Т.е. нам надо не просто спарсить 100 000 персонажей (по 50к с каждого региона), но и еще спарсить всех персонажей из списков дополнительных персонажей. Т.е. в сумме мы получим 500 000 персонажей, учитывая, что у каждого игрока в среднем по 4 доп. персонажей + 1 главный.Собрать весь этот список надо в гугл док (желательно) или в Excel-file (на худой конец).

Собирать надо по следующему принципу : парсер открывает 50 000 персонажей из списка по-очереди, под открытием подразумевается клик по нику персонажа, который перебрасывает страничку с дополнительными персонажами. На странице с доп. персонажами парсер сначала берёт инфу по главному персонажу, а потом по доп. персонажам. Здесь наглядно объяснено где находится главный, а где доп. персонажи, а так же соотношение ник-сервер: pp.vk.me/c636216/v6362163...

Под каждый регион нужен отдельная таблица гугл док, внутри которой множество страниц, каждая страница соответствует серверу. Внутри каждой страницы мы собираем персонажей, находящихся на этом сервере. Собственно как надо собирать инфу : парсер кликает по первой позиции, открывает доп. страницу смотрит на главного персонажа, если сервер этого персонажа еще не существует в качестве странички внутри гугл.док файла – парсер создаёт новую страницу с названием сервера. Если страница сервера уже существует – добавляет в неё ник персонажа. Ники персонажей собираем сверху вниз по-очереди (не в ряд).

Т.е. внутри страниц просто ники персонажей сверху вниз, больше никакой инфы не надо. Потом парсер смотрит доп. персонажей и делает тоже самое. Потом закрывает эту вкладку и идёт к следующей позиции и делает там тоже самое, и так до позиции №50 000