Понять, почему через браузер страница открывается, а через curl - нет

  1. Биржа фриланса
  2. Веб-программирование
Закрыт3 заявки144 просмотра

Пытаюсь скачивать данные с http://whoscored.com. Это XHR-запросы, чувствительные к заголовкам и куки, ответ в виде JSON. Если что-то неправильно, сделано, то капча вместо ответа.

1. Зайдите на https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/3853/England-Premier-League (через Tor).

2. Откройте календарь, щелчком на "5-11 May 2014".

3. Выберите другую неделю (в правой колонке календаря). Это породит запрос на URL типа https://www.whoscored.com/tournamentsfeed/7794/Fixtures/?d=2014W14&isAggregate=false. Его и надо скачать.

Если оригинальный запрос браузера "скопировать в виде запроса cURL" (любой браузер) и выполнить, то все ок.

Однако, если включить прокси Tor, то оригинальный запрос браузера, "скопированный в виде запроса cURL", с добавлением --proxy socks5://127.0.0.1:9050 или --socks5 127.0.0.1:9050, уже вызывает капчу. В браузере же (через любой прокси-плагин; или через Tor Browser) все работает.

Мне хочется понять, в чем есть отличие в этих случаях (через браузер и через cURL). Цена оговариваема.

8 лет назад
kuraga
33 года
16 лет в сервисе
Был
8 лет назад

Заявки фрилансеров

Нет заявок фрилансеров