Утилизация whoscored.com защищена инкапсулами
Я пытаюсь удалить расписание матчей и историю whoscored.com ( https://www.whoscored.com/Regions/252/Tournaments/2/England-Premier-League), и его защищает инкапсула. если я переместлю календарь: - xpath //[@ id = "date-controller"] / a [1] xpath //[@ id = "date-controller"] / a [3], он будет делать вызовы json получить данные по https://www.whoscored.com/tournamentsfeed/16368/Fixtures/?d=2019W7&isAggregate=false'и далее с? d = номером недели, уменьшением или увеличением W7, W6 и т. д.
как и в случае с любым списком, мы просто вызываем ajax, но из другого поста stackru я обнаружил, что у них есть определенная защита, где они встраивают "Model-last-Mode" в текст страницы, и он появляется в заголовках вызова json так что я пытаюсь смоделировать это с помощью следующего кода
from requests_html import HTMLSession
url='https://www.whoscored.com/Regions/252/Tournaments/2/England-Premier-League'
urlfeedtest='https://www.whoscored.com/tournamentsfeed/16368/Fixtures/?d=2019W7&isAggregate=false'
session=HTMLSession()
r=session.get(url)
r.html.render()
#grab the model-last-mode data and append to header extracted from the return HTMLSession
#also added other bits that i saw from the browser network console
mod=model_id_pattern.search(r.text).group(1)
headers_pre=session.headers
headers_pre["x-requested-with"]="XMLHttpRequest"
headers_pre["upgrade-insecure-requests"]='1'
model_id_pattern = re.compile("'" + 'Model-last-Mode' + "': '(.*)' }")
model_id=model_id_pattern.search(response.text).group(1)
headers_pre['Model-last-Mode']=model_id
headers_pre['referer']=url
#re-use session so that cookies preserved
r=session.get(urlfeedtest, headers=headers_pre)
это не сработало, как я ожидал, я получаю сообщение об ошибке, я также пробовал варианты, в которых я помещаю куки в headers_pre, тоже не сработало. С Selenium будет легко имитировать щелчок по календарю, который у меня один, но я не хочу использовать селен в качестве тяжелого и громоздкого, и я воспринимаю его как техническую проблему с библиотеками стилей запросов. какие-либо предложения?