Всплеск Scrapy не загрузит нужную страницу

Question

Я пытался очистить некоторые страницы из лазады, используя scrapy-splash:

• https://www.lazada.sg/shop-mobiles/?page=1

• https://www.lazada.sg/shop-mobiles/?page=2

• https://www.lazada.sg/shop-mobiles/?page=3

Вот мой сценарий:

function main(splash, args)
  local num_scrolls = 3
  local scroll_delay = 2.0
  assert(splash:go(args.url))
  assert(splash:set_viewport_full())
  assert(splash:wait(5.0))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end

Когда я сравнил реальный веб-сайт и изображение + HTML, отображенные по первой ссылке с использованием веб-интерфейса всплеска, я обнаружил, что они отличаются. Затем я выполнил рендеринг других ссылок, результаты рендеринга такие же. Я пробовал много задержек ожидания: 2.0, 3.0, 5.0 и 10.0, но результаты все те же. Я даже не мог загрузить отрендеренное изображение из веб-интерфейса, там говорилось об ошибке загрузки. Что я упустил?