Сканер, как получить данные со страницы, которая загружается при прокрутке вниз?
Я использую сканер npm в своем приложении, чтобы получить все изображения с веб-сайта с определенным тегом, но веб-сайт загружает только 40 изображений в начале, и при прокрутке вниз он загружает еще 40 и еще 40, общее количество составляет около 260, и я хотел бы получить их всех.
Мой код выглядит следующим образом:
const c = new Crawler({
callback: async function(error, res, done) {
if (error) {
console.log({error})
} else {
const tag = '.person div img';
const images = res.$(tag);
images.each(index => {
var name = images[index].attribs.alt.toString()
.replace(/"/g, '') //remove quotes(")
.replace(/\s+/g, '-'); //change spaces for (-)
let localFilePath = './' + name + '.jpg'
saveImageToDisk(images[index].attribs.src, localFilePath)
Это дает мне все те, которые загружаются со страницей в мою файловую систему (40), но как я могу получить остальные, которые загружаются при прокрутке вниз???
Спасибо