Описание тега apify
Apify - это сервис для запуска образов докеров в облаке. Он в основном используется для очистки веб-страниц и сканирования с помощью Chrome и Puppeteer без головы, но может выполнять широкий спектр задач. Apify также поддерживает Apify SDK, библиотеку с открытым исходным кодом для веб-парсинга и сканирования в JavaScript.
1
ответ
Как извлечь конкретное поле данных из Javascript, используя jquery?
Я не уверен, что этот вопрос уже задавался, и я новичок в jquery и javascript. Но я не смог найти ответа на мой вопрос. Я пытаюсь создать сканер apify. Мне нужно извлечь конкретные данные из следующего JavaScript <script type="application/json" c…
14 июл '18 в 05:24
1
ответ
Нужно APIFY сканировать данные
Я хочу просто узнать подробности производства, которое я получаю при сканировании. Я хочу перейти на следующую страницу и вернуться. Как я могу это сделать, так как не так много ссылок? function pageFunction(context) { // called on every page the cr…
15 май '18 в 18:50
0
ответов
Ошибка при вызове пользовательской функции pageFunction: Ошибка: Ошибка типа: JSON.stringify не может сериализовать циклические структуры
Я использую Apify, безголовый браузерный сервис для написания веб- сканеров, которые являются Javascript. Я пытаюсь собрать содержание статьи для сотен статей, которые я опубликовал в блоге. Сканер работает, определяя в веб-интерфейсе Apify стартову…
28 июн '18 в 22:05
1
ответ
Как правильно пролистать веб-страницу с бесконечной прокруткой?
Как бы я начал собирать данные с сайта с бесконечной прокруткой? Я пытаюсь получить все данные из Google Play Store ( https://play.google.com/store/apps/category/GAME/collection/topselling_free?hl=en). Я использую Apify ( https://www.apify.com/) для…
06 май '16 в 20:02
1
ответ
Как перебрать Xpath в JS/JQuery
Я пытался создать crawler для этой страницы, используя Apifiy. Apify использует jQuery и css селекторы для поиска данных. Но я не могу понять селекторы CSS хорошо, поэтому я использовал XPath, Код, который я использовал, извлекал только первую строк…
01 мар '17 в 06:52
1
ответ
Как перебрать массив на Apify?
Я сканирую Sainsbury's, это мой начальный URL: https://www.sainsburys.co.uk/shop/gb/groceries/meat-fish/all-chicken-44?fromMegaNav=1#langId=44&storeId=10151&catalogId=10123&categoryId=310864&parent_category_rn=13343&top_category=…
29 сен '18 в 17:33
1
ответ
Apify: сохранить заголовки в RequestQueue
Я пытаюсь просканировать нашу локальную установку Confluence с помощью PuppeteerCrawler. Моя стратегия состоит в том, чтобы сначала войти в систему, а затем извлечь сессионные куки и использовать их в заголовке стартового URL. Код выглядит следующим…
25 фев '19 в 12:20
2
ответа
Как мне нажать кнопку, у которой нет идентификатора, с помощью (Apify's) Puppeteer?
Я использую кукловод Apify для входа на этот сайт. Я исследовал подобные вопросы, но безрезультатно. У меня проблемы с поиском кликабельного идентификатора / элемента для основной кнопки входа в систему, отображаемой на связанной странице входа в си…
06 ноя '18 в 03:09
1
ответ
http ответ не сохранен
У меня есть ионный / угловой проект. Я звоню на внешний API с: public getKeys() { this.http.get('https://api.apify.com/v2/key-value-stores/myStorage/keys') .subscribe( data => this.dataKeys, err => this.handleError(err) ); } Моя проблема в том…
29 ноя '17 в 23:31
2
ответа
Отправка HTTP-запроса на сайт с массивом в теле
Я пытаюсь сделать запрос POST и отправить некоторые значения в теле вызова API. В документации API говорится, что мне нужно сделать запрос POST, используя startUrls как массив с key а также value, <?php $url = 'https://api.apify.com/v1/USERID/cra…
06 апр '18 в 19:47
1
ответ
Мне нужна помощь, чтобы изменить сканер Apify
У меня есть сканер Apify, который работает и получает все данные, которые я хочу, но сканер не ожидает полной загрузки страницы, и поэтому я получаю неполный набор результатов. Вот этот код: function pageFunction(context) { var $ = context.jQuery; v…
07 ноя '18 в 17:14
1
ответ
Как ограничить область действия Apify веб-сканером первыми тремя страницами списка?
Я написал следующий веб-скребок в Apify (jQuery), но я пытаюсь ограничить его только просмотром определенных страниц списка. Сканер просматривает статьи, которые я опубликовал по адресу https://www.beet.tv/author/randrews, на странице, содержащей 10…
23 ноя '18 в 17:05
0
ответов
Кукловод $.eval выбирает вложенные элементы
Допустим, я дам ситуацию, как эта страница <div id="details-container" class="style-scope ytd-channel-about-metadata-renderer"> <yt-formatted-string class="subheadline style-scope ytd-channel-about-metadata-renderer">Details</yt-forma…
02 мар '19 в 17:51
1
ответ
Сканирование нескольких страниц с помощью Apify
Можно ли сканировать несколько страниц, используя Apify с псевдо-URL? Когда люди задают один и тот же вопрос, в большинстве случаев ответ указывает на псевдо-URL-адреса и не дает прямого ответа на вопрос, если это возможно / невозможно сделать. Если…
19 мар '19 в 01:04
1
ответ
Apify crawler с более чем 2 активируемыми элементами
Я пытаюсь создать сканер apify, в котором есть несколько кликабельных элементов. Первый щелчок - это разбиение на страницы, второй щелчок - просмотр каждого результата, третий - посещение раздела каждого результата для получения дополнительной инфор…
21 мар '19 в 12:45
1
ответ
Передать cookie от Актера к Crawler
Я установил сканер с URL-адресами, которые я хочу сканировать, актер работает, я протестировал пример cookie/ скриншот. У меня просто проблема с передачей cookie от актера для сканирования: const Apify = require('apify'); Apify.main(async () => {…
09 май '19 в 19:21
2
ответа
Получить атрибут элемента страницы в pupeeter/apify
Я мог бы получить textContent HTML-элемента в Pupeeter: var website_element = await page.$('a[itemprop="url"]'); var website= await (await website_element .getProperty('textContent')).jsonValue(); Тем не менее, иногда textContent недостаточно, смотр…
27 июн '19 в 16:07
1
ответ
Как использовать Apify в облачных функциях Google
Я развернул некоторый код, используя Apify в качестве облачных функций Google. При срабатывании облачная функция завершается беззвучно. Что я делаю неправильно? У меня есть рабочий код, использующий Apify 0.15.1. Локально работает. После развертыван…
10 июл '19 в 22:55
3
ответа
Лучший способ протолкнуть еще одну царапину после того, как все сделано
У меня есть следующий сценарий: Мои сообщения находятся за входом в систему, так что есть одна страница входа, которую я всегда должен посетить первым тогда у меня есть список из 30 URL-адресов, которые могут быть очищены асинхронно для меня все рав…
13 авг '19 в 10:15
1
ответ
Используя Apify, как извлечь данные, которые зависят от модального окна ввода?
Я заинтересован в сканировании веб-сайта с модальным окном для выбора местоположения. Данные сайта зависят от местоположения, выбранного в модальном окне. Как я могу отобразить модальное окно и выбрать место, которое мне интересно сканировать? Я зна…
13 авг '19 в 22:06