Описание тега scrape
DO NOT USE THIS TAG. It is under an active cleanup: https://meta.stackru.com/q/305314 Use [web-scraping] if your question is about scraping information from web resources (there is also [screen-scraping]) or use [pdf-scraping] if your question is about scraping information from pdf files. Use [data-extraction] if you need to extract data from other resources.
3
ответа
Как получить данные после цикла, используя обещание
Привет, кто-нибудь может мне помочь с моей асинхронной проблемой. я делаю веб-скребок и после того, как я скребу сеть. мне нужно поместить данные в мою базу данных (mongodb) после их ввода. мне нужно отправить их в интерфейс. но так как у меня есть …
19 авг '18 в 19:14
0
ответов
Как удалить данные в аутентифицированном сеансе на динамической странице?
Я кодировал паука Scrapy, используя библиотеку loginform ( http://blog.scrapinghub.com/2012/10/26/filling-login-forms-automatically/), и взял этот пост в качестве справочного материала для динамических веб-страниц. Это код: class MySpider(CrawlSpide…
22 июл '15 в 16:05
2
ответа
R: веб-извлечение нескольких переменных из таблицы
Я пытаюсь отсканировать веб-страницу ( https://aviation-safety.net/database/dblist.php?Year=1986⟨=&page;=1) в R, используя следующий код: install.packages("rvest") library(rvest) aviationurl = "https://aviation-safety.net/database/dblist.php?Ye…
06 апр '18 в 23:02
2
ответа
Можно ли использовать YUI 3.4.1 для извлечения текста с удаленного веб-сервера?
В контексте веб-приложения, написанного с использованием библиотеки YUI 3.4.1, необходимо загружать текстовые данные произвольной формы с удаленного сервера. Я посмотрел примеры DataSource Get и IO в документации YUI (http://yuilibrary.com/yui/docs/…
02 фев '12 в 01:24
0
ответов
Как извлечь текстовое описание с одинаковым позиционным текстом в Imacros
Могу ли я попросить всех экспертов imacros здесь, как очистить текстовое описание с той же позиции. вот мой вывод скрести: Смартфон Dompet Kulit Tempat Сарунг Тас Hp Полный Кулит Асли Босс TH01Дибуат дари бахан кулит сапи берквалитас, куат дан тахан…
12 янв '18 в 07:27
2
ответа
PHP Filename не может быть пустым, как обойти это в простом html dom line 70
Поскольку я очищал один сайт, и я смог сделать его на 4000 из 10000 контента, он остановился бы и сказал Предупреждение PHP: file_get_contents(): имя файла не может быть пустым в /Users...simple_html_dom.php в строке 70 PHP Неустранимая ошибка: вызо…
07 янв '12 в 01:19
3
ответа
Соскоб динамических обновлений данных датчика температуры с веб-сайта
Я написал следующий код Python: from bs4 import BeautifulSoup import urllib2 url= 'http://www.example.com' page = urllib2.urlopen(url) soup = BeautifulSoup(page.read(),"html.parser") freq=soup.find('div', attrs={'id':'frequenz'}) print freq Результа…
15 авг '15 в 20:01
2
ответа
Python веб-соскоб с регулярным выражением
Может ли кто-нибудь помочь мне с небольшим количеством кода, который я хотел бы создать, чтобы получить статистику из игры? Я могу поместить HTML в BeautifulSoup, но я не знаю, как правильно отформатировать регулярное выражение, чтобы получить конкр…
13 окт '12 в 20:09
3
ответа
Как исключить строку из re.findall?
Это может быть глупый вопрос, но я просто пытаюсь учиться! Я пытаюсь создать простой инструмент поиска по электронной почте, чтобы узнать больше о Python. Я изменяю некоторый открытый исходный код, чтобы разобрать адрес электронной почты: emails = r…
14 июл '14 в 16:18
1
ответ
Удаление таблицы.txt с веб-сайта после входа с помощью R
Чао, у меня есть доступ к студенческому серверу, в котором я не могу быть уверен по соображениям безопасности данных. Тем не менее, я нашел веб-сайт с похожим стилем всплывающих окон. По сути, мне нужно перейти по URL, щелкнуть ссылку для доступа к …
06 сен '18 в 13:28
1
ответ
PHP CURL / XPATH - ссылки не работают
Я использую следующий код, чтобы очистить некоторые внешние div для http://psnc.org.uk/our-latest-news-category/psnc-news/ Я хочу почистить раздел последних новостей PSNC. $ch = curl_init("http://psnc.org.uk/our-latest-news-category/psnc-news/"); cu…
05 янв '17 в 16:05
1
ответ
Как зайти на сайт, войти в систему, перейти на страницу и очистить данные
В среде Windows, как бы вы предложили мне выполнить следующее: Посетите веб-сайт, введите имя пользователя и пароль, выберите параметр в раскрывающемся меню, щелкните пару ссылок (одна из которых является динамической, но известна заранее и хранится…
23 окт '13 в 13:35
1
ответ
Удаленно очистите страницу и получите наиболее подходящее название или описание для изображений с XPath
То, на что я обращаю внимание - это то же самое, что кнопка Tweet или кнопка "Поделиться / Мне нравится" в Facebook, это очистка страницы и наиболее подходящего заголовка для фрагмента данных. Лучший пример, который я могу вспомнить, это когда вы на…
19 май '12 в 18:28
0
ответов
Как получить querySelector по клику со страницы, загруженной в iframe, с автоматической проверкой, не открывая devTools?
У меня есть проект Angular, где мне нужно загрузить другую страницу в компоненте. Когда страница загружена, я хотел бы иметь возможность выбирать элементы из DOM. При наведении на элемент я хотел бы, чтобы моя мышь работала как Inspect от devTools, …
15 фев '19 в 11:53
1
ответ
Заставьте Web Scraper манипулировать всплывающей страницей, которая открывается с целевой страницы
Мой код открывает страницу и начинает ее завершать. Затем он нажимает кнопку, в результате чего появляется всплывающее окно, которое необходимо заполнить. Однако я не уверен, как заставить мой код получить доступ к этому всплывающему экрану. Любая п…
03 сен '15 в 01:42
3
ответа
Извлечение текущих ставок с помощью Beautfiul Soup - динамическое обновление значений
Это мое первое знакомство с Python и BeautifulSoup. Я пытаюсь получить текущую сумму ставки из определенного свойства, указанного на популярном веб-сайте аукциона (RealInsight), но не могу заставить BeautifulSoup получить фактическое целое число, ко…
24 ноя '18 в 15:56
3
ответа
Очистка поиска Google с помощью BeautifulSoup
Я хотел очистить несколько страниц поиска Google. До сих пор мне удавалось скрести только первую страницу, но как я мог сделать это для нескольких страниц. from bs4 import BeautifulSoup import requests import urllib.request import re from collection…
15 ноя '18 в 17:23
1
ответ
Соскрести изображения из фотоальбома стены на Facebook
Можно ли почистить картинки и названия альбома группы в фейсбуке? Любые идеи или знаете хороший учебник, чтобы начать работать с этим?
11 окт '12 в 07:46
1
ответ
ReGex Задача получить количество игроков
Я хочу вычеркнуть количество игроков из каждого плейлиста, просто значение без запятых. NOBLE MAP PACK (652 Players)</span><span>&#160;</span></a></li> Выше находится конец одного из пунктов списка с "652", это все,…
07 фев '11 в 07:41
0
ответов
Scrape-it Note.js Как вычистить кириллицу
Мне нужно очистить текст кириллицей, но вместо этого я получаю "Четыре тысячи четыреста". Я использую этот код var data = { Name:{ selector:maindir + "h1.moviename-big", // convert:function(x){ // return x.toString('utf-8'); // } } } function callba…
21 авг '18 в 11:47