Описание тега data-harvest

Вопросы с тегом
1 ответ

Ошибка комбайна CKAN в nav_named_link

В CKAN, когда я пытаюсь создать новый источник урожая, я получаю эту ошибку: Error - <class 'jinja2.exceptions.UndefinedError'>: 'ckan.lib.helpers.HelperAttributeDict object' has no attribute 'nav_named_link URL: https://127.0.0.1:5000/harvest…
21 апр '16 в 11:12
1 ответ

Сбор данных с помощью rvest не получает значения из виджета данных

Я пытаюсь собрать данные, используя rvest (также пытался использовать XML а также selectr) но у меня возникают проблемы со следующей проблемой: В веб-инспекторе моего браузера HTML выглядит так <span data-widget="turboBinary_tradologic1_rate" cla…
15 фев '17 в 11:50
4 ответа

Как проверить GoogleBot

Я хочу запретить сбор данных на моем сайте (кроме googlebot, конечно). Я полагаю, что полагаться на UserAgent ГБ недостаточно сильно (каждый бот может его подделать) Как я могу все еще аутентифицировать GoogleBot, чтобы избежать подделок.
22 дек '11 в 06:34
1 ответ

Как я могу отобразить страницу XML вместо JSON, для набора данных

Я использую расширение pycsw для создания файла CSW. Я собрал данные из одного экземпляра CKAN [1] в другой [2] и теперь пытаюсь запустить команду pycsw 'paster load': paster ckan-pycsw load -p /etc/ckan/default/pycsw.cfg -u [CKAN INSTANCE] Я получа…
10 сен '15 в 16:15
0 ответов

Сбор урожая из ТРЕТЬЕВ с использованием GeoNetwork

У меня есть экземпляр THREDDS: https://wci.earth2observe.eu/thredds/catalog-earth2observe.html и я ищу способ получения данных в стандартном формате ISO-19115. Я перепробовал много решений и сейчас пытаюсь получить информацию в имеющийся у меня экзе…
22 сен '15 в 10:54
1 ответ

Комбайн ckan: ошибка "Нет модуля с именем pika"

На экземпляре ckan, работающем нормально, я установил расширение харвестера, следуя этому руководству: https://github.com/ckan/ckanext-harvest Вот шаги, которые я следовал: . /usr/lib/ckan/default/bin/activate cd /usr/lib/ckan/default/src/ckan sudo …
23 янв '15 в 00:07
3 ответа

Сканирование новостных статей

Кто-нибудь знает, есть ли стандарты / API для сканирования новостных статей из большинства крупнейших источников новостей. Я использую rss для их индексации, но я хотел бы классифицировать их с большим количеством данных, чем просто их заголовки.
11 ноя '09 в 11:09
0 ответов

Сбор данных с веб-страницы в R - доступ к нескольким страницам

Я следую за своим вопросом со вчерашнего дня - собираю данные через выпадающий список в R 1 Во-первых, мне нужно получить все 50 тыс. строк данных всех врачей на этой странице: http://www.lkcr.cz/seznam-lekaru-426.html Я знаю, как получить их на одн…
27 окт '16 в 09:53
1 ответ

Сбор данных обучения

Я хочу создать сайт, который будет собирать данные с: * статуса Facebook моих друзей * другого сайта К сожалению, я не знаю, как собирать данные. Может кто-нибудь порекомендовать книгу \ учебник? Как проверить это поле?
22 июл '11 в 16:46
0 ответов

ЦКАН: урожай заблокирован

Я не знаю точно, где проблема, поэтому я пишу здесь, чтобы получить несколько советов или подсказок об этом. Я хотел бы знать, есть ли у кого-то мнение или идея по этому поводу. Сбор данных с помощью ckan, кажется, работает (я могу получить данные н…
05 сен '16 в 07:09
1 ответ

Собрать php API-массив в json

Используя php API Harvest http://mdbitz.com/harvest-api/examples/ и мой php-массив урожай выводит следующие данные: $myresult = $harvestAPI->getUser($client_id); $data = $myresult->get( "data" ); print_r($data); данные: Harvest_User Object ( […
03 авг '15 в 20:44
0 ответов

DCAT RDF Ошибки сбора

Я попробовал DCAT RDF Harvesting в ckan. Общий сбор данных в ckan работает хорошо, но сбор урожая в DCAT RDF, похоже, не добавляет много возможностей настройки. Как я могу устранить эту ошибку и получить данные с https://www.europeandataportal.eu/??…
21 июл '17 в 01:26
2 ответа

Использование ссылки PHP/JavaScript для получения информации о посетителе сайта

Кто-то пытается меня обмануть, они притворяются одним из моих близких друзей, чтобы унизить нас обоих. Этот человек создал поддельную учетную запись электронной почты, выдавая себя за человека и пытаясь получить от меня личную информацию. Я убедился…
02 дек '14 в 23:23
3 ответа

Автоматическое нажатие кнопки "отправить" с использованием Python

Автобусная компания, которой я пользуюсь, ведет ужасный веб-сайт (на иврите, английском), который делает простой запрос "От А до Б сегодня" - кошмаром. Я подозреваю, что они пытаются поощрять использование дорогостоящей системы SMS-запросов. Я пытаю…
04 июл '09 в 15:00
1 ответ

Сбор данных в R: получить вложенные списки, удалить список, внести изменения, вернуть их обратно

Следующий код собирает данные с веб-сайта. Я извлекаю список списков, хочу удалить один из списков, отредактировать его, а затем повторно вставить его обратно в данные в форму, в которой они были получены. Вот мой код ниже, он не проходит одно повто…
15 авг '17 в 09:55
2 ответа

Поиск нескольких значений из одной ячейки

У меня есть набор данных, в котором много разных категорий и данных были помещены в одну ячейку. Например, у меня есть одна ячейка с именами лиц и процентами: Jess 15%, Frank 20%, Allan 50%, Steve 15% Я хотел бы найти функцию, которая может искать и…
15 окт '15 в 19:50
0 ответов

Получить общий размер данных, собранных с помощью теплового инструмента

Я использовал Heat.exe, предоставленный WiX. Требуется копия структуры каталогов, которая называется сбором каталогов. Я хочу получить общий размер данных, которые он собирает. Есть ли решение для этого, пожалуйста, помогите. Заранее спасибо.
22 июн '17 в 08:48
1 ответ

Жатки, использующие расширение DCAT, застряли

Мы использовали ckanext-dcat для сбора данных из удаленных источников json, иногда некоторые задания сбора данных не завершались, и их приходилось удалять вместе со всеми наборами данных из этого источника, что не очень удобно, но затем все возвраща…
04 окт '14 в 02:11
1 ответ

Вложенная функция для извлечения данных из нескольких URL (с аутентификацией) в R

Мой код ниже предназначен для извлечения данных (и их метаданных) с аутентификацией через конечную точку API и возврата всех метаданных в фрейм данных. Я хочу создать вложенную функцию, чтобы повторить этот же процесс для другой конечной точки API с…
07 авг '17 в 21:02
0 ответов

В веб-браузере CKAN я не вижу наборы данных в списке, но в потоке активности, нужен ли дополнительный модуль?

Использование команды oai-pmh для отправки метаданных из dspace в ckan. Я могу видеть файлы (пакеты) в потоке активности, но не в списке наборов данных. Ссылка в потоке активности ведет к данным на поверхности dspace. также в БД я вижу записи для па…
09 апр '19 в 09:47