Описание тега kylo
Kylo - это платформа для управления озером данных с открытым исходным кодом. Задайте здесь вопросы, связанные с программированием. По другим темам обращайтесь к группам Google.
1
ответ
nifi pyspark - "нет модуля с именем boto3"
Я пытаюсь запустить созданное мной задание pyspark, которое загружает и выгружает данные из s3 с помощью библиотеки boto3. В то время как задание работает в pycharm нормально, когда я пытаюсь запустить его в nifi, используя этот шаблон, https://gith…
23 апр '18 в 05:21
1
ответ
Как перенести мои данные cassandra в pyspark с помощью процессоров QueryCassandra и ExecutePySpark Nifi?
Я просто запрашиваю таблицу cassandra с помощью процессора querycassandra, но я не понимаю, как передать выходной файл Json в процессор ExecutePyspark в качестве входного файла, а затем мне нужно передать выходные данные Spark в Hive. Пожалуйста, по…
14 мар '18 в 12:21
0
ответов
Как сделать обработку ошибок в шаблоне Nifi
Я создаю шаблон в Nifi, а затем импортирую их в Kylo. Каждый шаблон специфичен для моего бизнес-сценария и состоит из нескольких (более 30) процессоров Nifi. для моего модульного тестирования и для здравого смысла я пересылаю отношение ошибок каждог…
14 сен '18 в 05:36
0
ответов
Когда я создаю новый фид, у меня возникает проблема, подобная этой. Ошибка сохранения дубликата фида ключа ProcessGroupDTO:b20b995a-0165-1000-0479-b059731bba5b
Когда я создаю новый канал, у меня возникает такая проблема Error saving Feed Duplicate key ProcessGroupDTO:b20b995a-0165-1000-0479-b059731bba5b kylo-servers-log:
26 сен '18 в 08:27
1
ответ
Количество задач процессора NiFi очень велико, в чем причина?
Я написал базовый пользовательский процессор, который отправляет поток в отношение "Retry", а также вызывает штраф. package nlsn.processors.core.main; import java.util.Collections; import java.util.HashSet; import java.util.List; import java.util.Se…
17 авг '18 в 08:34
1
ответ
Ошибка при установке кило конкретных сервисов для нифи
Я пытаюсь установить kylo 0.8.4. Существует шаг, чтобы установить kylo специфические компоненты после установки Nifi с помощью команды, sudo ./install-kylo-components.sh /opt /opt/kylo kylo kyloно получаю следующую ошибку. Creating symlinks for NiFi…
12 янв '18 в 08:47
1
ответ
Ambari Service Monitor теперь является плагином Kylo
Kylo предоставляет функцию сервисов ambari. Я стараюсь, но не могу найти, как его использовать. Вот что получилось из интернета. Измените / убедитесь, что настройки соединения настроены. Параметры соединения ambari необходимо перенести из основного …
30 ноя '17 в 07:17
1
ответ
Maven Build застрял на создание файла Spec
Я пытался собрать проект kylo (версия 0.8.4), используя maven на моей машине с Windows, используя новую функцию bash и следуя инструкциям на сайте dev docs. Я сталкиваюсь с ситуацией, когда создается файл спецификации, и он застрял в этом сообщении …
05 янв '18 в 05:26
0
ответов
Импорт данных с сервера sql в Hive с использованием данных. получение "java.io.IOException: не файл данных"
Я пытаюсь импортировать данные из таблицы в SQL Server в Hive, используя шаблон канала загрузки данных Kylo. При создании канала из источника данных у меня есть два варианта выбора, т.е. тип вывода: с разделителями / avro. Когда я выбираю тип вывода…
16 дек '17 в 17:34
3
ответа
Кило | Функциональность High Water Mark
Я кормлю каждые пять минут и использую функцию водяного знака загрузки / выпуска. Рассмотрим сценарий, в котором выполнение задания заняло более 5 минут, а фиксация водяного знака не произошла. В этом сценарии Kylo запустит другой экземпляр канала с…
17 фев '17 в 10:15
1
ответ
kylo ingest из файла: 401 Несанкционированный
Когда я использую kylo ingest из файла, поток nifi потерпел неудачу и произошла ошибка, например: я думаю, это могло произойти в мета-службе kylo процессора: поэтому я попытался настроить приложение kylo.prop Тогда я устал перезапускать kylo & Нифи…
15 май '18 в 08:26
3
ответа
Как отправить multipart/form-данные через InvokeHttp NiFi
У меня есть сторонний REST, который я могу успешно вызвать с помощью CURL (shell). Этот API возвращает JSON. Я попытался вызвать тот же API, изменив тип контента на application/x-www-form-urlencoded но это не работает Я думаю, что я вынужден использ…
20 авг '18 в 10:55
1
ответ
Kylo UI - Создать новый модуль машинописи
У меня есть сомнения по поводу того, как работать с Kylo и структурой пользовательского интерфейса. Согласно сайту http://kylo.readthedocs.io/en/v0.8.3/developer-guides/KyloDeveloperGuide.html?highlight=angular2 говорится: Большая часть пользователь…
09 окт '17 в 19:12
1
ответ
kylo feed продолжает работать и не заканчивает выпуск
Я новичок в кило Я вручную развернул Kylo на тестовом кластере Hortonworks HDP 2.5 и повторно использовал свой экземпляр Nifi. Я сделал образец фида, следуя, как учебник приема пищи (регистрации пользователей) и был успешным. Однако, когда я удаляю …
29 май '17 в 06:49
2
ответа
Как исправить ошибку перекрестного источника при запросе к Kylo API
У меня есть запущенный экземпляр Kylo Sandbox на сервере, который называется: kyloserver, Я пытаюсь получить доступ к Kylo API с моего сайта, работающего в localhost:8080, Я пытаюсь использовать Search API, вызывающий URL: http://kyloserver:8400/pro…
30 ноя '17 в 14:47
2
ответа
Кило | Visual Query Spark Job - режим кластера и клиента
По умолчанию визуальный запрос запускается в локальном режиме. Какие параметры рекомендуется использовать для Visual Query, когда вы запускаете Kylo в производство с большим объемом данных? Спасибо Шаши
17 фев '17 в 10:07
1
ответ
Задание фида Kylo data_ingest не выполнено из-за отказа в доступе для пользователя 'root'@'localhost' (с использованием пароля: НЕТ)
Я установил шаблон по умолчанию из установочного каталога Kylo для 'data_ingest' в пользовательском интерфейсе Kylo - http://localhost:8400/ Используя шаблон, я создал канал для извлечения данных из базы данных (MySQL), указав базу данных / таблицу …
06 сен '17 в 18:25
2
ответа
Изменить улей на оракул в качестве основной базы данных в кило
Мне нужно использовать платформу kylo для моего приложения. Мне нужна база данных Oracle в качестве основной базы данных на платформе kylo. Мне нужен Oracle вместо базы данных кустов на платформе kylo. Есть ли способ сделать в Кило.
16 ноя '17 в 09:07
1
ответ
CSV в JSON с динамической схемой с использованием NiFi
Я получаю файл CSV от третьего лица. Схема для этого файла является динамической, единственное, в чем я могу быть уверен - каждый столбец с данными также будет иметь имя заголовка. Файл всегда будет иметь заголовок. Имя заголовка всегда будет строко…
04 сен '18 в 07:05
2
ответа
Сбой при запуске службы Kylo
Я пытаюсь установить Kylo на свой существующий кластер Hadoop HDP 2.6.2. Я следую документу Kylo, но когда я пытаюсь запустить Kylo, он говорит "запуск", но через несколько секунд запуск завершается неудачно, и изменения статуса прекращаются. [roo…
24 окт '17 в 05:59