Описание тега hortonworks-dataflow

Вопросы с тегом
1 ответ

Как создать пользовательский сервис контроллеров NiFi?

Я пытаюсь узнать, как создать собственный сервис контроллера NiFi. Для начала я подумал о том, чтобы подражать DBCPConnectionPool служба контроллера, просто скопировав исходный код DBCPConnectionPool оказание услуг. Чтобы реализовать то же самое, я …
17 апр '18 в 08:10
1 ответ

Почему ExpressionLanguageScope в службе DBCPConnectionPool ограничен только "VARIABLE_REGISTRY", а не "FLOWFILE_ATTRIBUTES"?

DBCPConnectionPool Service требуется 5 параметров соединения для установления соединения с базой данных, как показано на рисунке ниже [Помечено желтым] я использовал UpdateAttribute Processor вручную добавить эти 5 параметров подключения и присвоить…
12 апр '18 в 10:02
2 ответа

Триггер FetchFolder в NiFi?

Я использую NiFi для организации обработки больших двоичных файлов, используя собственный инструмент обработки (который работает вне NiFi). NiFi сбрасывает исходные файлы на диск, я называю внешний инструмент (использующий процессор ExecuteScript), …
16 авг '18 в 15:53
1 ответ

Получить против потребления в NiFi

Я вижу, что некоторые процессоры имеют варианты как GetXXX, так и ConsumeXXX (например, GetKafka и ConsumeKafka). Когда назвать процессор с GetXXX над ConsumeXXX? Примечание: я понимаю технические различия между ConsumeKafka и GetKafka. Мой вопрос в…
27 май '17 в 22:43
1 ответ

Служба автоматического включения контроллера NiFi

У меня есть процессор ExecuteSQL, он всегда был отключен, когда серверы отключены или потеря питания, потому что служба контроллера пула соединений DBCP отключена, и мне приходится вручную включать пул соединений DBCP. Могу ли я автоматически включи…
05 дек '18 в 03:49
2 ответа

В Nifi какая разница между FirstInFirstOutPrioritizer и OldestFlowFileFirstPrioritizer

Руководство пользователя https://nifi.apache.org/docs/nifi-docs/html/user-guide.html содержит приведенную ниже информацию о приоритетах. Не могли бы вы помочь мне понять, как они различаются, и привести любой пример в реальном времени. FirstInFirstO…
05 апр '18 в 14:48
1 ответ

HDF 3.0.1 - исключение при запуске Schema_Registry

Я настраиваю кластер HDF 3.0.1 поверх ambari. Я успешно установил Ambari 2.5.1. Я использую Postgres 8.3 (версия по умолчанию, которая поставляется с Ambari 2.5.1). В настоящее время я сталкиваюсь с проблемой запуска schema_Registry, Сервис уже доба…
05 янв '18 в 13:39
1 ответ

Apache Nifi - потребляйте Kafka + объединяйте контент + ставьте HDFS, чтобы избежать мелких файлов

У меня около 2000000 сообщений в теме Кафки, и я хочу поместить эти записи в HDFS, используя NiFi, поэтому я использую PutHDFS процессор для этого вместе с ConsumeKafka_0_10 но он генерирует небольшие файлы в HDFS, поэтому я использую процессор слия…
18 июл '18 в 13:39
1 ответ

Служба DBCPConnectionPool Не принимает значения, хранящиеся в атрибутах

Ниже приведены комбинации процессоров, которые я использую: GetFile + SplitText + ExtractText + UpdateAttribute + ExecuteSQL + ConvertAvroToJson + PutFile По сути, у меня есть файл свойств, который содержит 5 значений, разделенных запятыми, которые …
10 апр '18 в 06:28
2 ответа

Как ждать завершения запросов GenerateTableFetch

Мой вариант использования такой. У меня есть несколько X-таблиц, которые можно извлечь из MySQL. Я разделяю их, используя SplitText поместить каждую таблицу в отдельный файл потока и вытащить, используя GenerateTableFetch а также ExecuteSQL, И я хоч…
15 сен '18 в 17:08
1 ответ

Nifi - обновление группы удаленных процессов через Rest API

Мы используем шаблоны для упаковки некоторых заданий по передаче данных между двумя кластерами nifi, один из которых выступает в качестве отправителя, а другой - в качестве получателя. Одно из наших заданий содержит удаленную группу процессов, и все…
06 ноя '17 в 11:16
1 ответ

HDF NIfi - записывает ли Nifi происхождение / данные на узел HDP?

Привет У меня есть кластер HDF с 3 экземплярами Nifi, который запускает задания (Hive/Spark) на кластере HDP. Обычно nifi записывает всю информацию в различные репозитории, доступные на локальной машине. Мой вопрос: записывает ли nifi какие-либо дан…
11 июн '17 в 21:25
1 ответ

В конфигурации Ambari Zeppelin Service с установленным стеком HDP 3 нет zeppelin.livy.principal

Согласно этому документу, я должен найти zeppelin.livy.principal в конфиге zeppelin или же spark2, но там нет такой возможности.
02 дек '18 в 07:41
1 ответ

swagger: запросы Python: javax.ws.rs.NotAllowedException: HTTP 405 метод не разрешен

Извините, если это излишне с ошибкой, но я ищу конкретное решение. Я пытаюсь опубликовать новую версию схемы в Hortonworks Schema Registry с помощью API остаточного сваггера. Я использую модуль запросов Python, чтобы программно публиковать новые вер…
16 фев '19 в 01:29
0 ответов

Apache Nifi для MS SQL CDC с использованием динамического SQL-запроса

В нашей унаследованной архитектуре у нас есть база данных сервера MS SQL, которая хранит всю информацию о датчиках практически в реальном времени, в среднем за секунду она получает 100 записей. Чтобы получить полную информацию о событиях датчиков, н…
14 сен '17 в 12:44
1 ответ

Ambari перенаправляет на NiFi автоматически

Я установил NiFi в моем Hortonworks и всякий раз, когда начинаю сеанс в Ambari, меня перенаправляют на NiFi. Кто-нибудь есть идеи, как изменить его так, чтобы мой localhost:8080 не перенаправлял автоматически на NiFi? Я прикрепил изображение ниже. З…
25 июл '18 в 10:10
1 ответ

Извлечение многострочного контента из содержимого потокового файла

Я импортирую данные из таблицы MySQL (только для выбранных столбцов) и помещаю их в HDFS. Как только это будет сделано, я хочу создать таблицу в Hive. Для этого у меня есть schema.sql файл, который содержит инструкцию CREATE TABLE для всей таблицы, …
23 сен '18 в 10:32
0 ответов

Создание сообщений в Кафке в HDF3.0.2 с локальной машины

У меня на Mac работает Hortonworks DataFlow (HDF3.0.2) в VmWare. Брокер Kafka работает на порту 6667 и IP-адрес песочницы 172.17.0.2 В Java-программе, работающей локально на моем Mac, у меня есть сервер начальной загрузки, настроенный как показано н…
26 фев '18 в 16:32
0 ответов

Нифи-пут HFS не пишет

У меня есть группа процессов, у которой есть конечный шаг PutHDF. Я вижу, что содержимое попадает в процесс PUTHDFS, но я вижу ошибку при записи. Я прилагаю скриншот ошибки:
05 ноя '18 в 16:22
0 ответов

Способ очистки Бюллетеня для процессора

Для быстрого тестирования и разработки было бы полезно иметь способ очистить Бюллетень от правого верхнего угла процессора. Как только я увижу ошибку и исправлю ее, я хотел бы очистить ее перед перезапуском. Если это возможно с текущей версией, пожа…
19 сен '18 в 19:09