Описание тега apache-nifi
Apache NiFi - это простая в использовании, мощная и надежная распределенная система для преобразования и распространения данных.
0
ответов
Как запустить puthdfs за брандмауэром
Я использовал puthdfs для перемещения файла из моего локального хранилища (также в Azure) в ADLS (в Azure). все работало нормально, пока моя команда не установила прокси / брандмауэр на мою коробку. так что все не удалось, от putHDFS для вызова HTTP…
16 ноя '18 в 04:43
2
ответа
Нифи не запускается
Не могу даже запустить NiFi, я думаю, что я сделал действительно очевидную ошибку, но в каталоге, который я распаковал, нет папки bin, которую я скачал отсюда Структура файла в папке, которая у меня есть, выглядит следующим образом: Очевидно, есть н…
30 янв '18 в 16:37
1
ответ
Пакет Python для "запросов" генерирует исключение SSL, когда для проверки установлено значение False (в Apache Nifi)
У меня есть процессор ExecuteScript для NIFI, который выполняет следующий сценарий: import requests импорт json импорт логирование postMap = {'a': ' https://a/v/1', 'b': ' https://b/v/2'} flowFile = session.get () if (flowFile! = None): title = flow…
30 янв '17 в 10:43
1
ответ
PutSql - ошибка формата даты
Я пытаюсь прочитать данные из "Teradata" и заполнить их в базе данных "Oracle". Пожалуйста, найдите ниже моего потока, 'ExecuteSQL' -> 'SplitAvro' -> 'ConvertAvroToJSON' -> 'ConvertJSONToSQL' -> 'PutSQL' Сообщение об ошибке: Невозможно обновить базу…
20 фев '17 в 18:42
1
ответ
Как я могу изменить часовой пояс колонки в Apache Nifi?
Мы используем Apache Nifi для приема данных. Мы извлекаем данные из нескольких источников, особенно из баз данных Oracle. Многие извлеченные таблицы содержат метки времени. Поскольку мы работаем в международном контексте, я хочу изменить часовой поя…
12 июл '17 в 08:41
1
ответ
nifi pyspark - "нет модуля с именем boto3"
Я пытаюсь запустить созданное мной задание pyspark, которое загружает и выгружает данные из s3 с помощью библиотеки boto3. В то время как задание работает в pycharm нормально, когда я пытаюсь запустить его в nifi, используя этот шаблон, https://gith…
23 апр '18 в 05:21
2
ответа
Подключение NiFi к Vertica
Я пытаюсь загрузить CSV-файл, полученный с SFTP-сервера, в Vertica в качестве новой таблицы. Я получил GetSFTP настроен процессор - но я не могу понять, как настроить соединение с Vertica и выполнить SQL?
07 янв '18 в 13:03
3
ответа
Процессор NiFi ListenHTTP: как указать "разрешить пост"?
Просто начинаю с нифи. У обработчика http типа "ListenHTTP" прослушивания нет порта 9090 Необходимо разрешить http POST на http://localhost:9090/ end-point Мне не удалось найти настройки "приемлемых http-глаголов" в веб-интерфейсе для этого процессо…
22 авг '16 в 17:29
1
ответ
Как создать пользовательский сервис контроллеров NiFi?
Я пытаюсь узнать, как создать собственный сервис контроллера NiFi. Для начала я подумал о том, чтобы подражать DBCPConnectionPool служба контроллера, просто скопировав исходный код DBCPConnectionPool оказание услуг. Чтобы реализовать то же самое, я …
17 апр '18 в 08:10
1
ответ
Ошибка схемы Avro, когда в записи отсутствует поле
Я использую процессор NiFi (v1.2) ConvertJSONToAvro. Я не могу проанализировать запись, которая содержит только 1 из 2 элементов типа "запись". Этот элемент также может полностью отсутствовать в данных. Моя схема Avro неверна? Фрагмент схемы: "name"…
03 ноя '17 в 18:53
0
ответов
Nifi Handlehttprequest для обработки нескольких значений параметра
Я использую комбинацию HandleHttpRequest а также HandleHttpResponse процессоры, чтобы получить остальную конечную точку для клиентского приложения. У меня есть проблемы с приведенным ниже типом запроса на публикацию скручивания. HandleHttpRequest не…
26 июл '18 в 08:50
1
ответ
NiFi - ExtractGrok с несколькими регулярными выражениями и сортировкой по разным выводам
У меня есть тема какфа, которая включает в себя различные типы сообщений, отправленных из разных источников. Я хотел бы использовать процессор ExtractGrok для извлечения сообщения на основе шаблона регулярного выражения /grok. Как настроить или запу…
10 июн '18 в 14:45
1
ответ
Невозможно запустить контейнер Apache nifi Docker в Swarm. Пустой ответ
Я не могу запустить официальный образ nifi в Docker Swarm. Когда я запускаю контейнер в обычном режиме: docker run --name nifi -p 8080:8080 -d apache/nifi:latest все работает нормально, и я могу получить доступ к приложению по http://localhost:8080/…
29 окт '18 в 16:32
1
ответ
Хотите узнать больше о NIFI
У меня есть активное задание, работающее над NIFI. Хотите узнать ниже Вопрос Ответы? 1.ISI имеет какой-либо механизм шифрования в буферизованных данных очереди? какие все функции безопасности. 2.Можно ли сохранить данные в буфере? 3. Как NIFI имеет …
16 окт '18 в 09:50
1
ответ
NiFi: добавить выпадающее меню для ввода пользователем
Пытаюсь что-то проработать в NiFi с помощью пользовательского ввода. Это мое требование: мне нужно принять пользовательский ввод в атрибуте и на основе входных значений я сделаю RouteOnAttribute. Пользовательский ввод содержит несколько параметров (…
01 май '18 в 06:16
2
ответа
Используйте Nifi replaceText, чтобы поменять местами первое или последнее вхождение char/string с другой строкой?
Попытка добавить тег к входящему файлу nifi json. Входные данные: [{"HIT":"DUMMY_3","BatchId":"jkajks981n-1280189nd-129dnbj-2349nbfk","Id":"81274376231"}] Ожидаемый результат: [{"nifi_received_ts_est":"2018-10-04 09:31:50.108","HIT":"DUMMY_3","Batch…
04 окт '18 в 13:50
1
ответ
apache nifi S3 PutObject застрял
Извините, если это глупый вопрос, очень новый для nifi. Настроить группу процессов для выгрузки запросов sql в CSV и затем загрузить их на S3. Хорошо работал с небольшими запросами, но, похоже, застрял с большими файлами. Ограничение входной очереди…
02 ноя '18 в 16:36
1
ответ
Читайте из файла конфигурации в Nifi
Я пытаюсь прочитать файл конфигурации (conf.txt) в Nifi. Основываясь на пути, указанном в этом файле, я хочу настроить пути (например, путь к файлу hdfs, путь к входному каталогу) в процессорах nifi. Это возможно с существующими процессорами или я д…
20 авг '17 в 16:47
1
ответ
Можно ли объединить значения атрибутов JSON с помощью JOLT?
Мне интересно, есть ли способ объединить значения атрибутов JSON в один новый атрибут, используя преобразование JOLT. Например, у меня есть следующий JSON: {"name": "Mary", "Год регистрации": "2017" "Gender": "Female" } и я хотел бы, чтобы это было …
19 янв '17 в 03:02
1
ответ
covertJSONtoSQL возвращает пустые значения в NiFi
Я проектирую работу, которая переносит данные из базы данных в MySQl в другую базу данных (MySQL), используя процессор ExecuteSQL, затем ConvertAvroToJson, затем ConvertJsonToSQL, затем PutSQL, как показано на блок-схеме ниже. ConvertJSONToSQL, возв…
07 дек '17 в 11:07