Описание тега apache-falcon
Apache Falcon - платформа для управления каналами и обработки данных
0
ответов
Код ошибки Oozie: E1100 & ОШИБКА, причина: основной класс [org.apache.oozie.action.hadoop.ShellMain], код выхода [1]
Здравствуйте, я пытаюсь сделать этот пример Hadoop Data Pipeline... здесь я запускаю Flume agent, где Flume копирует файлы из локального в HDFS, а Falcon выполняет обработку файлов данных, и после обработки данных будет доступна линия обработки Hive…
22 фев '16 в 09:20
1
ответ
Нужно ли устанавливать Falcon Prism на отдельную машину, а не на существующие кластеры?
Я пытаюсь понять настройку для распределенного кластера Falcon. У меня есть кластер A и кластер B, оба со своими серверами Falcon (и namenode, oozie, hive и т. Д.). Теперь, чтобы установить Prism, что было бы лучшей идеей? Должен ли я установить его…
04 ноя '15 в 00:41
0
ответов
Задание не отвечает - всегда в статусе "Бег"
Я следовал за официальным документом, чтобы привести примеры, которые они предоставили. я могу видеть статус слизни как "нормальный". я попытался запустить пример задания oozie sqoop, изменив имя узла и адрес трекера задания. файл job.property nameN…
16 апр '18 в 06:44
2
ответа
Представление сущности кластера Сокол
Я получаю сообщение об ошибке при попытке отправить свой кластерный объект в Falcon. Ошибка вывода при отправке: org.apache.falcon.client.FalconCLIException: Bad Request;Cluster definition missing required namenode credential property: dfs.namenode.…
23 дек '15 в 03:40
1
ответ
Сокол против Вандиско нон-стоп
Вариант использования: мне нужно скопировать все мои данные из кластера HDFS в другой кластер с тем же набором мастеров и подчиненных, и я освобожу предыдущий кластер и запускаю свои задания в новом кластере. Я читал об Apache Falcon и Wandisco, кот…
24 фев '15 в 11:55
1
ответ
Роль сокола в экосистеме Hadoop
Я должен работать над зеркалированием кластера, где мне нужно настроить аналогичный кластер HDFS (тот же главный и подчиненный), как существующий, и скопировать данные в новый, а затем запустить те же задания, что и у меня. Я читал о соколе как инст…
24 фев '15 в 07:03
0
ответов
Добавление собственного движка в Apache Falcon
В настоящее время Falcon поддерживает 4 двигателя, таких как oozie, pig, hive, spark. Можно ли добавить еще один движок? Я знаю, что могу запускать свои собственные сценарии в oozie. Но я хочу добавить свой собственный движок в Apache Falcon. Может …
27 июн '17 в 10:25
1
ответ
Apache Falcon: Настройка конвейера данных в реальном кластере [Ошибка загрузки данных, ошибка: 400 неверный запрос]
Я пытаюсь реализовать пример конвейера данных HotonWorks в реальном кластере. В моем кластере установлена версия HDP 2.2, но в пользовательском интерфейсе появляется следующая ошибка для вкладок процессов и наборов данных Failed to load data. Erro…
21 авг '15 в 07:31
2
ответа
Резервное копирование данных Apache Falcon
Я не могу сделать резервную копию данных из одного кластера Hadoop в другой, используя Apache Falcon. Каковы методы резервного копирования данных из одного кластера в другой? Существует ли какой-либо объект процесса или рабочий процесс oozie, необхо…
02 июн '15 в 06:57
1
ответ
Невозможно запланировать процесс сокола - Не удалось выполнить операцию авторизации, java.io.IOException: Не удалось настроить потоки ввода-вывода
Привет, я пытаюсь запланировать процесс сокола, используя сокол CLI и пользователя службы сокола в кластере Kerberised. Я получаю следующее сообщение об ошибке: ERROR: Bad Request;default/org.apache.falcon.FalconWebException::org.apache.falcon.Falco…
07 июл '16 в 05:04
2
ответа
APACHE NIFI против APACHE AIRFLOW против APACHE FALCON? Что лучше всего подходит в приведенном ниже сценарии?
Я разрабатываю решение на Java, которое взаимодействует с набором устройств через API REST, принадлежащее различным поставщикам. Таким образом, для каждого поставщика есть набор процессов, которые я должен выполнить внутри своего решения. Тем не мен…
12 ноя '18 в 06:31
1
ответ
Apache Falcon feed не получает при создании процесса
Я создал фид с помощью сокола UI, но он не отображается в выпадающем списке шагов создания процесса. При выводе фидов через командную строку он также не отображается.. Но канал доступен в Falcon UI Search.. Любые другие шаги, связанные с регистрацие…
12 май '16 в 16:44
0
ответов
Правила хранения Apache Falcon
Я хочу использовать Apache Falcon для очистки моего кластера в отношении некоторых основных правил хранения (например, "Я хочу удалить все данные старше XX дней в этом пути HDFS"). Я смог создать свой кластер и каналы: я создал 1 канал для каждого п…
12 дек '17 в 13:43
1
ответ
Можем ли мы установить Apache Falcon в HDP 3?
Apache Falcon может быть установлен с HDP 2.x. Но я не смог найти способ установки с HDP 3.x. Есть ли способ установить Falcon с HDP 3.x
03 май '19 в 10:42
2
ответа
График зависимости трубопровода
Я хочу создать граф зависимостей для нескольких конвейеров в моем кластере. Я пытаюсь показать начальную и конечную точку моих данных и все потоки данных между двумя точками. Я хочу использовать Apache Airflow или Apache Falcon для выполнения этой з…
17 июл '19 в 21:01
0
ответов
Невозможно инициализировать клиентский объект сокола
Запуск Falcon SERVER выдает мне ошибки: когда я выполняю "./bin/falcon admin -version", он показывает вывод, приведенный ниже на консоли. Hadoop is installed, adding hadoop classpath to falcon classpath SLF4J: Class path contains multiple SLF4J bind…
24 июл '19 в 22:13
0
ответов
Не удалось запустить задачу: 'npm install --color=false --proxy=http://proxy.company.com:8080'
Maven clean install генерирует следующие ошибки при попытке выполнить 'npm install' для Falcon UI [INFO] Running 'npm install --color=false --proxy=http://proxy.esl.cisco.com:8080' in /home/hadoop/falcon/falcon-ui [ERROR] npm WARN package.json Falco…
31 июл '19 в 01:09