Как мы можем использовать apache camel для подключения hdfs с помощью httpfs

Я использовал camel для подключения hdfs, и он работал нормально. Но у нас запланирована миграция, и у новых серверов нет прямого подключения к namenode(порт 8020), поэтому нельзя использовать компонент camel-hdfs. Похоже, нам нужно использовать httpfs(порт 14000) для подключения hdfs. Я не вижу как таковых примеров подключения hdfs с использованием camel без компонента camel-hdfs. Как мы можем добиться такого?

У меня есть один обходной путь - создать процессор, который будет выполнять передачу через httpfs. Мне интересно, могу ли я использовать любой компонент (например, camel-hdfs/camel-hdfs2) для достижения того же?

Также для кластера hadop требуется проверка подлинности Kerberos, поэтому мы тоже должны управлять этим.

0 ответов

Другие вопросы по тегам