apache flink + knox gateway
Мне нужно обработать файлы в каталоге HDFS (около 100 файлов), используя flink. В документации есть информация о клавиатурных ярлыках. Но у меня также есть шлюз knox, настроенный на мой кластер hadoop. Как я могу подключиться через flink, используя knox gateway to hadoop?
Другой вариант, у меня уже есть библиотека knox, которая на самом деле подключается к кластеру hdfs и загружает файлы в локальный vm. Учитывая, что Flink имеет внутреннюю оптимизацию для чтения файлов, я не уверен, как я могу интегрироваться в эту библиотеку.