Как получить доступ к данным из озона с помощью flink?

Question

Когда я использую Flink для доступа к файловой системе ozone, я настраиваю соответствующие файлы конфигурации и помещаю соответствующие файлы jar в путь к классам Hadoop. Сообщается об ошибке при доступе к файловой системе с использованием подсчета слов.

среда:

• хауп3.2.2
• Флинк1.12.1
• Озон1.2.1
• JDK1.8

Но если я выполнюhadoop fs -ls ofs://jykj0.yarn.com/в одиночку нет проблем.

Ниже приведен мой конфигурационный файл core-site.xml:

      <property>
  <name>fs.ofs.impl</name>
  <value>org.apache.hadoop.fs.ozone.RootedOzoneFileSystem</value>
</property>

<property>
  <name>fs.AbstractFileSystem.ofs.impl</name>
  <value>org.apache.hadoop.fs.ozone.OzoneFileSystem</value>
 <value>org.apache.hadoop.fs.ozone.RootedOzoneFileSystem</value>
</property>

Answer 1

В настоящее время Flink не поддерживает Ozone. Существует https://issues.apache.org/jira/browse/FLINK-28231 , который вы можете отслеживать для возможного добавления поддержки для этого.