Невозможно создать родительские каталоги с помощью Apache Beam/Apache Flink
Когда я пытаюсь развернуть тестовый проект с использованием Apache Beam и Apache Flink с использованием контейнера Docker (режим кластера), я получаю эту ошибку:
org.apache.beam.sdk.util.UserCodeException: java.io.IOException: Unable to create parent directories for '/home/beam-test/.temp-beam-2018-06-15_12-57-41-0/549f66ca-c1f8-42d7-91e8-dec27f0689b7'
at org.apache.beam.sdk.util.UserCodeException.wrap(UserCodeException.java:36)
at org.apache.beam.sdk.io.WriteFiles$WriteUnshardedTempFilesWithSpillingFn$DoFnInvoker.invokeProcessElement(Unknown Source)
at org.apache.beam.runners.core.SimpleDoFnRunner.invokeProcessElement(SimpleDoFnRunner.java:177)
at org.apache.beam.runners.core.SimpleDoFnRunner.processElement(SimpleDoFnRunner.java:138)
at org.apache.beam.runners.flink.metrics.DoFnRunnerWithMetricsUpdate.processElement(DoFnRunnerWithMetricsUpdate.java:65)
at org.apache.beam.runners.flink.translation.functions.FlinkDoFnFunction.mapPartition(FlinkDoFnFunction.java:120)
at org.apache.flink.runtime.operators.MapPartitionDriver.run(MapPartitionDriver.java:103)
at org.apache.flink.runtime.operators.BatchTask.run(BatchTask.java:503)
at org.apache.flink.runtime.operators.BatchTask.invoke(BatchTask.java:368)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:703)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: Unable to create parent directories for '/home/beam-test/.temp-beam-2018-06-15_12-57-41-0/549f66ca-c1f8-42d7-91e8-dec27f0689b7'
at org.apache.beam.sdk.io.LocalFileSystem.create(LocalFileSystem.java:103)
at org.apache.beam.sdk.io.LocalFileSystem.create(LocalFileSystem.java:78)
at org.apache.beam.sdk.io.FileSystems.create(FileSystems.java:248)
at org.apache.beam.sdk.io.FileSystems.create(FileSystems.java:235)
at org.apache.beam.sdk.io.FileBasedSink$Writer.open(FileBasedSink.java:923)
at org.apache.beam.sdk.io.WriteFiles$WriteUnshardedTempFilesWithSpillingFn.processElement(WriteFiles.java:503)
Я попытался смонтировать том докера, чтобы поместить входные и выходные файлы, но в середине процесса, когда он пытается создать временный каталог, он терпит неудачу.
Я проверил права владельца и группы на том докера, и все в порядке (вручную я могу создавать и удалять файлы и каталоги внутри).
У вас есть идеи, почему это может происходить?
Может ли это быть проблемой с JDK и Flink Docker Image?
Образ Docker: Flink ( https://hub.docker.com/r/library/flink/) Установлен JDK: Openjdk версия "1.8.0_171" Среда выполнения OpenJDK (сборка 1.8.0_171-8u171-b11-1~deb9u1-b11 64-разрядная серверная виртуальная машина OpenJDK (сборка 25.171-b11, смешанный режим)