Flink S3 Hadoop 2.8.0
Мы пытались использовать S3 для состояния и контрольных точек Flink и использовали бакет во Франкфурте (аутентификация V4). Он выдал ошибку, которую я разместил здесь ( Невозможно получить доступ к S3, с помощью Hadoop), и это произошло из-за hadoop. Однако hadoop 2.8.0 работает, но пока нет поддержки Flink.
Угадай мой вопрос, когда Flink предложит версию, основанную на hadoop 2.8.0?
2 ответа
Вероятно, Flink предложит версию Hadoop 2.8.0 после выхода этой версии Hadoop.
А пока вы можете создать Flink самостоятельно с помощью специальной версии Hadoop:
mvn clean install -DskipTests -Dhadoop.version=2.8.0
Hadoop 2.7.x работает с конечными точками API Франкфурта и v4. Если у вас возникли проблемы, проверьте версию joda-time как нечетную комбинацию старых JAR-файлов joda-time и версий Java, что приводит к тому, что AWS получает неверно отформатированную временную метку, которую затем отклоняет в вездесущем сообщении "bad auth".