Настройка свойств конфигурации куста для Presto в EMR

Question

Я пытаюсь обновить свойства разъема улья внутри /etc/presto/conf/catalog/hive.properties, Я добавил следующее:

hive.s3.max-client-retries=50
hive.s3.max-error-retries=50
hive.s3.max-connections=500
hive.s3.connect-timeout=5m
hive.s3.socket-timeout=5m

Но по какой-то причине они не принимаются. Перезапуск сервера Presto завершается с ошибкой:

2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   UNUSED PROPERTIES
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.connect-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-client-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-connections
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-error-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.socket-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   
2018-04-16T19:34:26.587Z    ERROR   main    com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors:

1) Configuration property 'hive.s3.connect-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

2) Configuration property 'hive.s3.max-client-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

3) Configuration property 'hive.s3.max-connections' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

4) Configuration property 'hive.s3.max-error-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5) Configuration property 'hive.s3.socket-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5 errors

Answer 1

Эти свойства применимы, когда hive.s3-file-system-type установлен в PRESTO, Когда это, например. EMRFSэти свойства конфигурации не применимы, и их установка вызывает ошибку, которую вы наблюдаете.

Answer 2

Как упоминал Петр, EMR изменила реализацию FileSystem по умолчанию, начиная с emr-5.12.0, с PrestoS3FileSystem на EmrFS. Свойства PrestoS3FileSystem будут недоступны, но вы можете настроить EmrFS так же, как и для любого другого приложения. См. "EMRFS и PrestoS3FileSystem Configuration" на https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-considerations.html для получения дополнительной информации.