Получите доступ к s3n URL через hadoop и укажите на riak cs

Question

У меня есть код, написанный для Amazon EMR с использованием S3 и S3N URL-адресов в Hadoop.

например, свинья:

X = LOAD("s3n://testbucket/testfile.txt") using PigStorage();

Я хотел бы продолжить использование кода и перейти на использование Riak-CS вместо amazon s3.

то есть, я бы хотел, чтобы этот URL-адрес s3 указывал на мой Riak CS Cluster, где я буду устанавливать корзину и файл.

Есть ли возможность в конфигурации Hadoop для маршрутизации URL-адресов s3n через прокси или конкретное имя хоста.

Answer 1

Настройте jets3t.properties, чтобы увидеть конечную точку Riak CS. Пример для локальной настройки находится здесь: http://qiita.com/kuenishi/items/71b3cda9bbd1a0bc4f9e

> cat conf/jets3t.properties
s3service.https-only=false
#s3service.s3-endpoint=localhost
#s3service.s3-endpoint-http-port=8080
#s3service.s3-endpoint-https-port=8080
#s3service.disable-dns-buckets=true

httpclient.proxy-autodetect=false
httpclient.proxy-host=localhost
httpclient.proxy-port=8080
httpclient.retry-max=11