Поддержка Sqoop2 Avro

Question

Поддержка Sqoop2 Avro

Клиентский аргумент sqoop поддерживает экспорт в формате Avro как,

--as-avrodatafile +

Но если взглянуть на Hue и Client Java API для Sqoop, он поддерживает только TEXT_FILE и SEQUENCE_FILE. Как включить поддержку AVRO и какую-либо документацию, как ее использовать? Будет ли Avro создавать схему на основе имен столбцов?

1

avro sqoop cloudera sqoop2

Источник

user632055 24 фев '14 в 18:58

1 ответ

Решение

Другие вопросы по тегам avro sqoop cloudera sqoop2

user1825119 01 мар '14 в 16:35 2014-03-01 16:35 · Accepted Answer · 2014-03-01 16:35

Разница здесь в том, что в настоящее время Sqoop имеет две основные версии - Sqoop 1 и Sqoop 2. Sqoop 1 - более старая стабильная версия, которая поддерживает формат Avro через аргумент --as-avrodatafile. Sqoop 2 - это новая версия, которая была полностью переработана с нуля, чтобы учесть новые варианты использования и исправить некоторые проблемы безопасности. К сожалению, поддержка Avro для Sqoop 2 пока отсутствует. Как это происходит, Hue использует Sqoop 2, и, следовательно, вы не видите возможности импортировать в Avro. Вы все еще можете использовать Sqoop 1, если вам нужен импорт в Avro.