Динамический раздел с импортом Sqoop
В документации sqoop говорится, что Sqoop можно использовать для импорта данных в Hive с динамическим разделом. Но не удалось найти никакого примера для этого. Кто-нибудь пробовал это.
Функция Sqoop HCatalog поддерживает следующие типы таблиц:
- Нераспределенные таблицы
- Секционированные таблицы с указанным статическим ключом секционирования
- Секционированные таблицы с динамическими ключами секционирования из набора результатов базы данных
- Секционированные таблицы с комбинацией статического ключа и дополнительных динамических ключей секционирования
Я ищу вариант № 3.
Заранее спасибо.
1 ответ
Я думаю, что документация Sqoop отстает. В экосистеме Hadoop часто встречаются функции, представленные в версии X и документированные в версии X+1.
С другой стороны, это функция HCatalog, представленная в Sqoop, так почему бы вам не проверить документацию HCatalog в разделе " Динамическое разбиение"?
;-)