Можем ли мы Sqoop данных в Hive с динамическим разделом?
Я изучаю Hadoop и, практикуя Sqoop, попал в ситуацию, когда Hive импортирует с разметкой. С помощью приведенного ниже запроса Sqoop я могу разделиться на Hive.
>sqoop import
--driver com.mysql.jdbc.Driver --connect jdbc:mysql://localhost:3306/practice_db --username root --password root
--hive-import --hive-database hive_practice_db --hive-table banktab_partition
--hive-partition-key year --hive-partition-value '2015'
--query "select id, report, revenue, country from banktab where year=2015 and \$CONDITIONS"
-m 1 --target-dir /user/banktab_part/;
Здесь разделение по столбцу year и указание года и выполнение запроса Sqoop - выполнение статического разбиения.
Но есть ли возможный способ Sqoop с динамическим разбиением?? (как мы делаем в Улье)
Также будут оценены предложения по оптимизации вышеуказанного запроса или любые ошибки.
Примечание. Таблица RDBMS содержит столбцы (по порядку) - идентификатор, отчет, доход, страна и год.