Данные в файлах HDFS не отображаются под таблицей улья
Я должен создать таблицу улья из данных, представленных в таблицах оракула. Я делаю sqoop, тем самым преобразуя данные оракула в файлы HDFS. Затем я создаю таблицу кустов для файлов HDFS. Sqoop завершается успешно, и файлы также генерируются в целевом каталоге HDFS. Затем я запускаю скрипт создания таблицы в улье. Таблицы создаются. Но это пустая таблица, в таблице кустов никаких данных не видно.
Кто-нибудь сталкивался с подобной проблемой?
2 ответа
Разделителем по умолчанию для куста является ctrlA, если вы не указали какой-либо разделитель, он примет разделитель по умолчанию. Добавьте строку ниже в вашем скрипте улья.
поля с разделителями в формате строки, оканчивающиеся на '\t'
Ваш сценарий Hive и ваши ожидания неверны. Вы пытаетесь создать секционированную таблицу для данных, которые вы уже импортировали, разделы не будут работать таким образом. Если в вашем запросе нет раздела, вы можете просмотреть данные.
В основном, если вы хотите секционированную таблицу, вы не можете создавать на основе данных, как вы пытались выше. Если вы хотите, чтобы раздел Hive загружал данные из промежуточной таблицы или из этого каталога sqoop в вашу многораздельную таблицу, чтобы получить разделы Hive.