Улей неверная проверка заголовка

Question

Улей неверная проверка заголовка

Я хочу сделать запрос из файла.gz, который я импортировал в таблицу кустов, но когда я использую некоторые запросы, которые, например, требуют задания Map-Reduce: выберите количество (*) из теста; это показывает ниже ошибки:

 java.io.IOException: incorrect header check
    at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(Native Method)
    at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:228)
    at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:111)
    at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:105)

Я проверил и обнаружил, что Z LIB является кодеком компрессора по умолчанию. Я попробовал с файлом bzip, и все было в порядке. но как я могу использовать.gz файл. Как я могу изменить кодек по умолчанию, который может поддерживать файл gz?

2

hadoop hive gz

Источник

user6224375 07 янв '17 в 12:37

2 ответа

Другие вопросы по тегам hadoop hive gz

user1939568 12 июн '18 в 11:36 2018-06-12 11:36 · Answer 1 · 2018-06-12 11:36

У меня была похожая проблема, в моем случае проблема заключалась в том, что файлы в папке были разных форматов, как немногие были CSV, а другие паркет. как только я сохранил один формат файла, проблема была решена.

0

Источник

user1939568 12 июн '18 в 11:36

user5061667 14 мар '17 в 23:28 2017-03-14 23:28 · Answer 2 · 2017-03-14 23:28

Я столкнулся с той же ошибкой, хотя я могу прочитать несколько первых записей, но нет. записей с ошибкой с той же ошибкой.

Я решил проблему, просто переименовав мой простой (несжатый) файл в.txt. Ранее мое имя файла было; Я переименовал его в.txt. Также, если вы распакуете любой файл теста, вы можете прочитать данные из него.

И если вы хотите протестировать количество записей, как описано выше, он выполнит полное сканирование, которое точно сообщит вам, правильно ли загружены данные или нет.

Я разместил это решение в другом месте