sqoop экспорт таблицы орков улья
У меня есть таблица кустов в формате orc, заполненная pyspark dataframe_writer. Мне нужно экспортировать эту таблицу в oracle. У меня проблемы с экспортом таблицы, потому что sqoop не может разобрать формат файла orc.
Существуют ли какие-либо особые соображения или параметры, которые необходимо указать с помощью команды sqoop для экспорта таблицы Hive Orc.
2 ответа
Простой запрос Google указывает на это сообщение в блоге, помеченное довольно явно...
Как Sqoop экспортировать таблицу ORC Hive в базу данных Oracle?
И есть также этот пост с надписью...
Чтение файлов ORC и помещение в RDBMS?
Похоже, что вы не проводили никаких исследований.
Кстати, вы рассматривали возможность использования Spark для отправки данных непосредственно в промежуточную таблицу Oracle через JDBC без промежуточного дампа ORC?
Я просто работал на том же sqoop от орка до Oracle. Убедитесь, что у вас есть таблица ORC, предварительно созданная с правильными типами данных, как у вас в dataframe. Тот же порядок столбцов также облегчит sqoop. Если вы пробовали какую-либо команду, пожалуйста, отправьте ее.