Как читать CSV в локальной файловой системе (не hdfs), используя hive?
Может ли Apache Hive создать внешнюю таблицу по пути локальной файловой системы linux, а не по hdf? В документации нет примеров использования локальной файловой системы, но я знаю, что с hadoop-aws jar s3 может быть внешней файловой системой. Поэтому интересно, есть ли еще один jar, который может позволить внешним таблицам просматривать локальную файловую систему.
1 ответ
Решение
Вы можете сначала загрузить файл в HDFS, используя hdfs dfs -put а затем создайте внешнюю таблицу Hive поверх этого.
Причина, по которой Hive не может создать внешнюю таблицу для локального файла, заключается в том, что когда Hive обрабатывает данные, фактическая обработка происходит в кластере Hadoop, где ваш локальный файл может быть вообще недоступен.