Создание внешней таблицы в Hive из Spark

Question

Я получаю сообщение об ошибке ниже при попытке создать внешнюю таблицу в Hive из Spark и сохранить содержимое.

 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-

Я даже попытался установить разрешение для папки /tmp/hive для chmod 777, но безуспешно.

Answer 1

Лучший способ установить рабочий каталог - это /user/${username}/tmp/hive в hive-site.xml. Таким образом, все детали запроса будут записаны в отправленный пользователем каталог пользователя. В этом случае вам не нужно менять разрешения, чтобы он поцарапал каталог. В противном случае глобальный каталог должен быть доступен для записи всем пользователям.

Answer 2

Проверьте в hive-site.xml, если вы в первую очередь используете hdfs, cfs или локальную файловую систему.

Для cfs вам придется использовать sudo dse hadoop fs -chmod 777 /tmp/hive

Для hdfs вам придется использовать sudo hdfs dfs -chmod 777 /tmp/hive или же sudo hadoop fs -chmod 777 /tmp/hive

А местный, я думаю, ты уже позаботился.

Answer 3

Вы можете ошибаться, давая разрешение, потому что я думаю, что вы дали разрешение местному /tmp/hive каталог, но вы должны дать разрешение на /tmp/hive в HDFS

hadoop fs -chmod 777 /tmp/hive