Исключение запроса выбора куста по искру создает внешнюю таблицу, используя формат ORC
Я создал образец таблицы с помощью spark-shell. Записать рамку данных во внешнюю таблицу в формате ORC по разделам. Это рабочий файл с возможностью чтения / записи в оболочке spark. Но когда я попытался распространить тот же самый запрос выбора на оболочку улья, он выдал исключение.
Ниже код, который я реализовал
scala> val df = sc.parallelize(Seq((1,"Sudhir",30),(2,"Sourabh",27),(3,"Suman",35),(4,"Basu",30))).toDF("ID", "имя", "возраст")
Режим Scala>df.write.partitionBy("возраст"). Формат ("ORC"). (SaveMode.Append).saveAsTable ("Abc1")
scala> val df3 = sqlContext.sql ("выбрать * из abc1")
scala> df3.dropDuplicates (Seq ("id")). show ()
Требуемое время: 0,486 секунды, Извлечено: улей 35 строк (sba_db_2018)> select * from Abc1; OK abc1.col Не удалось выполнить исключение. Java.io.IOException:java.io.IOException: hdfs://nag1-vm-sprintba-11.synapse.com:8020/apps/hive/warehouse/sba_db_2018.db/abc1/age=27/part-r-00001-31ebd621-02bb-4db5-9170-5405010e68fd.orc. Не занято SequenceFile: 0,147 секунд