Искра: Ключ не найден
Я пытаюсь вставить в таблицу улья из искры, используя следующий синтаксис.
tranl1.write.mode("overwrite").partitionBy("t_date").insertInto("tran_spark_part")
Замечания: tranl1 это DF, я создал его для загрузки данных из оракула.
val tranl1 = sqlContext.load("jdbc", Map("url" -> "jdbc:oracle:thin:userid/pwd@localhost:portid","dbtable" -> "(select a.*,to_char(to_date(trunc(txn_date,'DD'),'dd-MM-yy')) as t_date from table a WHERE TXN_DATE >= TRUNC(sysdate,'DD'))"))
мой стол в улье:
создать таблицу tran_spark_part(строка идентификатора, строка суммы, строка creditaccount, строка creditbankname, строка creditvpa, строка customerid, строка debitaccount, строка debitbankname, строка debitvpa, строка irc, строка refid, строка примечаний, строка rrn, строка состояния, строка txn_date, строка txnid строка, строка типа, строка expiry_date, строка ApprovNum, строка msgid, строка seqno, строка upirc, строка обращения, строка trantype), разделенная на (строка date1);
Однако когда я бегу
tranl1.write.mode("overwrite").partitionBy("t_date").insertInto("tran_spark_part")
это дает ошибку:
java.util.NoSuchElementException: key not found: date1
Пожалуйста, помогите мне, что я пропускаю или делаю неправильно?