Spark.Sql не может прочитать японский язык (Mutltbyte charater) из таблицы улья?

Question

Я пишу японский символ в таблице улья как часть одной из моих программ. Позже, когда я выбираю это поле в Hive, я могу его прочитать, но когда я читаю его из Spark.sql, он не дает ожидаемого результата.

spark.sql("select SQL_VAL as sql_val from abc.ac_tbl where d_name='2019-07-09_14:26:16.486' ").show()

+-------+
|sql_val|
+-------+
|      ?|
+-------+

Та же таблица, когда запрос из улья дает вывод -

select SQL_VAL as sql_val from abc.ac_tbl where d_name='2019-07-09_14:26:16.486'
sql_val
文