Как писать ульи UDFs

Question

Я так запутался с тем, как использовать UDFS. Можно ли заменить приведенные ниже функции сценария bash на UDF?

#!/bin/bash

 src_count_q="use db;select count(*) from config_table where table_nm="test_source";"
 src_count=$(hive -e $src_count_q)

 trg_count_q="use db;select count(*) from config_table where table_nm="test_target";"
 trg_count=$(hive -e $trg_count_q)

 if ["$src_count" = "trg_count"];
 then
   $(hive -e "use db;select * from test_target;")
 fi

Пожалуйста помоги!! Я видел UDF для того, как отменить строку или изменить регистр. Но я не могу понять, как написать HIVE UDF для такого рода условных случаев, когда мы повторно используем результат запроса.

Есть ли какой-либо другой лучший способ обработки таких потоков запросов?

Answer 1

По моему мнению, вы можете использовать HIVE UDF для включения некоторых функций sql в куст, но вы не можете использовать их для размещения PL-SQL, как вещи. Так что для вашего вопроса вы можете использовать Spark-SQL - лучший способ, который я использовал.