ошибка импорта sqoop HCat вышел со статусом
Я запускаю следующий импорт sqoop из Teradata:
sqoop import --driver com.teradata.jdbc.TeraDriver \
--connect jdbc:teradata://telearg7/DATABASE=AR_PROD_HUB_DIM_VW,CHARSET=UTF8,CLIENT_CHARSET=UTF-8,TCP=SEND1500,TCP=RECEIVE1500 \
--verbose \
--username ld_hadoop \
--password xxxx \
--query "SELECT G.suscripcion_id , G.valor_recurso_primario_cd , G.suscripcion_cd , G.fecha_migra_id FROM ( SELECT DISTINCT a.suscripcion_id as suscripcion_id, a.valor_recurso_primario_cd as valor_recurso_primario_cd , f.suscripcion_cd as suscripcion_cd, a.fecha_fin_orden_id AS fecha_migra_id , row_number() over (partition by a.valor_recurso_primario_CD order by a.Fecha_Fin_Orden_ID DESC) as row_num FROM AR_PROD_HUB_DIM_VW.F_TR_CAMBIO_OFERTA_D A INNER JOIN AR_PROD_HUB_DIM_VW.D_ESTADO_OPERACION B ON A.ESTADO_OPERACION_ID = B.ESTADO_OPERACION_ID INNER JOIN AR_PROD_HUB_DIM_VW.D_ESTADO_ORDEN C ON A.ESTADO_ORDEN_ID = C.ESTADO_ORDEN_ID INNER JOIN AR_PROD_HUB_DIM_VW.D_TIPO_OFERTA D ON A.TIPO_OFERTA_ID = D.TIPO_OFERTA_ID INNER JOIN AR_PROD_HUB_DIM_VW.D_TIPO_OFERTA E ON A.TIPO_OFERTA_ANTERIOR_ID = E.TIPO_OFERTA_ID INNER JOIN AR_PROD_HUB_DIM_VW.D_Suscripcion F ON a.Suscripcion_ID = F.Suscripcion_ID WHERE FECHA_FIN_ORDEN_ID BETWEEN CURRENT_DATE-15 and CURRENT_DATE AND B.ESTADO_OPERACION_CD = 'DO' AND C.ESTADO_ORDEN_CD = 'DO' AND D.TIPO_OFERTA_DE IN ('PortePagado', 'PRE', 'Prepaid') AND E.TIPO_OFERTA_DE NOT IN ('PortePagado', 'PRE', 'Prepaid') ) G WHERE \$CONDITIONS AND G.ROW_NUM = 1" \
--hcatalog-database TRAFICO \
--hcatalog-table CRITERIO_TEM_MIGNEG_TMP \
--create-hcatalog-table \
--hcatalog-storage-stanza "stored as orcfile tblproperties ('EXTERNAL'='TRUE')" -m 1
И это дает мне следующую ошибку:
05.22.11 12:16:15 ИНФОРМАЦИЯ hcat.SqoopHCatUtilities: Причина: java.lang.NullPointerException .DDLSemanticAnalyzerFactory.(DDLSemanticAnalyzerFactory.java:79) 22/05/11 12:16:16 DEBUG manager.SqlManager: закрытие соединения с базой данных ERROR tool.ImportTool: Ошибка импорта: java.io.IOException: HCat завершил работу со статусом 1 в организации .apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.executeExternalHCatProgram(SqoopHCatUtilities.java:1252) в org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.launchHCatCli(SqoopHCatUtilities.java:1201) в org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.createHCatTable(SqoopHCatUtilities.java:735) в org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.configureHCat(SqoopHCatUtilities.java:394) в org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.configureImportOutputFormat(SqoopHCatUtilities.java:904) в org.apache.sqoop.mapreduce.ImportJobBase.configureOutputFormat(ImportJobBase.java:100) в org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:265) в org.apache .sqoop.manager.SqlManager.importQuery(SqlManager.java:732) в org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:549) в org.apache.sqoop.tool.ImportTool.run(ImportTool.java:653) в org.apache.sqoop.Sqoop.run(Sqoop.java:151) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.sqoop.Sqoop.runSqoop( Sqoop.java:187) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:241) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:250) в org.apache.sqoop.Sqoop.main (Sqoop.java:259)100) в org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:265) в org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:732) в org.apache.sqoop.tool.ImportTool .importTable(ImportTool.java:549) в org.apache.sqoop.tool.ImportTool.run(ImportTool.java:653) в org.apache.sqoop.Sqoop.run(Sqoop.java:151) в org.apache. hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:187) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:241) в org. .apache.sqoop.Sqoop.runTool(Sqoop.java:250) на org.apache.sqoop.Sqoop.main(Sqoop.java:259)100) в org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:265) в org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:732) в org.apache.sqoop.tool.ImportTool .importTable(ImportTool.java:549) в org.apache.sqoop.tool.ImportTool.run(ImportTool.java:653) в org.apache.sqoop.Sqoop.run(Sqoop.java:151) в org.apache. hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:187) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:241) в org. .apache.sqoop.Sqoop.runTool(Sqoop.java:250) на org.apache.sqoop.Sqoop.main(Sqoop.java:259)run(ImportTool.java:653) в org.apache.sqoop.Sqoop.run(Sqoop.java:151) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.sqoop .Sqoop.runSqoop(Sqoop.java:187) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:241) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:250) в org.apache. sqoop.Sqoop.main(Sqoop.java:259)run(ImportTool.java:653) в org.apache.sqoop.Sqoop.run(Sqoop.java:151) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.sqoop .Sqoop.runSqoop(Sqoop.java:187) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:241) в org.apache.sqoop.Sqoop.runTool(Sqoop.java:250) в org.apache. sqoop.Sqoop.main(Sqoop.java:259)
Я запускаю sql из teradata, и он работает, он приносит записи, которые нужно импортировать в Hive. В Hive таблица TRAFFIC.CRITERIO_TEM_MIGNEG_TMP удаляется перед импортом. Запускаю и не могу решить ошибку.
Любое предложение?
Это версия Улья:
Улей 3.1.3000.7.1.7.1000-141
Это версия Hadoop
Hadoop 3.1.1.7.1.7.1000-141 Репозиторий исходного кода [Электронная почта защищена] : CDH/HADOOP.GIT -R 8225796FC6D7984F835C3F63F1FEB1EFB1E4784A, составленной с Jenkins на SCECKING. был запущен с использованием /opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p1000.24102687/lib/hadoop/hadoop-common-3.1.1.7.1.7.1000-141.jar