Экспорт Sqoop в Аврору завершился неудачно с завершением mysqlimport с кодом ошибки 143
Я пытаюсь запустить экспорт из S3, который имеет 130 ГБ текстового файла в RDS Aurora .
Размер кластера моей EMR составляет 10 r3.4xlarge. Я создал таблицу из 130 столбцов в RDS и использовал следующую команду для экспорта записей в RDS.
sqoop export \
--direct \
--connect jdbc:mysql://a205067-pcfp-rds-PPPP.ABCD.us-east-1.rds.amazonaws.com/tprdb \
--username tpruser \
--password Welcome12345 \
--table DnB_WB_UniverseMaster \
--export-dir s3://12345-pcfp-latest-new/output/processing/NextIteration/ \
-num-mappers 200 \
--fields-terminated-by '|' \
--batch \
--input-lines-terminated-by '\n' \
-- --default-character-set=latin1
Я могу загружать записи в RDS, когда файлы небольшие, но когда я пытаюсь загрузить полный каталог, он завершился неудачно после выполнения задачи 30 % -й карты.
Вот мои журналы контейнеров.
2018-10-26 09: 51: 50,733 WARN [main] org.apache.hadoop.mapred.YarnChild: исключение, запускающее дочерний элемент: java.io.IOException: mysqlimport завершается с кодом ошибки 143 в org.apache.sqoop.mapreduce.MySQLExportMapper.closeExportHandles(MySQLExportMapper.java:313) в org.apache.sqoop.mapreduce.MySQLExportMapper.writeRecord(MySQLExportMapper.java:384) в org.apache.sqoop.mapreduce.MySQLTextExport (MySQLText.port) (MySQLText).port apache.sqoop.mapreduce. Java:796) в org.apache.hadoop.mapred.MapTask.run(MapTask.java:342) в org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:175) в java.security.AccessController.doPrivileged(собственный метод) в javax.security.auth.Subject.doAs(Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1840) в org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:169)
Как это можно исправить, пожалуйста, предложите