Задание AWS Glue выполняется правильно, но возвращает ошибку об отказе в соединении

Question

Я выполняю тестовую работу на AWS. Я читаю данные CSV из корзины S3, выполняю задание GLUE ETL и сохраняю те же данные в Amazon Redshift. Работа GLUE - это просто чтение данных из S3 и сохранение в Redshift без каких-либо изменений. Работа выполняется нормально, и я получаю желаемый результат в Redshift, но он возвращает ошибку, которую я не могу понять.

Вот журнал ошибок:

18/11/14 09:17:31 WARN YarnClient: The GET request failed for the URL http://169.254.76.1:8088/ws/v1/cluster/apps/application_1542186720539_0001
com.amazon.ws.emr.hadoop.fs.shaded.org.apache.http.conn.HttpHostConnectException: Connect to 169.254.76.1:8088 [/169.254.76.1] failed: Connection refused (Connection refused)

Это скорее ПРЕДУПРЕЖДЕНИЕ, чем ошибка, но я хочу понять, что является причиной ПРЕДУПРЕЖДЕНИЯ. Я попытался найти IP-адрес, указанный в ПРЕДУПРЕЖДЕНИИ, но я не смог найти машину с указанным IP-адресом.

Answer 1

Я заметил, что эта ошибка возникает в моем задании AWS Glue, поэтому я нашел кое-что, что может быть полезно от AWS:

This WARN message is not so special, and does not mean job failure or any errors directly. I guess there should be other cause.
I would recommend you to enable continuous logging, and check both driver/executor logs to see if there are any suspicious behavior.
If you enable job bookmark, please try disabling it and see how it goes without bookmark.

https://forums.aws.amazon.com/thread.jspa?messageID=927547

С самого начала у меня были отключенные закладки. Я проверяю, что мое задание Glue записывает данные в S3 и имеет исключение для каждой памяти, поэтому я перераспределил данные.

MyDynamicFrame.coalesce(100).write.partitionBy("month").mode("overwrite").parquet("s3://"+bucket+"/"+path+"/out_data")

поэтому, если у вас есть какие-то операции записи, я рекомендую проверить, как вы пишете на S3