Как удалить записи об ошибках из динамического фрейма данных в клею AWS?

Question

У меня есть динамический фрейм данных, который содержит записи об ошибках. Пожалуйста, найдите код ниже.

val rawDataFrame = glueContext.getCatalogSource(database = rawDBName, tableName = rawTBLName).getDynamicFrame();
    println(s"RAW_DF-----count: ${rawDataFrame.count} errors: ${rawDataFrame.errorsCount}")

Вышеуказанный оператор печати печатается, как показано ниже.

RAW_DF-----count: 168456 errors: 4

Мне нужно создать динамический фрейм данных, который содержит только 168456 записей, и мне нужно устранить 4 записи об ошибках. Пожалуйста, помогите.

Answer 1

Записи об ошибках не преобразуются в DataFrame Spark, поэтому попробуйте преобразовать DynamicFrame в df и обратно:

val noErrorsDyf = DynamicFrame(rawDataFrame.toDF(), glueContext)