Informatica CDC отклоняет данные
Наш источник - система Oracle ERP, где мы установили Informatica CDC, наша цель - таблицы Greenplum, в которые мы загружаем данные в виде логики 1-1. Мы выполняем сессию в режиме реального времени, что означает, что сессия будет продолжаться, когда любые изменения произошли в источнике, сессия будет обрабатываться и отражаться в целевой таблице.
Мы получаем следующую ошибку с отклонением данных.
2015-09-15 12:31:42: ОШИБКА: (22994 | WRITER_1_ _1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: WRT_8229: Произошли ошибки базы данных: FnName: Выполнить - [Informatica][Разъем ODBC Greenplum Wire Protocol] закрыто. 2015-09-15 12:31:42: ОШИБКА: (22994 | WRITER_1_ _1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: WRT_8425: ОШИБКА: сбой выполнения модуля записи. 2015-09-15 12:31:42: ОШИБКА: (22994 | WRITER_1_ _1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: WRT_8164: Ошибка загрузки в целевой объект [ods_oe_sales_credits]: 2015-09-15 12:31:42: ОШИБКА: (22994 | WRITER_1_ _1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: WRT_8114: строка № [1] в плохом файле
2015-09-15 12:31:42: INFO: (22994 | WRITER_1_*_1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: CMN_1053:: Rowdata: ( RowType=1(обновление) Src Rowid=1 Targ Rowid=1 sales_credit (sales_credit_id:BigInt:): "19094" creation_date (creation_date:Date:): "15.09.2015 03:01:27.000000000" creation_by (creation_by:Double:): "1193.000000000000" last_update_date (last_update_date:Date:): " 15.09.2015 03: 01: 27.000000000 "
last_updated_by (last_updated_by: Double:): "1193.000000000000"
last_update_login (last_update_login: Double:): "240638.0000000000"
header_id (header_id: BigInt:): "27535" salesrep_id (salesrep_id: BigInt:): "-3" процент (процент:Double:): "100.0000000000000" line_id (line_id:BigInt:): "(NULL)" контекст (контекст:Char.60:): "(NULL)" attribute1 (attribute1:Char.480:): "(NULL)" attribute2 (attribute2:Char.480:): "(NULL)" attribute3 (attribute3:Char.480:): "(NULL)" attribute4 (attribute4:Char.480:): "(NULL)" attribute5 (attribute5:Char.480:): "(NULL)" attribute6 (attribute6:Char.480:): "(NULL)" attribute7 (attribute7:Char.480:): "(NULL)" attribute8 (attribute8:Char.480:): "(NULL)" attribute9 (attribute9:Char.480:): "(NULL)" attribute10 (attribute10):Char.480:): "(NULL)" attribute11 (attribute11:Char.480:): "(NULL)" attribute12 (attribute12:Char.480:): "(NULL)" attribute13 (attribute13:Char.480:): "(NULL)" attribute14 (attribute14:Char.480:): "(NULL)" attribute15 (attribute15:Char.480:): "(NULL)" dw_update_advice_flag (dw_update_advice_flag:Char.2:): "(NULL)) "wh_update_date (wh_update_date: Date:):" (NULL) "orig_sys_credit_r ef (orig_sys_credit_ref: Char.100:): "OE_SALES_CREDITS19094"
sales_credit_type_id (sales_credit_type_id: BigInt:): "1"
lock_control (lock_control: Double:): "1.000000000000000"
sales_group_id (sales_group_id: BigInt:): "-1"
sales_group_updated_flag (sales_group_updated_flag: Char.2:): "(NULL)" inst_id (inst_id: BigInt:): "(NULL)" md_source_system (md_source_system: Double:): "1.000000000000000000" флаг (флаг: Char.2:): " Я " md_deleted_flag (md_deleted_flag:Char.2:): "(NULL)" change_ts (change_ts:Date:): " 15.09.2015 03: 01: 42.000000000 ")2015-09-15 12:31:42: ОШИБКА: (22994 | WRITER_1_ _1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: WRT_8164: Ошибка загрузки в целевой объект [ods_oe_sales_credits]: неверные строки превысили порог сеанса [1] 2015-09- 15 12:31:42: INFO: (22994 | WRITER_1_ _1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: WRT_8333: откат всех целей из-за фатальной ошибки сеанса. 2015-09-15 12:31:42: ОШИБКА: (22994 | WRITER_1_*_1): (IS | INF_EN1_ASCII): NODE_ENDEV_TNLD07879: CMN_1022: ошибка драйвера базы данных... CMN_1022 []
Не уверен, где настоящая проблема (сторона informatica/DB), когда проверяется неверный файл, это говорит о том, что записи отклонены для проблем NULL
Плохое содержимое файла:
1, D, 19094, D, 09/15/2015 03: 01: 27.000000000, D, 1193, D, 09/15/2015 03: 01: 27.000000000, D, 1193, D, 240638, D, 27535, D, -3, D-100, D,, N,, N,, N,, N,, N,, N,, N,, N,, N,, N,, N,, N,, N,, N,,,, Н Н,, Н,, Н,, Н,OE_SALES_CREDITS19094,D 1, D 1, D 1, D,, N,, N, 1, D, I, D,, N, 15.09.2015 03:01:42.000000000,D
Но в том же сеансе обрабатываются другие записи, которые также имеют нулевые значения. Не могу понять, где именно проблема.
Пожалуйста, помогите мне в этом...
1 ответ
У нас есть решение для этого. Настройка брандмауэра GP была причиной того, что длительные запросы перестали работать. GP DBA переопределил этот параметр на уровне базы данных, и теперь все наши сеансы CDC работали в течение нескольких дней без сбоев.