Источник HTTP-клиента в режиме опроса снова и снова извлекает одни и те же данные
Я извлекаю данные из REST API используя происхождение клиента HTTP в Polling Mode, Ожидалось, что он остановится после чтения последнего бита данных и снова запросит новые данные через заданный интервал. Но он снова и снова извлекает те же данные и получает дубликаты записей.
Я проверил в пакетном режиме, и я получаю около 1K записи. Режим опроса должен также останавливаться после 1K записи и запроса API один раз, поскольку в API нет новых данных, добавляемых
Пожалуйста, смотрите ниже мои конфигурации.
Resouce URL - ${xxxxxURL}/${table_name} Mode - Polling Polling interval - 5000 Pagination Mode - Link in response field. Next page link - /links[1]/href stop condition - ${record:value('/links[1]/href') == NULL}
[sdc-pipeline HTTP Client origin configuration]