Инкрементальный импорт с использованием sqoop, когда столбец не является инкрементным

Если у меня есть таблица со следующими полями
SSN | First Name | Last Name | City | ZipCode
Первичный ключ SSN и нет другого суррогатного первичного ключа для этой таблицы.

В день 1 - таблица получила 100 вставок, и sqoop используется для импорта дополнительных данных из СУБД в HDFS с --check-column SSN
В день 2 - в таблицу были вставлены еще 90 записей и было изменено около 30 существующих записей.

Теперь, как sqoop может выполнять инкрементное обновление как --check-column"SSN" хотя это хороший первичный ключ, он не является инкрементным.
1) Итак, как sqoop может выполнять пошаговое обновление этой таблицы.
2) А как насчет записей, которые были изменены в день 2. Как sqoop может узнать об измененных записях в вышеуказанном случае.

0 ответов

Другие вопросы по тегам