Инкрементальный импорт с использованием sqoop, когда столбец не является инкрементным
Если у меня есть таблица со следующими полямиSSN | First Name | Last Name | City | ZipCode
Первичный ключ SSN
и нет другого суррогатного первичного ключа для этой таблицы.
В день 1 - таблица получила 100 вставок, и sqoop используется для импорта дополнительных данных из СУБД в HDFS с --check-column SSN
В день 2 - в таблицу были вставлены еще 90 записей и было изменено около 30 существующих записей.
Теперь, как sqoop может выполнять инкрементное обновление как --check-column
"SSN"
хотя это хороший первичный ключ, он не является инкрементным.
1) Итак, как sqoop может выполнять пошаговое обновление этой таблицы.
2) А как насчет записей, которые были изменены в день 2. Как sqoop может узнать об измененных записях в вышеуказанном случае.