Альтернатива потоковой передаче на общем столе
Я создаю непрерывный конвейер данных, используя задачи и потоки. Он хорошо работает для большинства моих решений, за исключением случаев, когда мои исходные данные представляют собой базу данных из общего ресурса Snowflake.
Хотя я не могу ничего явно найти в документации Snowflake, я предполагаю, что вы не можете построить поток для таблицы на основе общего ресурса, что имеет смысл, исходя из моего понимания архитектуры Snowflake. Когда я пытался это сделать, я получаю следующее сообщение об ошибке:Таблица "TABLE_A" была импортирована из общего ресурса и не может использоваться.
Я хотел бы попросить совета о том, как я могу идентифицировать измененные записи в моей таблице, кроме обычных решений "полного внешнего соединения" или "максимальной отметки". Я надеюсь, что есть какой-нибудь творческий способ использовать функции Snowflake, которые позволят мне это сделать.
Производительность имеет решающее значение, и таблица может состоять из миллиардов строк.
С уважением Мариус