Описание тега incremental-load

Вопросы с тегом
2 ответа

Добавочная загрузка AzureDataFactory с использованием Python

Как мне создать Azure Datafactory для инкрементальной загрузки с использованием Python? где я должен упомянуть параметр загрузки файла (Incremental Load:LastModifiedOn) при создании операции или конвейера?? мы можем сделать это с помощью пользовател…
22 май '19 в 21:18
4 ответа

Power BI Athena: постепенное обновление

Я успешно использую инкрементальное обновление Power BI ежедневно с источником данных MySQL. Тем не менее, я не могу настроить это с AWS Athena, потому что, похоже, последний интерпретирует значения в требуемых параметрах RangeStart а также RangeEnd…
26 июл '19 в 19:08
0 ответов

Добавочная нагрузка в Пентахо

Мне нужно создать инкрементную загрузку для моего проекта в Pentaho - Spoon, и я не совсем уверен, с чего начать, поскольку все учебники, которые я искал, действительно не очень помогают. У меня есть 4 таблицы измерений, и все они имеют date_from, d…
23 май '20 в 14:21
0 ответов

выбор начальной записи из определенного значения

Привет, сообщество stackru, Хотелось бы добиться следующего результата. Я делаю инкрементную загрузку. Где я загружаю максимальное и последнее значения предыдущей нагрузки, сгруппированные по M_ID, в запрос следующей загрузки. Я хотел бы начать запр…
28 фев '20 в 15:22
1 ответ

Лучший способ реплицировать MongoDB NoSQL в таблицы SQL

Как я могу реплицировать (инкрементную нагрузку) MongoDB (NoSQL) в таблицы SQL. У нас есть веб-решение для загрузки данных в MongoDB. Размер данных почти 1 ТБ. Нам нужно сделать отчеты BI в инструменте Looker BI. но looker не поддерживает MongoDB на…
26 окт '20 в 10:35
0 ответов

Добавочная загрузка с использованием АПД с отслеживанием изменений

Я построил конвейер в ADF, который постепенно загружает данные с сервера SQL в базу данных SQL Azure с помощью механизма отслеживания изменений. Вот ссылка, по которой я следил:https://www.sqlservercentral.com/articles/incremental-data-loading-throu…
17 ноя '20 в 18:02
1 ответ

Как выполнять ежечасные инкрементные извлечения из источника данных оракула с использованием last_mod_dt (отметка времени) в Airflow?

Необходимо выполнять ежечасное обновление / загрузку таблицы с помощью Airflow/Python из источника данных oracle с использованием столбца timestamp last_modified_dt. В Airflow есть airflow.models.taskinstance API, который предоставляет данные из таб…
21 окт '20 в 14:27
2 ответа

ошибка под названием "Неверный синтаксис" рядом с фабрикой данных Azure

Я пытаюсь выполнить простое инкрементное обновление из исходной локальной базы данных в базу данных SQL Azure на основе столбца Varchar под названием «RP» в локальной базе данных, который содержит «дату + статическое описание», например: «20210314Me…
14 мар '21 в 18:55
1 ответ

Есть ли в Spark что-то вроде функции «Закладки» клея, которая отслеживает уровень работы?

Я ищу, есть ли в Spark что-то вроде «закладки» AWS Glue. Я знаю, что в Spark есть контрольная точка, которая хорошо работает с отдельным источником данных. В Glue мы могли использовать закладку, чтобы отслеживать все файлы в разных таблицах, участву…
14 сен '21 в 09:59
1 ответ

Добавочная загрузка и потоки из ADF в Snowflake

Я пытаюсь постепенно загружать файлы из моего большого двоичного объекта Azure в таблицу Snowflake. После этого в Snowflake я помещаю потоки в эту таблицу и загружаю данные в целевую таблицу. Я не могу выполнять инкрементную загрузку из Azure в Snow…
13 окт '21 в 09:59
2 ответа

Добавочная загрузка Microsoft PowerApps Excel

Я новичок в PowerApps, и у меня есть задача создать приложение, которое будет включать инкрементную загрузку данных. В настоящее время в качестве источника данных мы выбрали листы Excel. Таким образом, фактическая задача заключалась в том, чтобы дан…
04 ноя '21 в 16:16
1 ответ

Добавочная загрузка из нескольких таблиц для запросов на соединение в Nifi

Для инкрементальной загрузки мы будем использовать процессор QueryDatabaseTable, который постепенно извлекает данные из одной таблицы. Для написания sql-запроса, который извлекает данные из нескольких таблиц, мы используем процессор ExecuteSQL. Как …
10 дек '21 в 10:21
1 ответ

Агрегация в потоке данных Azure возвращает недопустимое значение

Я создал поток данных в фабрике данных. Шаг 1. Прочитайте файл паркета. Шаг 2. Агрегируйте файл, чтобы получить Max(DateField) Шаг 3. Используйте производный столбец для записи значения. Шаг 4. Изменить задачу строки со значением и полем даты. Шаг 5…
26 янв '22 в 20:10
1 ответ

Пользовательское разбиение на страницы Rest API в фабрике данных Azure

Я хотел бы получить все результаты из конечной точки Rest API. URL-адрес имеет следующую форму: https://myapi.com/relativeapi?project=&repo=&prId=&page=&pageSize=&startTime=&end…
27 дек '21 в 16:39
0 ответов

Интеграция REST API с Excel Azure Logic Apps

У меня есть данные, извлеченные через REST API из одного из моих приложений, и я храню их в электронной таблице. Я использую приложения Azure Logic для извлечения данных на основе диапазона дат для ежедневной добавочной загрузки. В худшем случае, ес…
10 мар '21 в 01:01
1 ответ

Как я могу выполнить дополнительную загрузку в Elasticsearch, используя logstash+jdbc и триггер базы данных

У меня есть кластер elasticsearch, и я использую logstash + jdbc для загрузки данных. Я хотел бы знать, есть ли способ, которым мы можем выполнять добавочную загрузку на основе триггера базы данных, а не в зависимости от запроса, который использует …
01 мар '21 в 09:19
0 ответов

Добавочная загрузка данных SAP в Фабрике данных Azure

Я пытаюсь реализовать конвейер экстрактора в ADF с несколькими действиями копирования данных (источники таблиц SAP ERP). Чтобы сэкономить время обработки, я хотел бы иметь некоторые дельты (дополнительная нагрузка). Каков наилучший способ реализоват…
15 мар '22 в 15:41
1 ответ

Azure Delta Load не распознает временную метку эпохи (мс) в качестве имени столбца водяного знака

Я пытаюсь выполнить дельта-загрузку (добавочную загрузку) с помощью Фабрики данных Azure из SQL Server в хранилище BLOB-объектов. В моих таблицах есть столбец updateStamp, который представляет собой время эпохи в миллисекундах, числовой (19,0) тип д…
04 ноя '22 в 19:26
1 ответ

Таблицы Delta Live для пакетной инкрементной обработки

Можно ли использовать Delta Live Tables для выполнения инкрементной пакетной обработки? Теперь я считаю, что этот код всегда будет загружать все данные, доступные в каталоге, при запуске конвейера, CREATE LIVE TABLE lendingclub_raw COMMENT "The raw …
16 июл '22 в 08:36
0 ответов

Дубликаты в Snowflake Stream

С настройкой SHOW_INITIAL_ROWS = TRUE мы создали поток поверх представления (которое имеет много объединений). Мы создали хранимую процедуру с одним оператором слияния, который принимает все данные из потока в целевую таблицу. Ниже приведен оператор…
17 ноя '22 в 15:07