Описание тега staging-table

Промежуточные таблицы используются в процессах ETL данных (преобразование и загрузка извлечения) и хранилищах данных.
2 ответа

Получение дубликатов в Таблице, когда задание ETL разрушается дважды. Задание извлечения задания ETL из корзины RDS в S3

Когда задание ETL выполняется, оно выполняется должным образом, но поскольку в таблице отсутствует метка времени, оно дублирует данные при запуске того же задания ETL. Как выполнить постановку и решить эту проблему, используя Upsert или, если есть д…
2 ответа

Где создать таблицу промежуточных данных в среде BigData?

В настоящее время у меня Hadoop-2, PIG, HIVE и HBASE. У меня есть входные данные. Я загрузил эти данные в HDFS. Я хочу создать промежуточные данные в этой среде. Мой запрос - В каком компоненте BigData я должен создать промежуточную таблицу (Pig/HIV…
15 июл '15 в 07:30
2 ответа

Копирование данных из промежуточной таблицы в несколько таблиц

В SQL Server 2016 у меня есть промежуточная таблица [S] с 8 столбцами. Я хочу скопировать эти данные в 3 таблицы [A], [B] и [C]. [A] имеет FK для [B], а [B] имеет FK для [C]. Столбцы 1-2 должны идти к [c], столбец с 3 по [a] и столбцы с 4-8 по [B]. …
23 апр '16 в 16:47
1 ответ

Моделирование постановки DW из JSON

Я строю DW. Источники исходят из остальных API, который возвращает Json. Мне нужно спроектировать сцену. Я думаю, что у меня есть 2 подхода: 1. Превратить Json в реляционную модель. 2. Сохраните Json в реляционную таблицу, используя значение ключа. …
1 ответ

Скопируйте схему таблицы из DB2 в SQL Server

Я смотрю на создание промежуточных таблиц в SQL Server для одного из наших пакетов служб SSIS, чтобы уменьшить количество обращений к DB2, поскольку при обращении к DB2 неактивные соединения могут возникать тайм-ауты. Существует ли автоматизированны…
27 авг '13 в 13:13
1 ответ

Лучшая стратегия для выполнения ETL от постановки до склада

Я создаю консольное приложение C#, которое будет выполняться агентом SQL Server в сценарии, в котором мы хотим передать большой объем данных о сотрудниках: Между двумя таблицами сотрудников с одинаковой схемой в двух разных сетях от одного экземпляр…
24 июл '14 в 13:20
1 ответ

RoR: сброс промежуточной таблицы после обработки загруженного пользователем CSV-файла?

Я довольно новичок в Ruby on Rails и изучаю его с помощью учебника по Ruby on Rails Майкла Хартла. Сейчас я работаю над своим собственным проектом, который позволяет пользователям входить на веб-сайт, предоставлять личную биометрическую информацию и…
05 авг '14 в 18:01
2 ответа

Как архивировать старые данные в базе данных Sybase?

Я работаю над приложением, которое построено на Struts как серверная Java-технология, а Sybase ASE 15 используется в качестве базы данных для хранения данных для приложения. Теперь таблицы в Sybase заполнены огромным массивом данных, поэтому высшее …
26 авг '14 в 06:28
1 ответ

Разработка промежуточной таблицы для импорта данных

Я использую SQL Server 2012 Standard Edition. После установки пакета служб SSIS, который импортирует данные из плоского файла, я хотел узнать, как мне продолжить вставлять данные в промежуточные таблицы и какова структура промежуточных таблиц?
28 дек '15 в 08:18
0 ответов

Промежуточные таблицы, опубликованные в базе данных на сервере - можем ли мы отследить, откуда они были опубликованы?

У нас было несколько промежуточных таблиц, опубликованных в базе данных на сервере, и мы не уверены, как именно они туда попали. Глядя на промежуточные таблицы, мы видим их в свойствах, когда они были созданы на сервере, однако мы не знаем, кто их о…
0 ответов

Как проверить согласованность в промежуточной базе данных?

У меня есть база данных стадий, которая принимает реестры из разных CSV-файлов, и мне нужно найти способ, чтобы она работала лучше, переходя от партии к сети. Один из подходов состоит в том, чтобы представить прием, используя представление REST, и п…
11 июн '18 в 12:45
3 ответа

Что такое промежуточный стол?

Промежуточные таблицы используются только в проекте хранилища данных или в любом другом SSIS Проект? Я хотел бы знать, что такое промежуточный стол? Кто-нибудь может дать мне несколько примеров о том, как его использовать и при каких обстоятельствах…
28 мар '15 в 12:29
1 ответ

T-SQL | Лучшая альтернатива ГДЕ НЕ СУЩЕСТВУЕТ

У меня следующий запрос: INSERT INTO [Table A] ([student_name], [class_id],[contact_detail], [birth_date],[note_average]) SELECT [student_name] = case when CHARINDEX('.', [student_name])>0 then LEFT([student_name],CHARINDEX('.', [student_name])-1…
04 июл '17 в 15:10
5 ответов

Как правильно обрезать промежуточную таблицу в конвейере ETL?

У нас есть конвейер ETL, который запускается для каждого CSV, загруженного в учетную запись хранения (Azure). Он выполняет некоторые преобразования в CSV и записывает выходные данные в другое место, также как CSV, и вызывает хранимую процедуру в баз…
2 ответа

Получить все ошибки ограничений при вставке данных из другой таблицы

У меня есть промежуточная таблица без каких-либо ограничений в моей базе данных Azure SQL (база данных Azure SQL 12.0.2000.8). Я хочу вставить данные из промежуточной таблицы в "настоящую" таблицу, для которой установлено несколько ограничений. При …
0 ответов

Ошибка редакции сообщества magento 2.3.2 по порядку, не найденному в промежуточной таблице

У меня есть версия сообщества magento 2.3.2, и у меня есть интеграция REST API между magento и oracle erp. Некоторые заказы не отображаются в журнале ошибок: main.CRITICAL: Oracle Order Error {"exception":"[object] (stdClass: {\"…
0 ответов

Перенос промежуточных запросов на новый SQL-сервер - не все данные размещены [закрыто]

У меня вопрос, связанный с постановкой данных / таблиц. В компании, в которой я работаю, мы переходим с локального сервера на AWS. В старом SQL-сервере у нас есть запрос, который используется для промежуточных данных SAP (не мной, он использовался д…
09 фев '21 в 16:05
0 ответов

Какие у меня есть варианты, если я хочу вставить извлеченные данные в несколько реляционных таблиц? [закрыто]

Сразу к делу: у меня есть данные (взятые с какого-то веб-сайта) в формате json, а в python я вижу их как список словарей (ключ: значение). Существует около 7000 словарей, и все они имеют одинаковую структуру. Ключи соответствуют столбцам в моих реля…
30 сен '21 в 03:06
0 ответов

Как лучше всего обрабатывать большие объемы данных с помощью Hibernate/JPA?

Как мне лучше подготовить большие объемы данных для переноса в нашу базу данных с помощью Hibernate? Производительность при работе с >25 000 записей, содержащих более 100 столбцов, не идеальна. Позволь мне объяснить: Фон Я работаю в крупной компа…
1 ответ

Тип данных промежуточной таблицы SQL Server

Я хочу знать, какой тип данных я должен определить в промежуточной таблице SQL Server, когда я не знаю точного типа данных источника (CSV-файлы). Каковы наилучшие методы оптимизации ресурсов? Пример: Для текстового столбца:varchar(255)илиnvarchar(25…