Описание тега etl
ETL - это аббревиатура от "Извлечь, преобразовать и загрузить". Это относится к процессу извлечения данных из исходных систем, преобразования данных каким-либо образом (манипулирование ими, их фильтрация, комбинирование с другими источниками) и, наконец, загрузка преобразованных данных в целевые системы.
3
ответа
Как получить только одну запись для каждой двойной строки идентификатора в datastage
Я имею **Table** Name,RNo,M1,M2,M3,M4 Raj,1,25,26,Null,Null **File** Name,RNo,M,T Raj,1,100,M3 Raj,1,200,M4 Если я присоединяюсь к таблице с выходным файлом необходимо как Name,RNo,M1,M2,M3,M4 Raj,1,25,26,100,200 Поскольку данные поступают из файла,…
11 мар '15 в 14:47
0
ответов
Данные ETL от NoSQL до реляционного
Каковы типичные способы, которыми люди могли бы передавать данные из базы данных NoSQL в реляционную базу данных? Мне интересно использовать некоторые инструменты BI с реляционной БД. Я знаю, что мог бы использовать драйвер ODBC с NoSQL, но мне было…
13 янв '16 в 06:45
1
ответ
Переупорядочение последовательных идентификаторов
Новичок в Pentaho's Kettle 4.4. Если у меня есть таблица с последовательным идентификатором, которая не является индексом, как я могу пройти по каждой строке и убедиться, что этот идентификатор является последовательным, прежде чем он будет скопиров…
04 ноя '13 в 22:02
1
ответ
Как поместить данные в таблицу фактов?
Я новичок в области бизнес-аналитики, и я разрабатываю звездообразную схему, которая реализует витрину данных, чтобы помочь аналитику принять решение о таблицах измерений оценок учащихся: - модуль (код модуля, имя модуля), который содержит информаци…
13 сен '15 в 20:59
1
ответ
SQL для MapReduce - Как?
У меня сложный запрос, используемый в процессе ETL (на основе SQL). Он слишком велик, чтобы уместиться здесь, но в целом мало внутренних соединений между несколькими таблицами и некоторыми BL с использованием оконных функций и других "вкусностей". М…
29 ноя '13 в 12:00
1
ответ
Исключение компиляции Janino: шаг UDJC
Заранее спасибо за вашу поддержку. На шаге UDJC следующий код дает мне исключение Janino, В методе processRow Hashtable hastable=getConfigData() // This method return Hashtable Set set=hashtable.get("ERROR_2001").keySet(); ---> //hashtable.get("E…
10 дек '15 в 20:34
1
ответ
Несовпадение SQL_variant и DT_WSTR в BIDS Manager
Я использую BIDS для обновления некоторых данных до SQL Server 2008 R2. Мой источник varchar и таблица назначения имеет этот столбец VariantValue как sql_variant тип данных. Поэтому я использовал преобразование производного столбца для создания ново…
23 ноя '17 в 12:24
3
ответа
SQL для получения только несоответствия столбцов
Я хотел знать, можем ли мы получить только несовпадающий набор данных из таблицы при проведении объемного тестирования, пожалуйста, посмотрите на приведенный ниже пример: Если приведенная ниже таблица является моей целевой таблицей, которую я тестир…
25 янв '16 в 23:19
3
ответа
Чайник для шифрования файла с использованием PGP
Я хочу зашифровать файлы с помощью PGP в Пентахо. У меня есть Java-программа для шифрования файла через командную строку. Чайник рекомендует шифровать строку за строкой, используя пользовательский вызов. Есть ли способ шифровать весь файл как таково…
13 дек '13 в 01:55
1
ответ
Моделирование отношений "многие ко многим" в хранилище данных
Я должен спроектировать модель хранилища данных и процесс ETL для класса в моем университете. В моем хранилище данных должны храниться мнения / комментарии о продукте, каждая запись должна состоять из: текст комментария (строка) оценка продукта ({0,…
15 дек '16 в 14:39
1
ответ
Как визуально создать гибридный запрос для программной экстракции
Я занимаюсь разработкой приложения, которое получает различные входные данные с интернет-страниц, в то время как каждый фрагмент информации поступает из другого места (mashup). Я хотел бы создать строительный блок гибридного приложения (фрагменты) ч…
29 ноя '09 в 16:13
2
ответа
Импорт данных из AWS Athena в экземпляр RDS
В настоящее время я слушаю события от AWS Kinesis и записываю их на S3. Затем я запрашиваю их, используя AWS Glue и Athena. Есть ли способ импортировать эти данные, возможно, с некоторым преобразованием, в экземпляр RDS?
29 апр '18 в 06:31
1
ответ
SSIS (2012) - Модель развертывания проекта - Параметры проекта или привязка параметров основного пакета
Я использую модель развертывания проекта для развертывания решения SSIS(2012). Я использую родительский пакет для выполнения других дочерних пакетов. Каков наилучший способ (или лучшая практика) для передачи параметров дочерним пакетам? Когда следуе…
13 июл '15 в 00:41
2
ответа
Исходный компонент OData в SSIS не подключается
Это продолжение предыдущего вопроса: компонент источника OData в зависании служб SSIS. Настроить Я использую SSIS в Visual Studio 2015 (17.4) и хотел бы получить общедоступные данные NADAC с этой страницы, используя соединение OData: https://data.me…
19 янв '18 в 23:48
1
ответ
Распакуйте список файлов, путь к которым нужно прочитать из таблицы в чайнике Pentaho.
Я новичок в чайнике Pentaho, и у меня есть требование, когда мы хотим разархивировать набор файлов, а пути к этим файлам находятся в таблице. Мне интересно, как это сделать.
30 май '14 в 07:06
0
ответов
Total и GrandTotal CUBE разные
У меня есть таблица CUBE, которая поддерживает сводную таблицу, как это почему общий итог отличается от ИТОГО? что-то не так с MDX?
01 ноя '18 в 06:08
1
ответ
Экспорт данных из python в текстовый файл с использованием пакета petl в python
Я пытаюсь извлечь необработанные данные из текстового файла, и после обработки необработанных данных я хочу экспортировать их в другой текстовый файл. Ниже приведен код Python, который я написал для этого процесса. Я использую пакет "petl" в Python …
12 авг '16 в 13:31
1
ответ
Ошибка при попытке заархивировать запись: Ошибка при попытке разархивировать файл с помощью чайника
У меня есть почтовый файл в Unix, где я пытаюсь распаковать его с помощью Pentaho Kettle. Zip-файл имеет доступ 777, и он хорошо работает для распаковки файлов. Но когда я пытаюсь использовать его для одной сжатой папки, он выдает следующую ошибку: …
21 июн '16 в 10:46
1
ответ
python - импорт csv - фильтрация по столбцу - запись в текстовый файл с временной меткой - проблемы с выводом текста
Первый пост, постарайтесь не злиться на мое форматирование. Я пытаюсь выполнить ETL для файла csv с python 3.5 - код, который я успешно удаляю, фильтрует по правильному столбцу, создает желаемый конечный результат в переменной "new_string" и создает…
06 дек '15 в 22:50
3
ответа
Медленно меняющееся измерение - повреждение даты вступления в силу / истечения срока действия при многократном запуске в течение одного дня
Я использую методологию Kimball для медленно меняющихся измерений в нашем хранилище данных. У нас возникли проблемы, когда запись обновляется несколько раз в течение одного дня, а ETL запускается каждые 15 минут. Таким образом, даты вступления в сил…
02 май '16 в 18:43