Описание тега matillion
Matillion - это продукт, который преобразует данные предприятий в различных местах и формах в облачные хранилища данных для принятия обоснованных решений.
1
ответ
Matillion для Amazon Redshift поддерживает мониторинг работы
Я работаю над Amazon Matillion для Redshift, и у нас ежедневно выполняется несколько заданий, запускаемых сообщениями SQS. Сейчас я проверяю возможность создания панели мониторинга пользовательского интерфейса для заинтересованных сторон, которая бу…
14 июл '17 в 17:00
1
ответ
Я пытаюсь прочитать файл в корзине Google Cloud Storage с кодом Python, но получаю сообщение об ошибке
Я пытаюсь прочитать файл, хранящийся в Python корзины Google Cloud Storage: textfile = open("${gcs_bucket}mdm/OFF-B/test.txt", 'r') times = textfile.read().splitlines() textfile.close() print(getcwd()) print(times) Файл присутствует в этом месте, но…
29 апр '19 в 14:08
0
ответов
Bash скрипт для вставки лога в таблицу BigQuery
Я использую Matillion в качестве инструмента etl и пытаюсь открыть файлы журналов для пакетов / заданий и вывести их в таблицу BigQuery. Я надеялся использовать Bash Script Component, чтобы помочь мне в этом. Таким образом, реализуя свой собственный…
20 мар '19 в 18:59
0
ответов
Скачать файл с FTPS на S3
Я хочу скачать файл с FTPS на s3 с помощью команды curl. Я пытаюсь решить, используя скрипт bash. curl ftps://files.are.secure.com/secrets.txt
29 апр '19 в 20:05
0
ответов
Sql, импортирующий в матиллионе
Я пытаюсь загрузить.sql файл в matillion для красного смещения, но он дает мне следующую ошибку - "Ошибка разбора файла." Файл Json анализируется правильно. Если я использую конвертер sql в json, файл анализируется правильно. Но мне нужен способ нап…
03 май '19 в 16:31
0
ответов
Можно ли экспортировать SQL-запросы в формате JSON в Dbeaver?
Я пытаюсь найти способ синхронизировать красное смещение Dbeaver и matillion с помощью github. Matillion не принимает файлы sql в качестве входных данных, поэтому я хочу преобразовать свои запросы dbeaver в формат JSON, который принимается matillion.
06 май '19 в 08:17
0
ответов
Невозможно подключить локальный оракул DB XE от Matilion
В рамках нашей организации перенос данных с Oracle On-Prem на Snowflake. Я работаю над пробной версией Matiliion и Snowflake, чтобы продемонстрировать работающий прототип. У меня есть локальная база данных Oracle XE, загруженная нашим образцом набор…
18 июн '19 в 12:46
0
ответов
Формат даты компонента загрузки хранилища BLOB-объектов Azure
Я загружаю файлы из хранилища BLOB-объектов Azure в таблицу в Snowflake с помощью компонента загрузки хранилища BLOB-объектов Azure. У меня есть несколько столбцов даты в файле, и я установил формат даты в компоненте хранения BLOB-объектов Azure как…
18 июн '19 в 20:24
0
ответов
Распакуйте файлы в папки S3, используя Matillion
У нас есть ежедневные файлы, хранящиеся в виде архивных файлов в S3. Структура папок и файлов S3 выглядит следующим образом: 1-8-2019 a.zip 2-8-2019 a.zip Zip-файлы содержат несколько разных файлов (с разными именами). Нам нужно распаковать файлы вн…
02 авг '19 в 23:48
1
ответ
Используйте компонент Salesforce Incremental Load в Matillion для существующей таблицы
Компонент инкрементальной загрузки Salesforce запрашивает целевую таблицу с префиксом. Но что, если я хочу использовать этот компонент для существующей таблицы. Это дает нам возможность добавить префикс таблицы, но мне нужно добавить существующую та…
12 июн '19 в 10:50
0
ответов
Массовая загрузка файла JSON из s3 в Redshift с помощью инструмента Matillion ETL
У меня есть 600k папок в папке s3 Каждая папка имеет уникальный идентификатор. Каждая папка имеет каждый файл JSON. Я хочу сохранить все записи из файла с именем папки в таблицу Redshift. Я пытаюсь с файловым итератором и компонентом API в Matillion…
27 июн '19 в 14:48
1
ответ
Подход для большого набора данных для отчетности
У меня в AWS s3 220 миллионов необработанных файлов, которые я собирался объединить в один файл, который оценивается примерно в 10 терабайт. Файл слияния будет служить таблицей фактов, но в формате файла для целей отчетности для аудита. Необработанн…
03 июл '19 в 12:59
1
ответ
Создание таблицы спектров в matillion для csv файла с запятой внутри кавычек
У меня есть сценарий создания таблицы спектра в красном смещении с использованием matillion. мои данные файла CSV выглядят следующим образом:- column1,column2,column3 abc,"qwety,pqr",xyz но в таблице спектра я вижу данные как column1 column2 column3…
11 июн '20 в 21:18
1
ответ
Как использовать SUBSTRING() внутри компонента SQL в Matillion Flow?
Я пытаюсь использовать SUBSTRING() к filenameпеременная среды в компоненте SQL в Matillion. Есть ли другой синтаксис или он не разрешен в Matillion? Мне нужно обновить значения в столбце с year который я могу использовать SUBSTRING() в переменной им…
01 ноя '19 в 21:03
2
ответа
Различия между matillion и apache airflow
Я хочу использовать службу ETL, но я застрял между Apache Airflow и Matillion. Они одинаковы? Какие основные отличия?
28 ноя '19 в 02:30
1
ответ
Можно ли обновить переменную DateTime задания Matillion из сценария Jython?
Я пытаюсь передать значения DateTime из компонента Python (jython) в компонент Python (python 3), но, похоже, это не работает Есть переменная Matillion Job myvar с типом DateTime и значение по умолчанию 2028-01-28 12:00:00 Код Jython следующий: from…
28 янв '20 в 16:41
1
ответ
Как я могу преобразовать переменную Matillion Job типа DateTime в python datetime.datetime?
У меня есть переменная Job last_updated типа DateTime. Я пытаюсь использовать его изPython Script компонент, я думал, он будет отображаться как datetime.datetime объект в python, но это не так: print(latest_updated) # Sat Jan 01 00:00:00 UTC 2000 pr…
28 янв '20 в 13:19
0
ответов
Dynamics Nav Query вставляет повторяющиеся строки в Snowflake, хотя первичные ключи указаны
Я использую Dynamics NAV Query в Matillion со Snowflake. Я хочу запускать его каждый день и вставлять только те строки, которых еще нет в таблице Snowflake. Для этого я указал первичный ключ (столбец с уникальными значениями) в Dynamics NAV Query, к…
23 янв '20 в 17:37
2
ответа
Есть ли у кого-нибудь "лучшие практики" для модульного / интеграционного / регрессионного тестирования со Snowflake?
Мы приступаем к реализации проекта, в котором используются как Matillion, так и Snowflake, и мы хотим провести тестирование модулей / интеграции / регрессии. Автоматизированное было бы великолепно, но ручное тоже было бы хорошо. Мы могли бы изобрест…
10 фев '20 в 18:50
0
ответов
выберите невычисляемые (т.е. не содержащие формулы) поля из объекта Salesforce с помощью коннектора CDATA
Я использую драйверы CData для получения данных из Salesforce. Мне нужно выбрать все поля без формул только из объекта SFDC. Как лучше всего это сделать?
09 июл '20 в 17:06