Описание тега data-lineage

Вопросы с тегом
0 ответов

Как вы различаете исходные файлы QVD и целевые файлы при чтении метаданных XML QVW?

В настоящее время я пытаюсь найти альтернативу Панели управления, которую создал Роб Вундерлих (основатель Qlik), поскольку в настоящее время я сталкиваюсь с ошибками при ее использовании. Как вы различаете источник данных (QVD, он же источник), кот…
02 мар '19 в 21:37
0 ответов

Моделирование отношения происхождения данных в процессе ETL

Я новичок в neo4j и пытаюсь смоделировать происхождение данных в нашем инструменте ETL. Я могу смоделировать, что столбец A в таблице 1 отображается в столбец B таблицы 2, но мне интересно, как мне смоделировать, что это отображение происходит в рам…
27 окт '17 в 15:32
2 ответа

Есть ли способ отслеживать сквозное происхождение данных с помощью запроса Neo4j Cypher?

Я использую Spring-Data вместе с SpringBoot, чтобы заполнить мою базу данных Neo4j. У меня определены следующие сущности Neo4j: Source сущность -> @NodeEntity public class Source implements Comparable<Source> { @GraphId private Long id; privat…
21 ноя '16 в 16:35
1 ответ

Линия данных в SQL Server

Задача: Давайте подумаем о крупномасштабном предприятии, где у нас есть разнородные хранилища данных, такие как SQL-серверы, хранилища No-SQL, большие хранилища данных, такие как ADL, ADF... и т. Д., Распределенные по различным бизнес-группам. Нашей…
16 фев '18 в 07:19
0 ответов

Функция Lineage в Cloudera Navigator

Работает ли Lineage в корпоративной пробной версии Cloudera? Я вижу вкладку lineage, но я не вижу линии происхождения таблицы улья, которую я получил из другой таблицы улья. К сожалению, эта информация также не очень ясна из документации Cloudera.
14 сен '18 в 03:42
0 ответов

java.lang.StackruError выбрасывает в spark-submit, но не работает в IDE

Подтверждено: Проблема в val globalInterestStats = mutable.Map[ Int, (DescriptiveStatistics, mutable.MutableList[Rating]) ]() Должно быть val globalInterestStats = mutable.Map[ Int, (DescriptiveStatistics, mutable.ArrayBuffer[Rating]) ]() Хотя все е…
07 сен '18 в 01:52
1 ответ

Экземпляр Apache NiFi висит в окне "Computing FlowFile lineage..."

Мой экземпляр Apache NiFi просто висит на "Computing FlowFile lineage..." для определенного потока. Другие работают, но он не покажет происхождение этого конкретного потока для каких-либо файлов данных. Единственное сообщение об ошибке в журнале свя…
17 авг '18 в 13:44
0 ответов

SQL Server 2014: зависимости столбцов / происхождение

Я хотел бы знать, какие столбцы таблицы или представления являются частью столбца в моем текущем представлении. Для "базовой" версии я использовал столбцы для текущего представления, я использовал sys.views а также sys.dm_sql_referenced_entities... …
06 сен '17 в 13:01
2 ответа

Как я могу увидеть метаданные, линию данных, хранящихся в красном смещении AWS?

Я использую такие решения, как Cloudera Navigator, Atlas и Wherehows чтобы получить метаданные и происхождение Hadoop, HDFS, HIVE, SQOOP, MAPREDUCE. Теперь у нас есть хранилище данных и в красном смещении AWS. Есть ли способ извлечь метаданные или п…
27 май '17 в 14:58
0 ответов

Graphx показывает иерархию в тексте

Я новичок в Graphx & Scala. Я пытаюсь получить иерархический вывод из 4 столбца реляционного ввода. Пример, мой входной набор данных, как показано ниже, который взят из таблицы emp_name,emp_id,mgr_name,mgr_id A,1,B,2 A,1,D,3 B,2,C,4 D,3,F,5 A,1,E,6 …
18 мар '18 в 08:47
1 ответ

Есть ли руководство по лучшей практике и аннотации для диаграммы происхождения данных

Я пытаюсь создать диаграмму линий данных, показывающую источник и движение некоторых наших данных в разных системах и процессах, и обнаружил, что нет ни одной диаграммы линий данных, которая бы выглядела одинаково. Я просто хотел узнать, есть ли луч…
05 апр '18 в 11:04
1 ответ

Получение данных из журналов искр

Я изучаю возможность получения информации о происхождении данных из журналов Spark для программ Spark. Я ищу информацию о том, какие темы kafka или программа Tables Spark читает или записывает, чтобы мы могли получить эту информацию во время выполне…
12 ноя '17 в 23:00
1 ответ

Линия данных уровня столбца

У меня есть сохраненный процесс, который создает таблицу Z из таблиц X и Y, как показано ниже. Create table Z as (select X.1 as Z.1, X.2 as Z.2, Y.2+X.2 as Z.3, Y.3 as Z.4, Y.5 as Z.5, 'dummy' as Z.6 from X,Y) Мне нужен инструмент lineage, который о…
30 июн '16 в 06:12
1 ответ

График моделирования в Neo4j, показывающий рабочий процесс и влияние

Новичок в Neo4j, но он может видеть так много возможностей в графических базах данных, в частности, рабочий процесс данных ИТ и влияние системы. Но не уверены в правильности дизайна для максимальной эффективности. Рассмотрим систему, которая принима…
07 апр '18 в 10:50
0 ответов

Родословная Cloudera Navigator: добавление пользовательских сущностей в существующую.

Задача: 1. добавить объекты, которые отображают детализацию детализации уровня в приложении spark Я посмотрел на Navigator-SDK, но не смог найти способ добавить отношения к существующим объектам выполнения операций
15 мар '18 в 22:14
5 ответов

Что такое Lineage In Spark?

Как происхождение помогает пересчитать данные? Например, у меня есть несколько узлов, вычисляющих данные по 30 минут каждый. Если произойдет сбой через 15 минут, можем ли мы пересчитать данные, обработанные через 15 минут, снова, используя родословн…
18 авг '17 в 07:40
0 ответов

Я запускаю скрипт / инструмент (import-hive.sh) и могу искать объекты-кусты, такие как таблицы, базы данных, представления, столбцы, но не происхождение, это нормально?

Перед установкой атласа в моем кластере баз данных улья есть две таблицы кустов с именами atlas_testm и atlas_testm_ext(это представление, основанное на atlas_testm). после установки атласа и запуска сервисов атласа, я запускаю скрипт с именем impor…
30 авг '18 в 08:44
0 ответов

Atlas kafka vs rest api для приема метаданных

Мы планируем использовать Apache Atlas для каталогизации данных и сейчас рассматриваем Rest Api против Messaging Api для загрузки метаданных в Atlas. Каковы плюсы и минусы обоих?
12 июл '18 в 05:59
1 ответ

Линия задачи между Зависимыми Dags в Воздушном потоке

У нас много ежедневных групп доступности баз данных, использующих Airflow. Зависимости были включены с использованием ExternalTaskSensor, TriggerDagRunOperator и пользовательских операторов Образец: Задача 1 в DAG A зависит от задачи 2 в DAG BЗадача…
16 июн '17 в 06:53
1 ответ

SQL Server SSIS Data Lineage

В настоящее время у меня есть несколько стандартных пакетов служб SSIS в SQL Server, которые загружают и преобразуют данные из файлов CSV в базу данных SQL Server. Я хотел бы захватить происхождение данных для этих пакетов служб SSIS, но не уверен, …
20 апр '18 в 16:37