Описание тега data-profiling
Профилирование данных - это процесс изучения данных, доступных в существующем источнике данных, и сбора статистики и информации об этих данных.
0
ответов
Ошибка при выполнении задачи "Профилирование данных" с данными Azure SQL Server
При выполнении задачи профилирования данных в службах SSIS с данными из SQL Server Azure я получаю следующее сообщение об ошибке: System.Data.SqlClient.SqlException (0x80131904): оператор USE не поддерживается для переключения между базами данных. И…
11 янв '19 в 11:26
1
ответ
Профилирование пустой строки в профилировании данных служб SSIS
Я только начал использовать задачу профилирования данных в SSIS для профилирования некоторых данных в наших базах данных. Я нашел возможность для профилирования нулевых отношений столбцов ("Профили нулевых отношений столбцов"), но меня интересует пр…
29 ноя '18 в 11:22
1
ответ
Извлечь шаблон из набора данных
У меня есть таблица с несколькими столбцами, заполненными данными разных параметров. Поскольку некоторые строки могут иметь одинаковые значения столбцов, я бы хотел извлечь наиболее повторяющиеся значения для каждого столбца, чтобы я мог получить пр…
18 апр '16 в 00:11
5
ответов
Инструмент для связи table_schema и table_name
Знаете ли вы какие-либо инструменты для профилирования, чтобы увидеть структуру и отношения каждой таблицы внутри БД? это выглядит так: Смотрите скриншот ниже, Для большего разрешения, пожалуйста, нажмите здесь. Заранее спасибо. Любая помощь намного…
02 окт '12 в 04:20
1
ответ
Генерировать PostgreSQL статистику / профилирование данных
Я хотел бы автоматизировать профилирование данных в PostgreSQL с помощью бесплатного инструмента, инструмента, который проверяет содержимое данных через профиль столбца или процентное распределение значений. как максимум, минимум, среднее
17 май '17 в 18:32
3
ответа
Невозможно запустить Concurrency Visualizer в Visual Studio 2012. Получена ошибка "Не удалось запустить коллекцию ETW"
Когда я попытался профилировать приложение WPF с помощью Concurrency Visualzer (пробовал запуск и присоединение к процессу), я получил следующее сообщение об ошибке - "Не удалось запустить коллекцию ETW" ETW явно означает "отслеживание событий для W…
23 май '13 в 21:17
1
ответ
XSLT: скопировать два файла в одну общую структуру
Я пытаюсь объединить результат задачи SSIS Data Profiler для нескольких таблиц в один XML-файл для проверки результатов в одном файле внутри "Data Profiler Viewer". Вся проблема сводится к сильно упрощенной XML-трансформации здесь: Файл 1 (test_1.xm…
20 июн '18 в 17:08
1
ответ
Предложение по системе профилирования клиентов: книги, статьи и т. Д.
Я собираюсь работать над проектом профилирования клиентов (похожим, но не похожим на Google Analytics) для нашего собственного сайта электронной коммерции с использованием C#. Я довольно новичок в такого рода проектах, и проект Customer Profiling - …
07 фев '12 в 01:49
2
ответа
Задача профилирования данных - пользовательский запрос профиля
Есть ли возможность создать пользовательский запрос профиля для задачи профилирования данных служб SSIS? На данный момент существует 5 стандартных запросов профиля в рамках задачи "Профилирование данных служб SSIS": Столбец Null Ratio Профиль Запрос…
03 авг '18 в 05:27
1
ответ
Профилирование данных в файле через SSIS
Я новичок в разработке служб SSIS. Мне нужны рекомендации экспертов по службам SSIS. Ниже приведен список вопросов: У нас есть файлы размером от 1 ГБ до 25 ГБ типа TXT или DAT с разделителями табуляции. Иногда этот файл может содержать недопустимые …
07 май '14 в 21:54
3
ответа
Измерение пикового использования диска процессом
Я пытаюсь сравнить инструмент, который разрабатываю, с точки зрения времени, памяти и использования диска. я знаю /usr/bin/time дает мне в основном то, что я хочу для первых двух, но для использования диска я пришел к выводу, что мне придется сверну…
08 янв '17 в 12:13
2
ответа
Профилирование данных в Power BI
Я хочу профилировать каждую отдельную таблицу данных в моем отчете Power BI. Под профилем данных я имею в виду что-то вроде этого: Есть ли способы сделать представление профиля данных в Power BI? DAX мера или вычисляемые столбцы? В качестве альтерна…
18 апр '18 в 06:37
2
ответа
Найти многоколонный первичный ключ
У меня есть около 30 таблиц из старой ERP, которые имеют многоколонные первичные ключи. К сожалению, я не знаю, что это за ключи. Я использовал задачу профилирования служб SSIS, чтобы определить кандидатов первичного ключа для максимум 5 столбцов, н…
21 ноя '18 в 15:58
0
ответов
Профилирование панд - TypeError: Невозможно привести Index к dtype <type 'str'>
Я использую Pandas Profiling создать отчет профилирования HTML для моего объекта Pandas DataFrame data Но я всякий раз, когда я пытаюсь отобразить отчет через: %time profiling = pandas_profiling.ProfileReport(data) profiling Я получаю эту ошибку: Ty…
07 ноя '18 в 09:01
1
ответ
Планирование мощности MySQL
В моей производственной среде у меня есть один экземпляр сервера MySQL, работающий на 16 гигабайтах памяти, который обрабатывает до 20000 запросов в час. Размер одной моей таблицы растет со скоростью 2 миллиона в месяц. Оба эти числа, как ожидается,…
17 фев '12 в 09:33
0
ответов
Как использовать вывод задачи "Профилирование данных" в SSIS
Я должен использовать выходной XML-файл Data Profiling для SSIS в некоторых целях отчетности. Для этого мне нужно импортировать выходной XML в таблицу и эту таблицу, которую я должен использовать в отчете. Но в выходной xml есть много тегов. Итак, к…
03 дек '18 в 09:00
0
ответов
Oracle - Профилирование данных и очистка данных из промежуточных таблиц
У меня есть следующее требование: а) Мы конвертируем данные из устаревшей системы (файлы мэйнфреймов) в новую систему (реляционная БД Oracle) б) есть уровень ETL, который преобразует данные из Legacy в новую систему в) Сейчас у нас есть отдельные сц…
19 июл '18 в 04:44
0
ответов
Ищите курс Data-Profiling онлайн
Может ли кто-нибудь помочь мне найти хороший курс по профилированию данных? Я долго искал онлайн, но не смог его найти.
12 май '19 в 04:32
0
ответов
Профилирование данных - это профилирование?
Я изучаю профилирование данных с открытым исходным кодом и по доступным ценам и нашел пару, но все они, похоже, относятся к 90-м годам. Как вы делаете профилирование? Какие инструменты вы используете?
12 июл '19 в 11:03
2
ответа
Как перебрать все таблицы и поля в каждой таблице, чтобы получить процент пропущенных значений
Я пытаюсь с помощью SSIS получить таблицу, чтобы получить процент отсутствующих значений каждого поля в каждой таблице базы данных SQL Server. В идеале я хотел бы создать новую таблицу в другой базе данных с 4 полями Таблица / Поле / Тип / PctMissin…
24 окт '19 в 03:38