Описание тега tensorflow-data-validation

Вопросы с тегом
0 ответов

Tensorflow TFDV не работает с изображениями

Я пытаюсь заставить TFDV работать с изображениями RGB в качестве входных данных, читая из файла TFRecords. Я могу читать / записывать данные изображения в файлы TFRecord нормально. Вот соответствующие фрагменты кода для записи, где img - пустой масс…
13 дек '18 в 15:46
1 ответ

TFDV Tensorflow Data Validation: как я могу сохранить / загрузить схему protobuf в / из файла

TFDV генерирует схему как буфер протокола схемы. Однако, похоже, что нет вспомогательной функции для записи / чтения схемы в / из файла. schema = tfdv.infer_schema(stats) Как я могу сохранить его / загрузить?
12 окт '18 в 12:39
0 ответов

Tensorflow TFDV не работает с определенными значениями NaN

Я использую Tensorflow Data Validation для генерации статистики из данных и вывода схемы для ввода в TFX. Я не нашел никакой опции для указания значений NaN, например, в пандах есть поле "na_values", где можно указать, какое значение будет считаться…
16 янв '19 в 19:39
1 ответ

pip install tenorflow-data-validation не проходит проверку на OS X El Capitan (10.11.6)

Я не могу установить tenorflow-data-validation с помощью pip. когда я использую: pip install tensorflow-data-validation Я получаю эту ошибку: Не удалось найти версию, которая удовлетворяет требованию tenorsflow-data-validation
04 окт '18 в 22:15
0 ответов

Проверка данных tenorflow приводит к сбою на 4-ядерном компьютере, когда я обрабатываю более 1,5 гигабайт CSV

Я пытаюсь запустить функцию проверки данных тензорного потока на наборах данных (CSV) > 2 Gig. Он падает через некоторое время. Он работает очень хорошо, если набор данных составляет около 1 гига. Как обрабатывать большие наборы данных без использов…
01 дек '18 в 01:10
0 ответов

Анализ модели тензорного потока, модель TFMA для кераса

Я хотел бы использовать TFMA с моделью Keras. Модель keras была создана с альфа-версией TF 2.0. Модель представляет собой предварительно обученную модель со слоем классификации: _________________________________________________________________ Layer…
22 май '19 в 01:01
1 ответ

При проверке данных TFX / Tensorflow (TFDV) выбрасывается переполнение при ошибке float_scalars

Следуя базовому руководству и пытаясь сгенерировать статистику для TFRecord, я получаю ошибку переполнения: import tensorflow_data_validation as tfdv stats = tfdv.generate_statistics_from_tfrecord(data_location='/path/tfrec-train-00067-of-00100') Er…
07 мар '19 в 16:16
0 ответов

Установите значение и формат ячейки на основе другого значения ячейки

Я пытаюсь установить значение и формат ячеек, основываясь на других значениях ячеек. Но я работаю в VBA впервые, и каждый шаг, который я делаю, у меня возникают проблемы. Я уже пробовал условное форматирование, но так как в ячейках, где я пытаюсь ус…
28 мар '19 в 14:29
1 ответ

Проверка данных Tensorflow для tenorflow 2.0

Существует ли какая-либо версия проверки данных Tensorflow (tfdv), которая может работать с tenorflow 2.0 alpha?
15 май '19 в 01:18
1 ответ

Чтение статистики набора данных, сгенерированной StatisticsGen

Я посмотрел руководство TFX ( https://www.tensorflow.org/tfx/guide) и смог запустить конвейер. Компонент StatisticsGen записывает статистику набора данных в файл на диске. Как визуализировать статистику, хранящуюся в файле? Спасибо
02 апр '19 в 23:14
3 ответа

Как включить дрейф числовой функции?

Я хочу включить дрейф числовой функции без настройки домена. Пример: я оцениваю клиентов по возрасту, и в моем тренировочном наборе у меня было равномерное распределение переменной. Теперь, по моим данным обслуживания, всем клиентам за 50 (домен не …
19 июн '19 в 21:04
0 ответов

Как я могу установить tensorflow_data_validation в Python 3.7?

Я использую anaconda, и у меня есть python 3.7, я попытался установить tensorflow_data_validation из приглашения anaconda, но он дал мне следующую ошибку: не удалось найти версию, удовлетворяющую требованию tensorflow_data_validation (из версий:) Дл…
29 окт '19 в 05:04
1 ответ

ОШИБКА: не удалось найти версию, которая удовлетворяет требованиям проверки тензорных потоков данных (из версий: нет)

Я получаю эту ошибку с Python 3.7 а также Windows 10 64-bit(который поддерживается). Вроде бы колёса для Windows только для Python 3.5 и 3.6... Заранее спасибо. pip install tensorflow-data-validation Сбор tenorflow-data-validation Примечание: вам мо…
19 сен '19 в 15:46
0 ответов

Проверка TF: удаление неожиданных категориальных значений из функции в тестовых данных

Во всей доступной документации по TF-Data-Validation то, как вы справляетесь с аномалиями (здесь я конкретно имею в виду тип аномалии наличия новых, невидимых словарных / категориальных значений категориальной функции в тестовом наборе данных, котор…
16 окт '19 в 23:37
0 ответов

обнаружение объекта tenorflow параллельный вывод

Я пытаюсь вывести предварительно обученные модели ssd-inception-coco с кодом Python на архитектуре ЦП, когда я пытаюсь вывести модель в одном видеопотоке, я получил около ~ 14 кадров в секунду, поэтому для этого я установил тензорный поток из репози…
01 окт '19 в 10:47
0 ответов

Ошибка сериализации проверки данных Tensorflow

Я запускаю проверку данных тензорного потока v0.15 на python v3.5. Я пытаюсь рассчитать стандартный набор статистики для обнаружения аномалий pdf=spark.table("xxx").toPandas() # Small DF, fits into memory just fine tfdv.generate_statistics_from_data…
14 дек '19 в 06:59
2 ответа

Понимание нормы L-бесконечности, которая используется в TFDV

Я пытался реализовать проверку данных TensorFlow для проверки смещения / перекоса в наборе данных. В качестве метрики они используют норму L-бесконечности. Я не понял концепцию. Может ли кто-нибудь объяснить, как он рассчитывается и почему здесь исп…
30 дек '19 в 12:41
4 ответа

Как мне сохранить статистику TFDV в правильном формате, чтобы она могла быть загружена обратно?

Меня озадачивает, что существует tfdv.load_statistics() функция, но нет соответствующей tfdv.write_statistics()функция. Как мне сохранить статистику, а затем загрузить ее снова? например import tensorflow_data_validation as tfdv stats = tfdv.generat…
20 мар '20 в 21:28
3 ответа

Проверка данных Tensorflow не выявляет аномалии в числовых характеристиках

Я тестировал Tensorflow Data Validation (версия 0.22.0) для использования в моих текущих конвейерах машинного обучения и заметил, что в числовых функциях нет никаких аномалий. Например, > import pandas as pd > import pyarrow > import tensor…
22 май '20 в 17:30
0 ответов

Невозможно запустить проверку данных Tensorflow на Google Cloud Platform (поток данных)

Я пытаюсь запустить проверку данных TensorFlow в соответствии с документами Google Выполнили те же шаги, что и https://www.tensorflow.org/tfx/data_validation/install: >pip install tensorflow-data-validation >git clone https://github.com/tensor…
15 июн '20 в 22:27