Описание тега tensorflow-transform
TensorFlow Transform (tf.transform) - это библиотека для предварительной обработки данных с помощью TensorFlow. Он позволяет вам определять и выполнять распределенные функции предварительной обработки или разработки функций для больших наборов данных, а затем экспортировать те же функции, что и график TensorFlow, для повторного использования во время обучения или обслуживания. Он также поставляется с предварительно реализованными функциями для общих задач, таких как нормализация, генерация словаря и разбивка на разделы.
2
ответа
Tensorflow: создание обслуживающей входной функции, которая читает из разреженных значений
Я создаю оценку в Tensorflow, используя предварительно обработанные данные из tf.Transform. Что касается времени обслуживания, я хочу иметь возможность читать непосредственно из файла JSON, как показано ниже: {"uid":"123","item_ids":["23","f4",6g"],…
16 июл '18 в 18:55
1
ответ
Задание Apache Beam (Python) с использованием Tensorflow Transform уничтожается облачным потоком данных
Я пытаюсь запустить задание Apache Beam, основанное на Tensorflow Transform на Dataflow, но оно убито. Кто-то испытывал такое поведение? Это простой пример с DirectRunner, который работает нормально на моем локальном компьютере, но не работает в пот…
13 сен '18 в 02:28
0
ответов
Ошибка при использовании функции преобразования тензорного потока ' writeTransform
В настоящее время я использую библиотеку преобразований Tensorflow для преобразования и сохранения преобразований, хотя раньше она работала хорошо, в настоящее время я столкнулся с проблемой, похожей на приведенную ниже Я продолжаю получать ту же ош…
04 май '18 в 21:31
1
ответ
Как установить тензор-трансформацию на анаконде?
Мы можем установить tenorflow-transform с помощью pip, но как мне установить его с помощью Conda? Я пытался использовать conda install -c anaconda tensorflow-transform и все его варианты без результата.
27 фев '19 в 04:59
0
ответов
TensorFlow Transform Python с использованием AWS S3 в качестве источника данных
Я пытаюсь запустить TensorFlow Transform, используя Python, Apache Flink в качестве Beam Runner. Я заметил, что Beam не имеет AWS S3 в качестве разъема io, и хотел бы узнать, как это обойти. Вот список поддерживаемых io-коннекторов, но Python+S3 даж…
11 янв '19 в 17:17
0
ответов
Оптимальное решение для потоковой передачи и обработки данных для огромных наборов данных в tf.data.Dataset
Контекст: Мой конвейер ввода текста в настоящее время состоит из двух основных частей: Я Комплексная предварительная обработка текста и экспорт tf.SequenceExamples к tfrecords (пользовательский токенизация, создание словаря, вычисление статистики, н…
27 дек '17 в 04:41
1
ответ
Обратный трейлинг в ведущие нули в тензор последовательности в тензорном потоке
У меня есть разреженный тензор (тензор был сгенерирован с использованием tf.Transform для категориального значения), который я преобразовываю в плотное представление с помощью следующей команды bow_indecies = tf.sparse_tensor_to_dense(sparse_bow_ind…
23 июл '18 в 19:44
0
ответов
Предварительная обработка данных для Tensorflow: InvalidArgumentError
Когда я запускаю свою модель тензорного потока, я получаю эту ошибку InvalidArgumentError: Field 4 in record 0 is not a valid float: latency [[Node: DecodeCSV = DecodeCSV[OUT_TYPE=[DT_STRING, DT_STRING, DT_STRING, DT_STRING, DT_FLOAT, DT_FLOAT, DT_F…
19 апр '18 в 01:57
1
ответ
Как заставить tf.Transform (предварительную обработку Apache Beam для TensorFlow) работать?
Я пытаюсь использовать tf.Transform lib для предварительной обработки данных с помощью TensorFlow через Apache Beam (Google DataFlow). https://github.com/tensorflow/transform вот моя установка: conda create -n tftransform python=2.7 source activate …
20 мар '17 в 10:31
1
ответ
Применить TensorFlow Transform для преобразования / масштабирования объектов в производстве
обзор Я следовал следующему руководству, чтобы написать TF Records, где я использовал tf.Transform для предварительной обработки моих функций. Теперь я хотел бы развернуть свою модель, для которой мне нужно применить эту функцию предварительной обр…
07 янв '19 в 20:54
1
ответ
Несовпадение ранга преобразования TFX при загрузке / применении графика преобразования луча TFX
Я уже успешно приспособил TFTransformOutput к некоторым данным (в данном случае это набор данных Census из UCI, общий для примеров TF и TFX.) Я пытаюсь применить преобразователь с помощью метода transform_raw_features(raw_features), но продолжаю п…
09 окт '18 в 21:44
0
ответов
Python-код для балок с поддержкой hdfs в конвейере
Я запускаю пример Sentiment для преобразования тензорного потока. https://github.com/tensorflow/transform/blob/master/examples/sentiment_example.py Для fn ReadAndShuffleData(), определенной в строке 78-98, возможно ли, что аналогичным образом я могу…
16 янв '19 в 10:17
1
ответ
Как использовать tf.contrib.estimator.forward_features
Я пытаюсь использовать forward_features, чтобы получить ключи экземпляра для cloudml, но я всегда получаю ошибки, которые не знаю, как их исправить. Раздел предварительной обработки, в котором используется tf. Transform, является модификацией https:…
07 мар '18 в 21:16
1
ответ
Гнездовые трубопроводы в Apache Beam
Я надеюсь сделать следующее с Apache Beam.Специальная предварительная обработка для тензорной нейронной сети. для каждого файла из папки. для каждой строки из файла обработать строку до 1d списка с плавающей точкой Мне нужно, чтобы каждое возвращени…
21 апр '17 в 20:51
0
ответов
Экспорт модели с преобразованием тензорного потока без оценщика
Все примеры, которые я видел с помощью преобразования с тензорным потоком, экспортируют модели после обучения, используя метод оценки с функцией export_saved_model. Я работаю с существующим обучающим кодом, который не использует оценки и сохраняет с…
18 фев '19 в 14:14
2
ответа
Эффективное преобразование токенов в векторы слов с помощью TensorFlow Transform
Я хотел бы использовать TensorFlow Transform для преобразования токенов в векторы слов на этапе обучения, проверки и вывода. Я последовал за этим постом Stackru и осуществил первоначальное преобразование из токенов в векторы. Преобразование работает…
31 июл '18 в 05:40
1
ответ
Ошибка в типе данных из trainable_variables
Я запускаю tenorflow-transform и получаю ошибку на trainable_variables. Это нормально, чтобы получить эти сообщения? (cmle-env) debasish: transform debasish.das $ python examples / simple_example.py 2018-03-20 14: 36: 30.468584: I tenorflow/core/pla…
20 мар '18 в 21:39
0
ответов
TF распределенный API в Beam
Я тестирую zscore из tenzflowflow_transform, и мы добавим больше вариантов нормализации scikit. Я рассматриваю вопрос о том, писать ли код в TFT, который использует луч уменьшить или реализовать его непосредственно в API TF. Можно ли получить рабочи…
20 мар '18 в 23:30
0
ответов
Как предварительно обработать последовательные функции для RNN с помощью Tensorflow Transform TFX?
RNN обучаются на последовательностях, которые могут быть различной длины. Размерность одного последовательного элемента (batch_size, time_steps, 1), В рамках предварительной обработки иногда требуется масштабировать эту функцию. Например, я хотел бы…
25 янв '19 в 16:17
1
ответ
Ошибка Tensorflow GradientBoostedDecisionTreeClassifier: "Плотная функция с плавающей точкой должна быть матрицей"
Я получаю ошибку: Tenensflow.python.framework.errors_impl.InvalidArgumentError: Плотная функция с плавающей точкой должна быть матрицей. Я использую Tensorflow версии 1.4.0. Тот же код работает правильно, если я изменю оценку на tf.contrib.learn.DNN…
16 ноя '17 в 23:03