Описание тега tensorflow-datasets
Модуль tf.data от TensorFlow предоставляет функциональный API для построения входных конвейеров с использованием классов tf.data.Dataset и tf.data.Iterator.
0
ответов
Tensorflow: создайте input_fn для предварительной обработки текста с помощью API tf.data.Dataset
Я работаю через обучение модели Tensorflow и использую tf.data.Dataset API. Я работаю через этот урок: https://nbviewer.jupyter.org/github/amygdala/code-snippets/blob/master/ml/census_train_and_eval/using_tf.estimator.train_and_evaluate.ipynb Короче…
23 окт '18 в 04:13
1
ответ
Есть ли способ сохранить файл записи Tensorflow в памяти?
Вот ситуация: я работаю с большим файлом записей Tensorflow. Это около 50 ГБ. Однако машина, на которой я тренируюсь, имеет 128 ГБ ОЗУ. 50 меньше 128, поэтому, даже если это большой файл, можно подумать, что его можно будет сохранить в памяти и сэко…
25 июл '18 в 19:00
0
ответов
Интерактивный прогноз Tensorflow с использованием API набора данных
Я создал модель Tensorflow, которая использует API набора данных для подачи данных в сеть. После фазы обучения я хотел бы восстановить эту модель и время от времени делать на ней выводы. В настоящее время я каждый раз инициализирую итератор набора д…
12 июл '18 в 16:33
0
ответов
TensorFlow: проблема с масштабированием изображения для прогнозирования его метки
Я пытаюсь использовать модель классификатора изображений Tensorflow в своем Java-приложении для прогнозирования модных изображений, таких как футболка, пальто, кроссовки и т. Д. Tensorflow предоставляет пример того, как мы можем создать нашу первую …
18 ноя '18 в 05:26
1
ответ
Как сгущать и преобразовывать набор данных [3751,4] в набор данных [1,6] во время тренировки в Tensorflow
Я тренирую модель с формой объекта [3751,4], и я хотел бы использовать функцию изменения формы и плотного слоя, встроенную в Tensorflow, чтобы придать выходным меткам форму [1,6]. Теперь у меня есть два скрытых слоя в моей модели, которые будут дела…
22 май '18 в 22:25
0
ответов
TensorFlow - добавление текстовых данных через API tf.data.Dataset.
Я пытаюсь выполнить задачу по выполнению некоторых возмущений входного текста в объекте tf.data.Dataset. Например, я мог бы иметь этот ввод необработанных данных: raw_data.txt a ab abc То, что я хочу сделать для каждого образца, это преобразовать вх…
03 дек '18 в 08:17
2
ответа
Периодические издержки при использовании набора данных tenorflow для обучения модели на графическом процессоре
Как вы можете видеть из следующего кода, я пытаюсь обучить простую модель Tensorflow с помощью набора данных Tensorflow. Набор данных довольно большой, и я выполняю его, повторяю и пакетирую, чтобы выполнить стохастический градиентный спуск для трен…
19 апр '18 в 10:53
0
ответов
Файл чтения тензорного потока с decode_csv и заменой нулевой строки значением по умолчанию 0
В следующем примере набора данных 'trial.data' один объект (feature4) получил значение null в качестве значения по умолчанию, которое должно быть 0(целочисленный тип). Как я могу заменить ноль на 0 и создать тензор int32? Следующий код дает эту ошиб…
22 янв '18 в 23:08
0
ответов
Керас + Оценщики + взвешенные образцы
С помощью Keras добавление весов выборки, которые взвешивают функцию потерь отдельно для каждой выборки, было просто сделано в методе model.fit(). Теперь я масштабирую проблему, используя модели Keras (tf.keras), Оценщики (tf.estimator) и Наборы дан…
21 июн '18 в 21:43
1
ответ
Передача>2 ГБ данных в tf.estimator
Я имею x_train а также y_train numpy массивы, каждый из>2GB. Я хочу обучить модель с использованием API tf.estimator, но получаю ошибки: ValueError: Cannot create a tensor proto whose content is larger than 2GB Я передаю данные, используя: def input…
07 дек '18 в 22:02
0
ответов
Как использовать переобученную модель tenorsflow-for-poets-2 с использованием скрипта Python?
В кодовых таблицах тензорного потока для поэтов после обучения есть следующие шаги: python -m scripts.label_image --graph=tf_files/retrained_graph.pb\ --image=tf_files/flower_photos/daisy/21652746_cc379e0eea_m.jpg Как написать сценарий Python вместо…
28 янв '19 в 18:38
0
ответов
Кэшировать набор данных до dataset.repeat() dataset.batch() и dataset.prefetch() или после?
Я строю конвейер данных с использованием Dataset API для обучения на нескольких графических процессорах. Набор данных состоит из большого количества изображений в формате png с несколькими метками. Кешировать ли я перед сборкой или перед / после пов…
04 фев '19 в 18:32
0
ответов
Как пройти примеры в tf.data.Dataset назад?
Обычно при использовании api набора данных tenorflow, при условии, что нет тасования, тензор потока извлекает первый сериализованный пример tfrecordsи затем последовательно выполняет извлечение оставшихся примеров. Таким образом, есть ли способ нача…
13 фев '19 в 03:53
1
ответ
Как распаковать целочисленный битовый шаблон в tf.Tensor?
У меня есть большой набор данных, который относительно эффективно хранится на диске, а горячие векторы упакованы в кусочки целого ряда целых. Формат данных фиксированной ширины, поэтому я могу читать его в tf.data.FixedLengthRecordDataset, и с tf.de…
14 фев '19 в 09:50
1
ответ
Как можно передать два трехмерных тензора только с одним общим измерением (размером пакета) в dynamic_lstm?
Я хотел бы передать 2 тензора с разными размерами в tf.nn.dynamic_rnn, У меня возникли трудности, потому что размеры не совпадают. Я открыт для предложений о лучшем способе сделать это. Эти тензоры являются партиями из tf.data.Dataset У меня есть 2 …
06 авг '18 в 16:06
0
ответов
Как импортировать большой набор данных в TensorFlow [2018]
У меня большой набор данных (300 000 примеров x 33 000 функций), который, конечно, не умещается в памяти. Данные сохраняются в формате HDF5 и (в собственном формате HDF5) Loom. Значения в основном нули (разреженные данные). Они выглядят так: Attr1 5…
11 июн '18 в 15:20
3
ответа
Как использовать питаемый итератор из Tensorflow Dataset API вместе с MonitoredTrainingSession?
Руководство программиста Tensorflow рекомендует использовать подающий итератор для переключения между набором данных обучения и проверки без повторной инициализации итератора. Это главным образом требует подачи ручки, чтобы выбрать между ними. Как …
08 сен '17 в 07:34
0
ответов
Тензор потока: точная настройка iception_v3 с дополнительными классами
У меня проблемы с тонкой настройкой модели. Я следую за следующими сценариями https://github.com/tensorflow/models/tree/master/research/slim. Как я понимаю, он удаляет 2 последних слоя и строит новые, но после сборки модель имеет форму 5 классов, а …
25 дек '17 в 15:23
1
ответ
Обслуживание пользовательской модели TensorFlow
Я новичок в машинном обучении, в основном я создал собственный набор данных изображений и тренируюсь на них и распознаю изображения на ноутбуке Jupyter, после этого я попытался развернуть эту модель, следуя этому руководству Я исполняю bazel build -…
18 апр '18 в 19:04
2
ответа
Почему набор данных речевых команд от Google имеет частоту дискретизации 16 кГц
Google выпустил набор данных Speech Commands. Я вижу, что все аудиофайлы имеют частоту дискретизации 16 кГц. Это означает, что любая информация от 8 кГц и выше ненадежна (человеческий слуховой диапазон от 20 Гц до 20 кГц). Это чрезвычайно важно для …
07 сен '18 в 13:52