Описание тега tf.data.dataset
0
ответов
tensorflow.python.framework.errors_impl.InvalidArgumentError: исключение узла при отключении режима ожидания
Я написал модель, которая наследуется от tf.keras.models.Model и перегружает ее метод call(). Когда я запускаю его в нетерпеливом режиме, все работает нормально. Теперь я пытаюсь повысить производительность (длинные прогоны с разными параметрами) в …
03 авг '20 в 21:25
0
ответов
генератор наборов данных в тензорном потоке keras
Я делаю классификацию текста и имею набор данных в фрейме данных pandas (с столбцами "текст" и "метка"). Хотите создать функцию-генератор с preprocess_fn внутри. Не знаю, как это сделать. Я погуглил, но все еще неясно. вот что у меня есть: def tfdat…
23 июл '20 в 21:56
0
ответов
Tensorflow 2 - AttributeError: объект '_NestedVariant' не имеет атрибута 'batch'
В главе 17 книги "Практика машинного обучения с помощью scikit-learn и tensorflow 2.0" они разбили последовательный набор данных на несколько окон с помощью tf.data.Dataset и метода window(): n_steps = 100 window_length = n_steps + 1 # target = inpu…
29 июл '20 в 19:28
1
ответ
Кедро поддерживает tfrecord?
Для обучения моделей keras тензорного потока на платформе AI с использованием контейнеров Docker мы конвертируем наши необработанные изображения, хранящиеся в GCS, в набор данных tfrecord, используя tf.data.Dataset. Таким образом, данные никогда не …
31 июл '20 в 01:41
0
ответов
Как использовать tf.data.Dataset для набора слов, чтобы получить вложения слов с помощью gensim fasttext
Как часть входного конвейера для автоэнкодера для уменьшения размерности, мне нужно преобразовать слова во встраиваемые, используя gensim fastText. Как я могу загрузить tf.data.Dataset со своим списком слов, а затем применить функцию карты, чтобы на…
29 авг '20 в 14:37
1
ответ
извлечение значения numpy из объекта tensorflow во время преобразования
Я пытаюсь получить вложения слов с помощью тензорного потока, и я создал смежные рабочие списки, используя свой корпус. Количество уникальных слов в моем словаре - 8000, а количество соседних списков слов - около 1,6 миллиона. Пример фотографии спис…
23 июл '20 в 23:04
1
ответ
Создание генератора данных с tf.data.dataset для моделей последовательности
У меня есть набор данных изображений, включая изображения RGB: img1.png, img2.png ... img250.png. Я извлек 100 небольших участков размером [64,64,3] из каждого изображения. Итак, теперь у меня есть набор данных, например img1_1.png, img1_2.png ...im…
30 авг '20 в 10:39
0
ответов
Оценщик тензорного потока: выборки с использованием взвешенного распределения (вероятности)
Я хочу выбрать данные, используя взвешенное распределение (вероятность) Примеры приведены ниже: распределение классов:doc_distribution = {0: 40, 1: 18, 2: 8, 3: 598, ... , 9: 177} Я бы сделал партию набора данных с равной вероятностью класса. total_…
03 сен '20 в 10:26
1
ответ
Как добавить измерение временного шага в сгенерированный пакет с помощью tf.data.Dataset API
Я хочу добавить измерение временного шага к генерации пакета. В настоящее время делаю train_ds = tf.data.Dataset.\ from_tensor_slices((x_train, y_train)).\ shuffle(10000).\ batch(32) и получение больших партий (32, feature_vector_length) Я хочу доба…
04 авг '20 в 13:54
1
ответ
Можно ли чередовать набор данных tf.data из нескольких файлов?
В настоящее время у меня есть набор данных, который разделен на три разных типа файлов npy: один содержит все переменные x, которые являются плавающими, второй содержит все переменные x, которые являются целыми числами, и один, содержащий все y-метк…
11 авг '20 в 23:51
1
ответ
tf.data WindowDataset flat_map дает объект 'dict' не имеет атрибута 'пакетная' ошибка
Я пытаюсь делать партии типа (batch_size, time_steps, my_data) Почему на flat_map шаг я получаю AttributeError: 'dict' object has no attribute 'batch' x_train = np.random.normal(size=(60000, 768)) token_type_ids = np.ones(shape=(len(x_train))) posit…
11 авг '20 в 23:54
0
ответов
tf.data.dataset.from_tensor_slices для модели RNN
У меня есть набор данных изображений, включая изображения RGB: img1.png, img2.png ... img250.png. Я извлек 100 небольших участков размером[64,64,3]с каждого изображения. Итак, теперь у меня есть набор данных, например img1_1.png, img1_2.png ...img1_…
30 авг '20 в 12:31
1
ответ
tf.compat.v1.disable_eager_execution () с tf.data.dateset
Я использую тензорный поток 2.2. У меня есть два массива numpy (функции и метки), которые я передаю tf.data.dataset.from_tensor_slices(): train_dataset = tf.data.Dataset.from_tensors(feature_train_slice, label_train_slice).shuffle(buffer_size).reape…
05 сен '20 в 00:27
1
ответ
tf.keras.backend. функция для преобразования вложений внутри tf.data.dataset
Я пытаюсь использовать вывод нейронной сети для преобразования данных внутри tf.data.dataset. В частности, я использую Delta-Encoder для управления вложениями внутри конвейера tf.data. Однако при этом я получаю следующую ошибку: OperatorNotAllowedIn…
25 авг '20 в 15:26
2
ответа
Как получить доступ к тензорной форме внутри функции карты
Мне нужно получить доступ к фигурам изображения для выполнения конвейера увеличения, хотя при доступе через image.shape[0] and image.shape[1] Я не могу выполнить аугментации, так как он выводит, что мои тензоры имеют форму None. Связанные вопросы: К…
01 авг '20 в 19:06
1
ответ
Как использовать tf.data.Dataset с kedro?
Я использую tf.data.Dataset для подготовки набора данных потоковой передачи, который используется для обучения модели tf.kears. С помощью kedro есть способ создать узел и вернуть созданныйtf.data.Dataset использовать его в следующем обучающем узле? …
03 сен '20 в 21:59
1
ответ
Как использовать последовательность / генератор в объекте tf.data.Dataset для размещения частичных данных в памяти?
Я делаю классификацию изображений с помощью Keras в Google Colab. Я загружаю изображения с помощью функции tf.keras.preprocessing.image_dataset_from_directory() (https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/image_dataset_from_di…
28 июл '20 в 21:09
0
ответов
Как включить нетерпеливый режим в tf.data
Для проекта я использую tf.data.Dataset для написания входного конвейера. Входными данными является изображение RGB. Метка представляет собой список 2D-координат объектов на изображении, которые использовались для создания тепловой карты. Вот MWE дл…
05 сен '20 в 07:40
0
ответов
Добавление элементов tf.data.Dataset из любой внешней библиотеки (в моем случае - альбументации)
Я создаю функцию сопоставления, которая дополняет каждое изображение в наборе данных, которое затем обертывается tf.numpy_function для создания тензорного потока op. Теперь эта операция тензорного потока передается в функцию tf.data.Dataset.map Я на…
27 авг '20 в 18:23
0
ответов
Использование tensorflow.data для создания набора данных изображений и нескольких этикеток
Я пытаюсь обучить нейронную сеть рисовать ограничивающую рамку вокруг объекта. Я сам сгенерировал данные, изображения 256x256 rgb и пять меток на изображение (два угла ограничивающей рамки + компонент вращения). Чтобы не исчерпать память при обучени…
20 ноя '20 в 18:34