Описание тега batchsize
2
ответа
Ожидаемые размеры скрытого состояния LSTM не учитывают размер пакета
У меня есть модель декодера, которая должна принимать пакеты вложений предложений (размер пакета = 50, скрытый размер =300) в качестве входных данных и выводить пакет одного горячего представления предсказанных предложений: class DecoderLSTMwithBatc…
07 фев '19 в 04:15
1
ответ
Пользовательские партии для tf.data.Dataset
Я использую Estimator API tenorflow и хотел бы создавать собственные партии для обучения. У меня есть примеры, которые выглядят следующим образом example1 = { "num_sentences": 3, "sentences": [[1, 2], [3, 4], [5, 6]] } example2 = { "num_sentences": …
19 фев '19 в 20:02
2
ответа
Почему большие мини-партии занимают больше времени?
Я тренирую автоэнкодер в MNIST и заметил, что увеличение размера пакета после 128 начинает занимать больше времени вычислений при фиксированном размере набора данных. Я использую tenorflow-GPU и GeForce GTX 1070. Я попытался провести пару тестов на …
30 апр '19 в 13:35
1
ответ
Joblib, Parallel и batch_size
Допустим, у меня есть генератор / список размером 50000. И я хочу использовать его как: batches = range(0, 50001) Parallel(n_jobs=multiprocessing.cpu_count(), verbose=100, backend="threading", batch_size=?, pre_dispatch=?)(delayed(<function>)(…
20 мар '19 в 09:18
1
ответ
Как выбрать гиперпараметры и стратегию для нейронной сети с небольшим набором данных?
В настоящее время я делаю семантическую сегментацию, однако у меня действительно небольшой набор данных, У меня есть только около 700 изображений с расширением данных, например, переворачивание может сделать это 2100 изображений. Не уверен, что этог…
21 мар '19 в 14:24
0
ответов
vaidation_data должен быть кортежем в keras fit_generator
Я пытаюсь переопределить keras.util.Sequence с моим классом SequenceGenerator(Sequence) и передать его fit_generator, но fit_generator поднял ошибку ValueError Вот мой пользовательский класс import os import numpy as np из keras.utils Импорт последо…
28 мар '19 в 16:42
1
ответ
Что означает размер партии на фоне глубокого обучения подкреплению?
Размер партии означает количество образцов, обученных нейронной работе в контролируемом обучении, однако, что означает значение размера партии на фоне обучения с подкреплением? Это относится и к образцам? Если да, что значат образцы на фоне обучения…
02 апр '19 в 11:41
1
ответ
Определение максимального размера партии с помощью TensorFlow Object Detection API
API обнаружения объектов TF по умолчанию захватывает всю память графического процессора, поэтому трудно сказать, насколько я смогу еще больше увеличить размер пакета. Обычно я просто продолжаю увеличивать его, пока не получу ошибку CUDA OOM. PyTorch…
05 апр '19 в 06:01
0
ответов
Эффективный метод обучения, когда размер партии равен 1 керасу (память и скорость)
Я должен исправить и обучить размер партии до 1 из-за характеристик данных. Когда я ставлю свою модель на GPU, я получаю ошибку памяти. Количество параметров мало. Когда я ставлю свою модель на процессор и вычисляю пакет с помощью gpu, скорость заме…
05 апр '19 в 17:16
0
ответов
Pandas Shuffle последовательные данные с размером партии
Вот мой вопрос, Подумайте о временном ряду как о фрейме данных Pandas, например о рыночных данных, я хочу перетасовать его, но не каждую строку в отдельности, я хочу, чтобы группа строк была одной последовательной частью, а затем перетасовать эти по…
12 апр '19 в 13:27
1
ответ
Размер заполнителя TensorFlow
Я запутался в том, как использовать заполнитель для пакетного обучения. В моем коде входное изображение имеет размер 3 x 3. Чтобы выполнить пакетное обучение, я устанавливаю tf.placeholder(tf.float32,shape=[None,3,3]), Когда я пытаюсь дать партии 3х…
12 апр '19 в 15:47
1
ответ
steps_per_epoch не соблюдается в tf.keras.fit
tf.keras.fit не соблюдая размер пакета, продолжает получать OOM для выделения всего тензора в памяти GPU. Я пытаюсь приспособить модель DNN для набора данных mnist: mnist_model = tf.keras.Sequential([ tf.keras.layers.Conv2D(filters=35,kernel_size=(3…
30 апр '19 в 00:19
1
ответ
Проблема в Grid Поиск сети LSTM - проблема Batch_size
Я написал код для применения метода gridsearch к сети LSTM, созданной с помощью keras. Кажется, все работает нормально, но у меня есть некоторые проблемы с передачей batch_size. Я попытался изменить формат batch_size, но, насколько я понимаю, это до…
05 июл '19 в 12:08
1
ответ
Как определить форму тензора при использовании batch_size в керасе (initial_value должен иметь указанную форму)
У меня есть custom layerв одной строке этого обычного слоя я делаю так: out = tf.Variable(tf.zeros(shape=tf.shape(tf_a1), dtype=tf.float32)) Когда я запускаю код, я получил эту ошибку: Значение Error: initial_value должно иметь указанную форму: Tens…
05 июл '19 в 03:29
1
ответ
Реализация пакета для сегментации изображения
Я написал скрипт на Python 3.5 для сегментации улиц. Поскольку я новичок в сегментации изображений, я не использовал предопределенные загрузчики данных из pytorch, вместо этого я написал их самостоятельно (для лучшего понимания). До сих пор я исполь…
26 авг '19 в 15:29
0
ответов
Накопление градиентов в тензорном потоке
Для тех, у кого нет определенных возможностей памяти GPU, и примеры велики по размеру, максимально возможная партия составляет один. По этой причине я искал накапливающие градиенты и затем применял де-тренировку. (то есть, используя пакетный размер …
04 июн '19 в 08:57
1
ответ
параметр batchsize в pyspark dataframe.write () не работает
Я пытаюсь записать данные из pyspark в базу данных postgresql. Я использовал размер пакета 1000, а общее количество данных в фрейме данных pyspark равно 10000. Но вставка, выполняемая в postgresql, не выполняется партиями. Он вставляет данные по одн…
11 ноя '19 в 12:56
1
ответ
Путаница относительно размера пакета при использовании DataLoader в pytorch
Я новичок в pytorch. Я обучаю ИНС для классификации по набору данных MNIST. train_loader = DataLoader(train_data,batch_size=200,shuffle=True) Я сбит с толку. Набор данных состоит из 60 000 изображений, и я установил размер пакета 6000, и моя модель …
26 май '20 в 03:11
0
ответов
Tensorflow 2 разных размера пакета при выполнении вывода
Я создал собственную модель в tensorflow 2, в которой используется активное выполнение. Модель обучается с использованием унаследованного.fit()В 10-периодном цикле с размером пакета 128 используется около 600 тыс. обучающих выборок (было выполнено д…
10 июн '20 в 13:17
0
ответов
Что делает Керас, если размер моей выборки меньше размера партии?
Довольно новичок в LSTM, но я уже искал решение и не нашел ничего удовлетворительного или даже достаточно похожего. Итак, вот моя проблема: я занимаюсь классификацией сна и аннотировал записи примерно для 6 тысяч пациентов. Чтобы обучить свой двунап…
17 июн '20 в 14:54