Описание тега mini-batch
Используйте мини-пакет при работе с нейронными сетями и, в частности, с мини-пакетным стохастическим градиентным спуском.
1
ответ
Как эффективно сделать мини-пакет изображений в Pytorch?
Я пытаюсь рассчитать прямой проход, используя предварительно обученную модель ResNet в pytorch. У меня проблемы с созданием 4-го Тензорного мини-партии. Может кто-нибудь сказать, пожалуйста, как это правильно сделать? РЕДАКТИРОВАТЬ: я изменил код, и…
11 окт '17 в 19:39
0
ответов
Средняя стоимость мини-партии с набором данных в Tensorflow
Я моделирую свой код тензорного потока с помощью MonitoredTrainingSession в TF и использую LoggingTensorHook для печати стоимости обучения каждые X итераций. Я использую класс Dataset для загрузки данных и разделения на мини-пакеты, а также для на…
28 сен '17 в 15:28
1
ответ
Одно горячее кодирование в тензорном потоке для пакетного обучения
Мои данные обучения содержат ~1500 меток (строка, одна метка на запись), и я хочу провести пакетное обучение (просто загрузите одну партию в память, чтобы обновить веса в нейронной сети). Мне было интересно, есть ли класс в tenorflow, чтобы сделать …
30 сен '17 в 16:06
1
ответ
Оптимизирует ли оптимизатор TensorFlow мини-пакет, реализованный с помощью API?
Сводит ли Tensorflow к минимуму API для, скажем, GradientDescentOptimizer реализует мини-пакет уже, когда мы вводим входной тензор с размером мини-пакета данных? Я читал этот болг, который указывал, что мини-пакет не реализован в minimize метод, мы …
26 окт '18 в 23:17
1
ответ
Как бороться со случайностью процесса обучения NN?
Рассмотрим процесс обучения глубинной нейронной сети FF с использованием мини-пакетного градиентного спуска. Насколько я понимаю, в каждую эпоху обучения у нас разные случайные наборы мини-партий. Затем итерируя по всем мини-пакетам и вычисляя гради…
12 янв '19 в 14:53
2
ответа
Запутанное использование отсева при мини-градиентном спуске
Мой вопрос в конце. Пример CNN, обученный с мини-пакетом GD и использовавший выпадение в последнем полностью подключенном слое (строка 60) как fc1 = tf.layers.dropout(fc1, rate=dropout, training=is_training) Сначала я думал, чтоtf.layers.dropoutили …
05 фев '18 в 08:06
0
ответов
Предварительная загрузка следующей мини-партии массива NumPy во время обучения (чтобы получить 100% использование графического процессора) с помощью tf.Data
У меня есть огромная матрица NumPy, уже загруженная в память. Я хотел бы уместить (выполнить градиентный спуск) 20 000 строк одновременно, но при этом следующие 20 000 строк будут скопированы в память GPU, поэтому GPU будет постоянно снабжаться данн…
08 апр '18 в 16:34
1
ответ
Обучение по мини-пакетам различного размера
Я пытаюсь обучить модели глубокого обучения в PyTorch на изображениях, которые были привязаны к определенным измерениям. Я хотел бы обучить свою модель с использованием мини-пакетов, но размер мини-партии не делит аккуратно на количество примеров в …
03 июн '18 в 06:22
2
ответа
Количество backprops как показатель производительности для нейронных сетей
Я читал статью о SRCNN и обнаружил, что они используют "количество backprops" для оценки того, насколько хорошо работает сеть, то есть какую сеть можно узнать после x backprops (насколько я понимаю). Я хотел бы знать, что на самом деле означает коли…
08 янв '18 в 04:39
2
ответа
Функция генератора в LSTM Keras для вывода мини-пакетов из одного файла
У меня есть функция генератора, которая работает нормально. У меня есть большой список файлов.txt, в котором каждый файл также довольно длинный. Теперь задача будет написать функцию генератора, которая принимает: пакет файлов а затем пакет размером …
01 ноя '18 в 09:12
1
ответ
Пользовательская мини-партия CNN (Keras, TF), чтобы избежать повторных измерений при обучении / тестировании
В настоящее время я строю 1D-CNN для классификации. Предикторами являются спектры (X- матрица с 779 признаками), а зависимая переменная содержит два класса. Тем не менее, X- матрица содержит повторные измерения (серия из 15-20 повторов). Крайне важн…
21 окт '18 в 01:39
0
ответов
Тензорный поток: поезд на мини-партии, быстро, а затем медленно
Я новичок в тензорном потоке, и я пытаюсь обучить модель, используя "мини-пакет". Для этого я создал генератор и повторил его. Проблема, с которой я сталкиваюсь, заключается в том, что в начале эпохи поезд кажется быстрым (много пакетов в секунду), …
10 дек '17 в 18:45
0
ответов
Как добавить новые значения категориальных функций в Tensorflow?
Допустим, мы используем мини-пакетный градиентный спуск в тензорном потоке. Каждый день я обновляю модель последнего дня, чтобы что-то предсказать (регрессия / классификация) путем подачи новых данных в модель. Что мне делать, если появляется новое …
11 авг '17 в 07:31
0
ответов
Как мы подаем мини-партии на тренировочную модель SVM с помощью Tensorflow?
Я изучаю алгоритмы машинного обучения, и у меня возникла проблема с большим набором данных (13 миллионов записей). Мой компьютер не может загрузить все данные одновременно. Итак, мое решение состоит в том, чтобы разделить данные на несколько мини-па…
23 дек '18 в 16:11
1
ответ
Эффективная функция PyTorch DataLoader collate_fn для входов различных измерений
У меня проблемы с написанием кастома collate_fn функция для PyTorch DataLoader учебный класс. Мне нужна пользовательская функция, потому что мои входы имеют разные размеры. В настоящее время я пытаюсь написать базовую реализацию статьи Стэнфордского…
07 янв '19 в 23:34
1
ответ
Пространственная классификация текста с использованием мини-пакета
У меня есть вопрос относительно мини-пакетирования, который используется в примере train_textcat.py Основной цикл обучения выглядит так: for i in range(n_iter): losses = {} # batch up the examples using spaCy's minibatch batches = minibatch(train_da…
13 янв '19 в 11:20
0
ответов
Как я могу изменить размер мини-партии при обучении в маске R-CNN для обнаружения объектов и сегментации?
Я пытаюсь обучить модели маскируемого RCNN ( https://github.com/matterport/Mask_RCNN) для обнаружения номерного знака. Я следовал экзамену по обнаружению баллона и тренировался без изменения каких-либо гиперпараметров (за исключением многопроцессорн…
27 фев '19 в 10:25
1
ответ
Как сделать избирательное обратное распространение в мини-партии в Tensorflow?
Недавно я работаю над проектом "Предсказание будущих траекторий объектов по их прошлым траекториям с использованием LSTM в Tensorflow". (Здесь траектория означает последовательность двухмерных позиций.) Вход в LSTM - это, конечно, "прошлые траектори…
11 дек '18 в 23:26
0
ответов
Keras имеет гораздо лучшие градиенты, рассчитанные, чем родной TF, при использовании мини-партии SGD
Я не уверен, является ли это ошибкой в некоторой функции TF, или у Keras есть только несколько умных способов справиться с этой задачей. Я прототипировал простую модель логистической регрессии с Keras и пытался написать точно такую же модель с T…
02 окт '17 в 18:34
0
ответов
Невозможно передать мини-пакет в заполнитель ввода Tensorflow - Tensorflow 1.3.0
Может кто-нибудь сказать мне, почему я не могу подать мини-пакет данных на мои входы tf.nn.placeholder? Что-то изменилось в последнее время, потому что это работало на меня весь прошлый год? Ошибка: Cannot feed value of shape (1024, 784) for Tensor …
22 ноя '17 в 09:44