Описание тега cross-entropy
В машинном обучении и теории информации перекрестная энтропия - это мера расстояния (обратного сходства) между двумя распределениями вероятностей для одного и того же основного набора событий. Перекрестная энтропия - это распространенный выбор функции потерь в нейронных сетях для задач классификации.
2
ответа
Потери Keras постоянно низкие, но точность начинается с высокой, а затем падает
Во-первых, мои предположения могут быть неверными: Потеря - это то, как далеко от правильного ответа находится каждый пример обучения (затем делится на количество примеров - вид средней потери). Точность - это количество примеров обучения, которые я…
18 июн '18 в 17:43
1
ответ
TensorFlow: мои логиты в правильном формате для функции кросс-энтропии?
Хорошо, так что я собираюсь запустить tf.nn.softmax_cross_entropy_with_logits() функция в Tensorflow. Насколько я понимаю, "логиты" должны быть Тензор вероятностей, каждый из которых соответствует вероятности определенного пикселя, что он является ч…
18 мар '16 в 07:21
0
ответов
Редкая категориальная потеря кроссентропии у больных
Я переводил пример mnist из https://www.tensorflow.org/tutorials/ в tflearn от keras. Тем не менее, в tflearn не было sparse_categorical_crossentropy, только категорический_crosssentropy. Таким образом, мне пришлось преобразовать все векторы y (кото…
01 мар '19 в 16:44
0
ответов
Рассчитайте растерянность с Sklearn и NumPy вместо Keras
В чем разница (математически) между этими двумя фрагментами кода? На самом деле я хочу построить функцию недоумения без вызовов функций Keras/Tensorflow. В то время как версия Keras/tf дает хорошие результаты, версия numpy/sklearn не дает. Для того …
04 янв '19 в 19:11
1
ответ
Tensorflow взвешенный по сравнению с сигмоидальной кросс-энтропийной потерей
Я пытаюсь реализовать классификацию по нескольким меткам с помощью TensorFlow (то есть каждый шаблон вывода может иметь много активных единиц). Проблема имеет несбалансированные классы (то есть, гораздо больше нулей, чем в распределении меток, что д…
18 дек '17 в 12:31
1
ответ
Binary-CrossEntropy - работает на керасе, а не на лазаньи?
Я использую ту же структуру сверточной нейронной сети на Keras и Lasagne. Прямо сейчас я просто переключился на простую сеть, чтобы посмотреть, изменилось ли что-нибудь, но это не так. На Keras он работает нормально, он выводит значения от 0 до 1 с …
15 апр '16 в 15:32
1
ответ
Keras пользовательская функция потери dtype error
У меня есть NN, который имеет два идентичных CNN (аналогично сиамской сети), затем объединяет выходные данные и намеревается применить пользовательскую функцию потерь к объединенному выходу, что-то вроде этого: ----------------- ----------------- | …
14 июл '17 в 20:28
2
ответа
Почему сигмоид и кроссцентропия Кераса / тензорного потока имеют низкую точность?
У меня есть следующая простая нейронная сеть (только с 1 нейроном), чтобы проверить точность вычислений sigmoid активация & binary_crossentropy Керас: model = Sequential() model.add(Dense(1, input_dim=1, activation='sigmoid')) model.compile(loss='bi…
01 сен '18 в 07:27
1
ответ
Учитывает ли tf.nn.softmax_cross_entropy_with_logits размер пакета?
Вопрос: tf.nn.softmax_cross_entropy_with_logits учитывать размер партии? В моей сети LSTM я передаю партии разных размеров и хотел бы знать, должен ли я нормализовать ошибку относительно размера партии перед оптимизацией.
05 июн '16 в 05:31
0
ответов
Расчет энтропии графа
Я пытаюсь сделать рекомендацию на основе графика. Каждый узел представляет академическую статью, а каждая ссылка A->B означает статью A процитированную статью B. Родительский узел на графике - это интересующая статья (входная информация), для которо…
20 июл '18 в 19:22
1
ответ
Что такое кросс-энтропия?
Я знаю, что есть много объяснений того, что cross-entropy есть, но я все еще в замешательстве. Это только метод для описания функции потерь? Затем мы можем использовать, например, алгоритм градиентного спуска, чтобы найти минимум. Или весь процесс в…
01 фев '17 в 21:38
0
ответов
Керас бинарная кроссентропия с игнорированием неопределенных результатов
Я пытаюсь классифицировать бинарный образец с помощью Keras, и я хотел бы классифицировать как можно больше правильно, игнорируя те, в которых модель не уверена. Полностью подключенная сеть Nerual в настоящее время достигает около 65%, но я хотел бы…
14 ноя '17 в 12:33
0
ответов
Формат вывода с использованием разреженной категориальной кросс-энтропии в кератах для мультиклассовой классификации
Я построил сетевую архитектуру с использованием Keras Functional API, но у меня возникли проблемы с использованием функции разреженной категориальной кросс-энтропийной потери. Моя учебная задача - многоклассовая, пиксельная классификация для многих …
04 янв '19 в 17:17
1
ответ
Как работает двоичная кросс-энтропийная потеря на автоэнкодерах?
Я написал ванильный автоэнкодер, используя только Dense слой. Ниже мой код: iLayer = Input ((784,)) layer1 = Dense(128, activation='relu' ) (iLayer) layer2 = Dense(64, activation='relu') (layer1) layer3 = Dense(28, activation ='relu') (layer2) layer…
21 сен '18 в 10:35
1
ответ
Примените метод PyTorch CrossEntropy для мультиклассовой сегментации
Я пытаюсь реализовать простой пример того, как применить кросс-энтропию к тому, что должно быть результатом моей семантической сегментации CNN. Используя формат pytorch, я бы получил что-то вроде этого: out = np.array([[ [ [1.,1, 1], [0, 0, 0], [0, …
13 фев '19 в 22:13
1
ответ
Keras - какую метрику точности следует использовать вместе с sparse_categorical_crossentropy для компиляции модели
Когда у меня есть 2 класса, я использовал binary_crossentropy как loss значение как это, чтобы скомпилировать модель: model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy']) Но сейчас у меня есть 5 классов, и я не исполь…
04 дек '18 в 09:33
0
ответов
TensorFlow v1.10 Перекрестная энтропия с Logits v2 на класс?
Заметки: Этот вопрос относится к API Python3.6 + версии TensorFlow v1.10 (стабильной). Соответствующий исходный код можно найти в строках 1781-1897 на связанной странице. Предположим, что у вас есть пакет последовательностей фиксированной длины, и о…
29 авг '18 в 09:41
1
ответ
Модель TensorFlow получает убыток 0
import tensorflow as tf import numpy as np def weight(shape): return tf.Variable(tf.truncated_normal(shape, stddev=0.1)) def bias(shape): return tf.Variable(tf.constant(0.1, shape=shape)) def output(input,w,b): return tf.matmul(input,w)+b x_columns …
04 май '17 в 07:36
1
ответ
О tf.nn.softmax_cross_entropy_with_logits_v2
Я заметил что tf.nn.softmax_cross_entropy_with_logits_v2(labels, logits) в основном выполняет 3 операции: Примените softmax к логитам (y_hat) для их нормализации: y_hat_softmax = softmax(y_hat), Вычислите кросс-энтропийную потерю: y_cross = y_true *…
20 мар '18 в 06:19
0
ответов
Изменить функцию стоимости в обратном распространении
Цель: иметь возможность перейти от квадратичной к кросс-энтропийной функции стоимости в части вычисления обратного распространения нейронной сети. Проблема: Взрыв градиента кросс-энтропийной функции стоимости в то время как квадратичная функция стои…
03 ноя '18 в 09:42