Насколько быстро применяются методы глубокого обучения (DNN, DBN, ...)?

Question

Методы глубокого обучения (Deep Neural Network, Deep Belief Network, Deep Stacking Networks, ...) очень эффективны в некоторых областях. Они очень долго тренируются, но это единовременные расходы.

Я прочитал несколько статей о различных техниках, и они сосредоточились только на точности и времени, чтобы обучить их. Как быстро они дадут ответ на практике после обучения?

Имеются ли данные о сравнительном анализе глубоких сетей, возможно, с миллионами параметров?

Я думаю, что они довольно быстрые, так как все веса фиксированы, но поскольку функции могут быть довольно сложными, а количество параметров достаточно большим, я не уверен в том, как они действительно работают на практике.

Answer 1

Скорость сильно зависит от размера сети. Предполагая, что ваша сеть является плотной сетью прямой пересылки, каждый слой сети представлен (обычно очень прямоугольной) матрицей. Для проталкивания входа по сети требуется матричное векторное произведение. Так что если у вас сеть с 8 слоями, вам понадобится 8 матричных продуктов. Сколько времени занимает каждый из этих этапов, зависит от исходного размера набора данных и размера указанных слоев.