Сверточная нейронная сеть для зависящих от времени функций

Question

Сверточная нейронная сеть для зависящих от времени функций

Мне нужно сделать уменьшение размерности из серии изображений. Более конкретно, каждое изображение представляет собой снимок движущегося шара, и оптимальными характеристиками будут его положение и скорость. Насколько я знаю, CNN - это современное состояние для уменьшения возможностей классификации изображений, но в этом случае предоставляется только один кадр. Можно ли извлечь также зависящие от времени особенности, учитывая множество изображений на разных временных шагах? В противном случае, каковы современные методы для этого?

Это первый раз, когда я использую CNN, и я также буду признателен за любую ссылку или любое другое предложение.

4

neural-network conv-neural-network convolution feature-extraction feature-selection

Источник

user754136 21 июл '15 в 13:59

1 ответ

Решение

Другие вопросы по тегам neural-network conv-neural-network convolution feature-extraction feature-selection

user46190 31 июл '15 в 20:37 2015-07-31 20:37 · Accepted Answer · 2015-07-31 20:37

Если вы хотите, чтобы сеть каким-то образом распознавала прогрессию, зависящую от времени, вам, вероятно, следует изучить периодические нейронные сети (RNN). Поскольку вы будете работать с видео, вам следует изучить периодические сверточные нейронные сети (RCNN), такие как: http://jmlr.org/proceedings/papers/v32/pinheiro14.pdf

Повторение добавляет некоторую память предыдущего состояния входных данных. Посмотрите это хорошее объяснение Карпати: http://karpathy.github.io/2015/05/21/rnn-effectiveness/

В вашем случае вам нужно иметь повторение по нескольким изображениям, а не только внутри одного изображения. Казалось бы, первая проблема, которую вам нужно решить, это проблема сегментации изображения (возможность выделить шарик из остальной части изображения), а первая статья, связанная выше, имеет дело с сегментацией. (опять же, может быть, вы пытаетесь воспользоваться движением, чтобы идентифицировать движущийся объект?)

Вот еще одна мысль: возможно, вы могли бы только посмотреть на различия между последовательными кадрами и использовать их в качестве входных данных для вашей сети. Затем входное "изображение" будет показывать, где движущийся объект находился в предыдущем кадре, и где он находится в текущем кадре. Большие различия указывают на большее количество движения. Это, вероятно, будет иметь эффект, аналогичный использованию периодической сети.