Несколько входов в сверточную нейронную сеть с одним выходом?

Question

Существует ли стандартный способ ввода нескольких изображений в CNN и сведения в конце в единый образ? Я работаю над набором данных HDR, в котором у вас есть несколько изображений одной и той же сцены и соедините их вместе, чтобы сформировать изображение с меньшим уровнем шума.

То, что я пытался сделать, это установить отдельные изображения в качестве каналов, но я не уверен, что это уместно, поскольку результаты были странными.

Answer 1

1. Это осуществимо?

Да! Любая нейронная сеть, независимо от количества или типа слоев, является не чем иным, как некоторой функцией f: I → O, поэтому, если ваши разные входы относятся к одному и тому же типу, вы можете свободно передавать столько их через вашу сеть, сколько пожелаете. получая одинаково много выходов на другой стороне черного ящика. Они могут, в свою очередь, использоваться любым другим способом через любую другую функцию g: O x O → O ' (это может быть сложение, тензорное умножение, конкатенация или что-то более необычное, например, в другой нейронной сети).

2. Имеет ли это смысл?

Нет ответа здесь; это во многом зависит от того, что вы ожидаете от своей функции, каковы ваши данные и какова ваша конечная цель. Предполагаете ли вы, что все ваши входные данные подчиняются одинаковым статистическим свойствам или имеют схожие базовые шаблоны? В этом случае вы можете утверждать, что одна и та же функция может моделировать их. Имейте в виду, что, применяя их параллельно (т.е. асинхронно), вы скрываете свою функцию от потенциальных взаимозависимостей между двумя входами, что в некоторых случаях имеет полный смысл. Чтобы было немного яснее, если ваши разные входы - это разные каналы одного изображения, я думаю, что это неправильный подход; каждый канал может передавать различную информацию, и держать вашу сеть в неведении о том, как каждый канал влияет на друг друга, в то же время заставлять его создавать значимые абстракции, используя одну и ту же функцию для всех из них, не кажется хорошей идеей. С другой стороны, если ваши разные изображения - это, например, фотографии объекта под разными углами, а подсеть, к которой вы их применяете, является своего рода классификатором по их функциям (например, уже полученным через другой CNN), тогда может иметь смысл моделировать оба с использованием одной и той же функции.