Как объединить две функции изображения в настраиваемый набор данных pytorch?

Question

Я пытаюсь создать собственный набор данных pytorch с двумя изображениями в качестве функций и одним изображением в качестве вывода.

Вот как изображения находятся в файловой системе:

      ./feature1/image1.jpeg #64x64px
./feature2/image1.jpeg #64x64px
./output/image1.jpeg #64x64px

Моя цель - создать нейронную сеть, которая будет принимать в качестве входных данных

      feature1 + feature2 => output. 

Как лучше всего создать такой набор данных?

Answer 1

Есть несколько способов сделать это, что лучше всего будет зависеть от характера ваших данных, модели и взаимосвязи между двумя изображениями.

Если ваша сеть состоит из простых линейных слоев, вы можете просто объединить (сглаженные) тензоры, поскольку здесь порядок функций произвольный.

Если это CNN (в зависимости от соотношения изображений), возможно, имеет смысл сложить их в 4-м измерении (например, кадры видео).