Каковы отношения между Style Transfer и GAN?

Question

Я только начинаю с этих тем. Насколько мне известно, передача стиля берет контент из одного изображения, а стиль - из другого, чтобы сгенерировать или воссоздать первое в стиле второго, тогда как GAN генерирует совершенно новые изображения на основе обучающего набора.

Но я вижу много мест, где они используются взаимозаменяемо, например, этот блог здесь и другие места, где GAN используется для передачи стиля, например, здесь

Передают ли GAN и Style две разные вещи, или GAN - метод для реализации передачи стиля, или это две разные вещи, которые делают одно и то же? Где именно грань между ними?

Answer 1

GAN это архитектура нейронной сети

передача стиля - это (набор) метод обработки (может быть простым, как оттенки серого или размытие)

---

Итак, отношение это:

• GAN может быть использован для реализации передачи стиля. (и другие вещи)

---

Чтобы сделать это более сложным (надеюсь, это может прояснить что-то), если вы считаете вектор объекта как стиль изображения, тогда feature vector -> image преобразование это передача стиля:)

Answer 2

GAN - более обобщенная модель, чем Style Transfer. Оба метода пытаются решить одну и ту же проблему, но используют разные подходы. Передача стилей пытается сохранить содержимое изображения без изменений при применении стиля другого изображения. Он извлекает содержимое и стиль из средних слоев модели NN. Он фокусируется на изучении содержимого и стиля изображения отдельно, но в GAN модель пытается изучить все отображение из одной области в другую, не разделяя изучение контекста и стиля.

loss function of style transfer = Loss(content) + Loss(style)
loss function of GAN = loss(cycle consistency) + loss(adversarial)