Восстановление изображений на основе эскизов с помощью OpenCV или LIRe
В настоящее время я читаю для бакалавра творческих вычислений в Лондонском университете, и у меня последний год учебы. Единственный оставшийся модуль, который я оставил для получения степени, - это Проект.
Я очень заинтересован в области поиска изображений на основе контента, и моя идея проекта основана на этой концепции. Короче говоря, моя идея состоит в том, чтобы помочь начинающим художникам в рисовании эскизов в перспективе с использованием 3D-моделей в качестве эталонов. Я намерен добиться этого путем рендеринга боковых / верхних / передних видов каждой 3D-модели в коллекции, предварительной обработки этих изображений и их индексации. Во время рисования пользователь получает серию моделей (которые были предварительно обработаны), которые лучше всего соответствуют его / ее эскизу, которые можно использовать в качестве руководства для дальнейшего улучшения эскиза. Поскольку этот подход основан на трехмерных моделях, пользователь также может повернуть эскиз в трехмерном пространстве и продолжить рисование на основе этой перспективы. Такой подход может помочь художникам-комиксам или концептуальным дизайнерам быстро набросать свои идеи.
Выполняя свои исследования, я наткнулся на LIRe и должен сказать, что был действительно впечатлен. Я скачал демо LIRe v0.9 и поиграл с включенным образцом. Я также разработал небольшое приложение, которое автоматически загружает, индексирует и ищет похожие изображения, чтобы лучше понять внутреннюю работу движка. Оба подхода дали очень хорошие результаты даже при ограниченном наборе изображений (~300).
Следующий эксперимент состоял в проверке выходного отклика, когда эскиз, а не фактическое изображение предоставляется в качестве входных данных. Как упоминалось ранее, система должна быть в состоянии предоставить набор подходящих моделей на основе эскиза пользователя. Это может быть достигнуто путем сопоставления эскиза с визуализированными изображениями (которые, конечно, затем связываются с 3D-моделью). Я попробовал этот подход, сравнив несколько набросков с небольшим набором изображений, и результаты были довольно хорошими - см. http://claytoncurmi.net/wordpress/?p=17. Однако, когда я попробовал использовать другой набор изображений, результаты оказались не такими хорошими, как в предыдущем сценарии. Для создания и поиска по индексу я использовал технику "Мешок визуальных слов" (с использованием SURF), предоставленную LIRe.
Я также пробую некоторый пример кода, который поставляется с OpenCV (я никогда не использовал эту библиотеку, и я все еще нахожу свой путь).
Итак, мои вопросы:
1. Кто-нибудь пытался внедрить систему поиска изображений на основе эскизов? Если да, то как ты это сделал?
2. Можно ли использовать LIRe/OpenCV для получения эскизов изображений? Если так, как это можно сделать?
PS. Я прочитал несколько статей на эту тему, однако я не нашел никакой документации о фактической реализации такой системы.
Любая помощь и / или обратная связь с благодарностью.
С Уважением,
Clayton