Как использовать Multi-band Blender в opencv

Question

Я хочу смешать два изображения, используя многополосное смешивание, но мне не понятен входной параметр этой функции:

void detail::Blender::prepare(const std::vector<Point>& corners, const std::vector<Size>& sizes)

В моем случае я просто вводил два искаженных изображения с черным зазором и с масками всех белых.(Простите, не могу добавить картинки...)

И я установил два угла (0.0,0.0), потому что деформированные изображения были зарегистрированы.

но мой результат не достаточно хорош. с очевидным швом в результате

Может кто-нибудь сказать мне, почему? Как я могу решить эту проблему?

Answer 1

Я не уверен, что вы имеете в виду, когда говорите "мой результат недостаточно хорош". Лучше посмотреть этот результат, но я постараюсь угадать. Моя основная часть кода, которая делает панораму, выглядит так:

void makePanorama(Rect bounding_box, vector<Mat> images, vector<Mat> homographies, vector<vector<Point>> corners) {
  detail::MultiBandBlender blender;
  blender.prepare(bounding_box);

  Mat mask, bigImage, curImage;
  for (int i = 0; i < (int)images.size(); ++i) {
    warpPerspective(images[i], curImage, homographies[i],
                bounding_box.size(), INTER_LINEAR, ORDER_TRANSPARENT);

    mask = makeMask(curImage.size(), corners[i], homographies[i]);
    blender.feed(curImage.clone(), mask, Point(0, 0));
  }

  blender.blend(bigImage, mask);
  bigImage.convertTo(bigImage, (bigImage.type() / 8) * 8);
  imshow("Result", bigImage);
  waitKey();
}

Итак, подготовьтесь blender а затем зациклите: деформируйте изображение, сделайте маску после деформированного изображения и подайте блендер В конце включите этот блендер и все. Я столкнулся с двумя проблемами, которые плохо влияют на мой результат. Может быть, у вас есть один из них или оба.

Первый тип. Мои изображения имели CV_16SC3, и после смешивания вам нужно конвертировать смешанный тип изображения в unsigned один. Как это

  bigImage.convertTo(bigImage, (bigImage.type() / 8) * 8);

Если нет, изображение будет серым.

Второе - границы. Вначале моей функцией makeMask был расчет не черных областей искаженных изображений. В результате можно видеть границы искаженных изображений на смешанном изображении. Решение состоит в том, чтобы сделать маску меньше, чем не черная область деформированного изображения. Итак, моя функция makeMask это выглядит так:

Mat makeMask(Size sz, vector<Point2f> imageCorners, Mat homorgaphy) {
  Scalar white(255, 255, 255);
  Mat mask = Mat::zeros(sz, CV_8U);
  Point2f innerPoint;
  vector<Point2f> transformedCorners(4);

  perspectiveTransform(imageCorners, transformedCorners, homorgaphy);
  // Calculate inner point
  for (auto& point : transformedCorners)
      innerPoint += point;
  innerPoint.x /= 4;
  innerPoint.y /= 4;

  // Make indent for each corner
  vector<Point> corners;
  for (int ind = 0; ind < 4; ++ind) {
    Point2f direction = innerPoint - transformedCorners[ind];
    double normOfDirection = norm(direction);
    corners[ind].x += settings.indent * direction.x / normOfDirection;
    corners[ind].y += settings.indent * direction.y / normOfDirection;
  }

  // Draw borders
  Point prevPoint = corners[3];
  for (auto& point : corners) {
    line(mask, prevPoint, point, white);
    prevPoint = point;
  }

  // Fill with white
  floodFill(mask, innerPoint, white);
  return mask;
}

Я взял этот фрагмент кода из своего реального кода, так что я мог забыть что-то указать. Но я надеюсь, идея о том, как работать с MultiBandBlender ясно.