Сшивание видео в режиме реального времени с помощью веб-камеры EmguCV

Question

Я пытаюсь сделать веб-камеру в режиме реального времени с EMGUCV. Нечто похожее на эту настройку на YouTube. Проблема в том, что я не получаю сшитые видео только изображения.

Это мой код

    public Form1()
    {
        InitializeComponent();
        capture1 = new Emgu.CV.Capture(0);
        this.capture1.SetCaptureProperty(Emgu.CV.CvEnum.CAP_PROP.CV_CAP_PROP_FRAME_WIDTH, 1920.0f);
        this.capture1.SetCaptureProperty(Emgu.CV.CvEnum.CAP_PROP.CV_CAP_PROP_FRAME_HEIGHT, 1080.0f);
        capture2 = new Emgu.CV.Capture(1);
        this.capture2.SetCaptureProperty(Emgu.CV.CvEnum.CAP_PROP.CV_CAP_PROP_FRAME_WIDTH, 1920.0f);
        this.capture2.SetCaptureProperty(Emgu.CV.CvEnum.CAP_PROP.CV_CAP_PROP_FRAME_HEIGHT, 1080.0f);

    }
    private void button1_Click(object sender, EventArgs e)
    {
        #region if capture is not created, create it now
        if (capture1 == null)
        {
            try
            {
                capture1 = new Emgu.CV.Capture(0);
                capture2 = new Emgu.CV.Capture(1);
            }
            catch (NullReferenceException excpt)
            {
                MessageBox.Show(excpt.Message);
            }
        }
        #endregion

        if (capture1 != null)
        {
            if (captureInProgress)
            {  //if camera is getting frames then stop the capture and set button Text
                // "Start" for resuming capture
                button1.Text = "Start!"; //
                Application.Idle -= ProcessFrame;



            }
            else
            {
                //if camera is NOT getting frames then start the capture and set button
                // Text to "Stop" for pausing capture
                button1.Text = "Stop";
                Application.Idle += ProcessFrame;
            }

            captureInProgress = !captureInProgress;
        }
    }
    private void ProcessFrame(object sender, EventArgs arg)
    {
        Image<Bgr, Byte> ImageFrame = capture1.QueryFrame();
        camimageBox.Image = ImageFrame; //line 2
        Image<Bgr, Byte> ImageFrame2 = capture2.QueryFrame();
        imageBox1.Image = ImageFrame2;
    }

    private void ReleaseData()
    {
        if (capture1 != null)
            capture1.Dispose();
    }

    private void button2_Click(object sender, EventArgs e)
    {

        Image<Bgr, byte>[] frames2 = new Image<Bgr, byte>[2];
        //List<Image<Bgr, Byte>> frames2 = new List<Image<Bgr, byte>>();
        frames2[0] = capture1.QueryFrame();
        frames2[1] = capture2.QueryFrame();

        camimageBox.Image = frames2[0];
        imageBox1.Image = frames2[1];

        try
        {
            using (Stitcher stitcher = new Stitcher(true))
            //using (Stitcher stitcher = new Stitcher(true))
            {
                Image<Bgr, Byte> result = stitcher.Stitch(frames2);
                imageBox2.Image = result;
            }
        }
        finally
        {
            foreach (Image<Bgr, Byte> img in frames2)
            {
                img.Dispose();
            }

        }
    }
}

Я использую графический процессор Nvidia NVS 450. Я могу читать отдельные камеры как отдельные потоки. Мне было интересно, смогу ли я объединить потоки вместе, используя EMGUCV для создания одного потока (больше похоже на 2 веб-камеры в виртуальной веб-камере).

Буду благодарен за любую помощь. Пожалуйста, помните мой английский!

Answer 1

Привет, вам нужно найти соответствующие точки на 2-х кадрах изображения (алгоритм SURF, если положения камер контролируются отдельно, или вы можете использовать шахматную доску и найти соответствующие углы, если камеры имеют фиксированное относительное положение и угол), а затем использовать координаты этих точек для расчета матрица гомографии. Когда у вас есть матрица, вы используете ее в качестве параметра для функции "WarpPerspective". Это деформирует ваше изображение так, чтобы его можно было надеть на кадр со второй камеры.

Надеюсь, это поможет.