Отображение на Raspberry Pi HDMI с камеры Raspberry Pi с использованием C++

Question

Вопрос: Как записать видеопоток с камеры Raspberry Pi на дисплей, подключенный по HDMI?

Ответ: см. Ниже

Answer 1

Моя система: Raspberry Pi3, дистрибутив Raspbian Jessie VisualGDB и VisualStudio 2015

Потратив несколько часов на то, чтобы собрать различные тестовые коды из разных публикаций, я публикую этот скомпилированный тестовый код для сообщества. Он работает ~ 15 кадров в секунду с цветным видеовыходом 1200x720p.

Источники: https://raspberrypi.stackexchange.com/questions/7092/display-a-test-pattern-by-writing-the-frame-buffer-and-then-clear-it

https://visualgdb.com/tutorials/raspberry/camera/

ЗАМЕЧАНИЯ: VisualGDB имеет некоторые проблемы с синхронизацией Sysroot, когда я запустил встроенную операцию из Visual Studio, он скопировал несколько заголовков с размером 0. Вместо этого я вручную скопировал /opt/vc папка для C:\SysGCC\raspberry\arm-linux-gnueabihf\sysroot непосредственно

Я также должен был скопировать libbcm_host.so (вместе с libraspicam.so.0.1 как в связанном учебнике) из /opt/vc/lib к местному build/Debug/src папка,

И добавить =/opt/vc/include включает (= указывает локальный каталог sysroom) и bcm_host в имена библиотек.

ПРИМЕЧАНИЕ 2: либо дистрибутив Raspbian, либо компилятор не нравится while(1) петли, так что если вы замените for(...) петля для рисования рамок с while(1) без каких-либо условий выхода, вы получите черный экран для вывода. Вероятная причина - оптимизатор, хорошая практика - просто избегать бесконечных циклов без условий выхода вообще.

ПРИМЕЧАНИЕ 3: При использовании выхода HDMI для монитора с разрешением менее 1280x720 (меньше, чем видеопоток с камеры) могут возникнуть некоторые проблемы, если кто-то отредактирует код для небольших экранов. Более старые версии RPi с композитным видеовыходом также не тестировались.

Спасибо,

#include <stdio.h>
#include <syslog.h>
#include <fcntl.h>
#include <linux/fb.h>
#include <sys/mman.h>
#include <sys/ioctl.h>
#include "interface\vmcs_host\vc_dispmanx_types.h"
#include <bcm_host.h>
#include "raspicam.h"
#include <iostream>


typedef struct
{
    DISPMANX_DISPLAY_HANDLE_T   display;
    DISPMANX_MODEINFO_T         info;
    void                        *image;
    DISPMANX_UPDATE_HANDLE_T    update;
    DISPMANX_RESOURCE_HANDLE_T  resource;
    DISPMANX_ELEMENT_HANDLE_T   element;
    uint32_t                    vc_image_ptr;

} RECT_VARS_T;

int main(int argc, char **argv) 
{
    RECT_VARS_T vars;
    VC_RECT_T src_rect;
    VC_RECT_T dst_rect;
    VC_DISPMANX_ALPHA_T alpha = { 
        static_cast<DISPMANX_FLAGS_ALPHA_T>(DISPMANX_FLAGS_ALPHA_FROM_SOURCE | DISPMANX_FLAGS_ALPHA_FIXED_ALL_PIXELS),
        255, /*alpha 0->255*/
        0
    };

    bcm_host_init();

    vars.display = vc_dispmanx_display_open(0);
    vc_dispmanx_display_get_info(vars.display, &vars.info);

    //Grab Camera feed
    raspicam::RaspiCam v_camera; //camera object
    //Open camera 
    std::cout << "Opening Camera..." << std::endl;
    if (!v_camera.open()) 
    {
        std::cerr << "Error opening camera" << std::endl; 
        return -1;
    }
    //may need to wait a while until camera stabilizes

    int cam_width = v_camera.getWidth();
    int cam_height = v_camera.getHeight();

    vars.image = calloc(1, cam_width * cam_height * 3);
    vars.resource = vc_dispmanx_resource_create( VC_IMAGE_RGB888,
        cam_width,
        cam_height,
        &vars.vc_image_ptr);

    vc_dispmanx_rect_set(&dst_rect, 0, 0, cam_width, cam_height);
    vars.update = vc_dispmanx_update_start(10);
    vars.element = vc_dispmanx_element_add( vars.update,
        vars.display,
        2000, // layer
        &dst_rect,
        vars.resource,
        &src_rect, //may not need this
        DISPMANX_PROTECTION_NONE,
        &alpha,
        NULL, // clamp
        static_cast<DISPMANX_TRANSFORM_T>(0));

    //Draw 50 frames to screen
    for (int i = 0; i < 50; i++)
    {    
        vc_dispmanx_resource_write_data( vars.resource,
            VC_IMAGE_RGB888,
            cam_width * 3,
            vars.image,
            &dst_rect);

        unsigned char* fbp = static_cast<unsigned char*>(vars.image);   
        v_camera.grab();
        v_camera.retrieve(fbp, raspicam::RASPICAM_FORMAT_RGB);//get camera image
        vc_dispmanx_update_submit_sync(vars.update); 
    }

    int ret = vc_dispmanx_resource_delete(vars.resource);
    vc_dispmanx_display_close(vars.display);

    return true;
}

Если вы хотите выполнить какую-либо обработку изображения, просто напишите напрямую, используя fbp указатель внутри цикла, например (не самый эффективный метод)

int location_cam = 0;
for (int x = 200; x < 300; x++)
{       
    for (int y = 200; y < 300; y++)
    {
        location_cam = (x) * (3) + (y) * cam_width * 3;
        *(fbp + location_cam) = 255;        //red
        *(fbp + location_cam + 1) = 0;     //green
        *(fbp + location_cam + 2) = 0;    //blue
    }
}