Chroma Программирование видео с помощью FLARToolkit

Question

Так что это будет немного утомительно, может быть... Я пытаюсь воспроизвести видеоклип в дополненной реальности с помощью плагина Flash под названием FLARToolkit. У меня есть видео на зеленом экране, и мне нужно воспроизвести видео на самолете. В настоящее время я использую MovieClipMaterial, чтобы положить видео на плоскость дисплея. Я хочу перебрать пиксели в плоскости отображения и изменить пиксели, которые соответствуют зеленому на зеленом экране, и установить эти пиксели в прозрачные, хроматические клавиши. Возможно, есть более эффективный способ сделать это, и я открыт для предложений.

Я также изучил ColorMatrixFilters, но я не смог придумать способ сделать его избирательным, вместо того, чтобы отфильтровывать все зеленые в клипе.

Вот мой код в его нынешнем виде:

[SWF(width='640', height='480', backgroundColor='#000000', frameRate='40')]

public class HelloFLAR extends Sprite
{
    private var fm:FLARManager;
    private var scene:Scene3D;
    private var view:Viewport3D;
    private var camera:FLARCamera3D;
    private var bre:BasicRenderEngine;
    private var lre:LazyRenderEngine;
    private var p:Plane;
    private var con:DisplayObject3D;
    private var marker:FLARMarker;
    private var v:Vid;
    private var mat:MovieMaterial
    private var bmd:BitmapData;
    private var videoStream:NetStream;
    private var container:FLARBaseNode;
    private var RGBRaster:FLARRgbRaster_BitmapData;

    public function HelloFLAR()
    {
        initFLAR();
        v = new Vid();
        //source for displayed video
        v.vid.source = "Reuters.m4v";
        v.vid.stop();

    }

    private function initFLAR():void
    {
        fm = new FLARManager("flarConfig.xml");
        fm.addEventListener(FLARMarkerEvent.MARKER_ADDED, onAdded);
        fm.addEventListener(FLARMarkerEvent.MARKER_REMOVED, onRemoved);
        fm.addEventListener(Event.INIT, init3D);
        addChild(Sprite(fm.flarSource));


    }

    private function onAdded(e:FLARMarkerEvent):void
    {
        marker = e.marker;
        p.visible = true;
        v.vid.play();
    }

    private function onRemoved(e:FLARMarkerEvent):void
    {
        marker = null;
        p.visible = false;
        v.vid.stop();
    }

    private function init3D(e:Event):void
    {
        scene = new Scene3D();
        camera = new FLARCamera3D(fm.cameraParams);
        camera.z = -30;
        view = new Viewport3D(640, 480, true);
        lre = new LazyRenderEngine(scene,camera,view);


        //Display plane and Videp material
        mat = new MovieMaterial(v, false, true);
        p = new Plane(mat, 320, 240, 2, 2);
        mat.doubleSided = true;
        p.rotationZ = 90;
        p.visible = true;


        //Green Leech from video plane (Attempt at chromakeying)
        var matrix:Array = new Array();         
        matrix = matrix.concat([1,0,0,0,0]); //Red
        matrix = matrix.concat([0,1,0,0,0]); //Green
        matrix = matrix.concat([0,0,1,0,0]); //Blue
        matrix = matrix.concat([0,-1,0,0,0]); //Alpha

        var color_filter:ColorMatrixFilter = new ColorMatrixFilter(matrix);;
        v.filters = [color_filter];

        //container for display Plane
        con = new DisplayObject3D();
        con.addChild(p);


        //Add plane container to scene
        scene.addChild(con);
        addChild(view);
        addChild(new FramerateDisplay());

        addEventListener(Event.ENTER_FRAME, loop);
        //addEventListener(Event.ENTER_FRAME, pixelCheck);

    }

    private function loop(e:Event):void
    {
        if(marker != null)
        {
            con.transform = FLARPVGeomUtils.convertFLARMatrixToPVMatrix(marker.transformMatrix);
        }
        lre.render();
    }

Я не могу получить доступ к пикселям видео. Я попытался получить доступ к пикселям через плоскость и MovieClipMaterial без удачи.

Любая помощь будет принята с благодарностью!

Adeptatus

Answer 1

Да, вы можете сделать это;

1. создать прозрачное фоновое видео для создания прозрачного фонового видео, используя фоновый материал зеленого экрана, удалить зеленый фон в Adobe Afters Effects или Premiere или Final Cut или.. в настройках экспорта или рендеринга изменить на RGB + Alpha, а затем экспортировать из

2. в вашем коде;

   mat = new MovieMaterial(v, false, true);
   mat = new MovieMaterial(v, true, true);
   

Answer 2

Извините, я забыл, прозрачный формат видео должен быть flv, Потому что несколько форматов могут нести информацию прозрачности. Это можно проверить с помощью проигрывателя River FLV.