Android Camera2 Lag предварительного просмотра при получении кадра

Question

Я использую Android camera2 для извлечения кадров в режиме реального времени в режиме предварительного просмотра, чтобы сшить их в сторону NDK (openCv). я использую ImageReader поверхность для получения кадров, но она ограничена максимальным значением кадра.

ImageReader.newInstance(800,600,ImageFormat.YUV_420_888, MAX_FRAME); 

это работает хорошо, но так как нам нужны все кадры, необходимо удалить ImageReader поверхность цели от CaptureRequest.Builder и добавь это снова. таким образом, у нас есть задержка в этом пункте.

Как мы можем иметь ImageReader без максимального кадра или как мы можем получить все кадры из живого видео в camera2 без задержки в предварительном просмотре?

Мой код:

    private void startPreview() {
        if (null == mCameraDevice || !mTextureView.isAvailable() || null == mPreviewSize) {
            return;
        }
        try {

            SurfaceTexture texture = mTextureView.getSurfaceTexture();
            assert texture != null;
            texture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight());
            Surface previewSurface = new Surface(texture);
            surfaces = new ArrayList<>();
            mPreviewBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD);
            surfaces.add(previewSurface);
            mPreviewBuilder.addTarget(previewSurface);
            mPreviewCaptureCallback = new CameraCaptureSession.StateCallback() {

                @Override
                public void onConfigured(@NonNull CameraCaptureSession session) {
//                    closePreviewSession();
                    mPreviewSession = session;
                    try {
                        session.setRepeatingRequest(mPreviewBuilder.build(), null, mBackgroundHandler);
                    } catch (CameraAccessException e) {
                        e.printStackTrace();
                    }
                }

                @Override
                public void onConfigureFailed(@NonNull CameraCaptureSession session) {
                    Activity activity = getActivity();
                    if (null != activity) {
                        Toast.makeText(activity, "Failed", Toast.LENGTH_SHORT).show();
                    }
                }
            };
            mCameraDevice.createCaptureSession(surfaces, mPreviewCaptureCallback, mBackgroundHandler);
        } catch (CameraAccessException e) {
            e.printStackTrace();
        }
    }

    private void addImageReaderSurface() {
        try {

            SurfaceTexture texture = mTextureView.getSurfaceTexture();
            assert texture != null;
            texture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight());
            Surface previewSurface = new Surface(texture);
            surfaces = new ArrayList<>();
            mPreviewBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD);
            surfaces.add(previewSurface);
            mPreviewBuilder.addTarget(previewSurface);
            newImageReader(10);
            surfaces.add(mImageReader.getSurface());
            mPreviewBuilder.addTarget(mImageReader.getSurface());

            mPreviewCaptureCallback = new CameraCaptureSession.StateCallback() {

                @Override
                public void onConfigured(@NonNull CameraCaptureSession session) {
                    mPreviewSession = session;
                    try {
                        mPreviewSession.setRepeatingRequest(mPreviewBuilder.build(), null, mBackgroundHandler);
                    } catch (CameraAccessException e) {
                        e.printStackTrace();
                    }
                }

                @Override
                public void onConfigureFailed(@NonNull CameraCaptureSession session) {
                    Activity activity = getActivity();
                    if (null != activity) {
                        Toast.makeText(activity, "Failed", Toast.LENGTH_SHORT).show();
                    }
                }
            };
            mCameraDevice.createCaptureSession(surfaces, mPreviewCaptureCallback, mBackgroundHandler);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    private void newImageReader(final int count) {
        mImageReader = ImageReader.newInstance(800, 600, ImageFormat.YUV_420_888, count);
        mImageReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                index++;
                Log.e("xxx", "frame " + index + " received");
                if (index == count) {
                    index = 0;
//                    remove it before reached max value
                    addImageReaderSurface();
                }
            }
        }, mBackgroundHandler);
    }

Answer 1

После получения изображения от читателя с Image img = reader.acquireLatestImage()Вы должны позвонить img.close(),

public void onImageAvailable(ImageReader reader) {
    Image img = reader.acquireLatestImage();
    if (img == null) { return; }
    // do work
    img.close();
}