Android, запись видеокадров в режиме реального времени приводит к паузам

Я пытаюсь захватить видеокадры, кодировать их с помощью MediaCodec и сохранить в файл. Код, который я использую:

public class AvcEncoder {

    private static String TAG = AvcEncoder.class.getSimpleName();

    private MediaCodec mediaCodec;
    private BufferedOutputStream outputStream;


    public AvcEncoder(String fileDir) {

        Log.d(TAG, "Thread Id: " + Thread.currentThread().getId());

        File f = new File(Environment.getExternalStorageDirectory(), "Download/LiveCamera/video_encoded.h264");

        try {
            outputStream = new BufferedOutputStream(new FileOutputStream(f));
            Log.i("AvcEncoder", "outputStream initialized");
        } catch (Exception e){ 
            e.printStackTrace();
        }

        mediaCodec = MediaCodec.createEncoderByType("video/avc");
        MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", 960, 720);
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 2000000);
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
        //mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar);
        mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);

        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);
        mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
        mediaCodec.start();
    }

    public void close() throws IOException {
        mediaCodec.stop();
        mediaCodec.release();
        mediaCodec = null;

        //outputStream.flush();
        outputStream.close();
    }

    public void byteWriteTest(byte[] input) {
        try {
            outputStream.write(input, 0, input.length);
        } catch(Exception e) {
            Log.d("AvcEncoder", "Outputstream write failed");
            e.printStackTrace();
        }
        Log.i("AvcEncoder", input.length + " bytes written");
    }

    // called from Camera.setPreviewCallbackWithBuffer(...) in other class
    public void offerEncoder(byte[] input) {
        try {
            ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
            ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers();
            int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);

            if (inputBufferIndex >= 0) {
                ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
                inputBuffer.clear();
                inputBuffer.put(input);
                mediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, 0, 0);
            }

            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,0);

            while (outputBufferIndex >= 0) {
                ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];
                byte[] outData = new byte[bufferInfo.size];
                outputBuffer.get(outData);
                try {
                    outputStream.write(outData, 0, outData.length);

                } catch(Exception e) {
                    Log.d("AvcEncoder", "Outputstream write failed");
                    e.printStackTrace();
                }
                //Log.i("AvcEncoder", outData.length + " bytes written");

                mediaCodec.releaseOutputBuffer(outputBufferIndex, false);
                outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);

            }
        } catch (Throwable t) {
            t.printStackTrace();
        }

    }
}

Для каждого кадра, полученного в onPreviewFrame SurfaceView, вызывается метод offerEncoder() AvcEncoder следующим образом

public class CameraView extends SurfaceView implements Camera.PreviewCallback,
        SurfaceHolder.Callback {
    ...

    @Override
    public void onPreviewFrame(byte[] pData, Camera pCamera) {

        if (VIDEO_ENCODE) {
            avcEncoder.offerEncoder(pData);
        }
    }

}

Эта проблема

Теперь у меня проблема с записью закодированных кадров в файл. Кажется, что после каждых N кадров (грубо, а не точно каждый раз) outputStream.write(outData, 0, outData.length)в методе offerEncoder AvcEncoder занимает больше времени (несколько раз обрабатывается больше, чем на других итерациях). Я предположил, что это, вероятно, происходит, когда он очищает буфер, то есть фактически записывает в файл. (Пожалуйста, поправьте меня, если это предположение неверно).

Это приводит к удалению кадров, поступающих в течение этого времени (опять же, я полагаю, на основе результата видео), что, в свою очередь, приводит к паузе в записанном видео после каждого N кадра.

Когда я закомментирую это утверждение, итерации метода offerEncoder занимают примерно одинаковое время.

Вопрос

Как я могу решить эту проблему так, чтобы запись в файл была гладкой. Кто-нибудь еще сталкивался с этой проблемой. Я вижу, что многие люди используют этот код, но до сих пор никто не жаловался на эту проблему (или, по крайней мере, я не нашел).

Благодарю.

0 ответов

Другие вопросы по тегам