Создайте org.webrtc.JavaI420Buffer из YUV420 ByteBuffer

Привет, я работаю над решением для потоковой передачи в реальном времени, где мне нужно отредактировать локальный видеокадр и отправить его подключенному одноранговому узлу, для этой задачи я редактирую https://webrtc.googlesource.com/src/+/master/sdk/ android / src / java / org / webrtc / Camera2Session.java#201, отсюда VideoFrame обрабатывается механизму редактирования, позже он возвращает YUV420 ByteBuffer со следующими значениями:

  • frameWidth =1280
  • frameHeight=720
  • RowStrideY:1280
  • RowStrideU:640
  • RowStrideV:640
  • СамолетВысота:720
  • PlaneHeightU:360
  • PlaneHeightV:360
  • PlaneOffsetY:0
  • PlaneOffsetU:921600
  • PlaneOffsetV:1152000
  • PixelStrideY=1
  • PixelStrideU=1
  • PixelStrideV=1

Теперь я хочу воссоздать объект VideoFrame из этих деталей, я пробовал различные подходы для достижения этого и почти очень близко к решению, только возникла проблема с отделением Y, U и V ByteBuffer от ByteBuffer, из-за чего вывод немного искажен .

Я использовал следующий код для преобразований:

      public static I420Buffer convert(ImageProcessResult result) {
    int frameWidth = result.getWidth();
    int frameHeight = result.getHeight();

    int rowStrideY = result.getRowStride(0);
    int rowStrideU = result.getRowStride(1);
    int rowStrideV = result.getRowStride(2);

    int offsetY = result.getPlaneOffset(0);
    int offsetU = result.getPlaneOffset(1);
    int offsetV = result.getPlaneOffset(2);

    ByteBuffer i420ByteBuffer = result.getBuffer();
    i420ByteBuffer.position(offsetY);
    final ByteBuffer dataY = i420ByteBuffer.slice();

    i420ByteBuffer.position(offsetU);
    final ByteBuffer dataU = i420ByteBuffer.slice();

    i420ByteBuffer.position(offsetV);
    final ByteBuffer dataV = i420ByteBuffer.slice();

    JavaI420Buffer frame = JavaI420Buffer.wrap(frameWidth, frameHeight, dataY, rowStrideY, dataU, rowStrideU, dataV, rowStrideV,
            () -> {
                JniCommon.nativeFreeByteBuffer(i420ByteBuffer);
            });
    return frame;
}

Мы будем благодарны за любую помощь в решении этой проблемы, заранее спасибо ..!

0 ответов

Другие вопросы по тегам