omxplayer AVPacket

Question

Привет, я пытаюсь декодировать видео с помощью компонента OpenMax и примера hello_video из GitHub. Я просто редактирую video.c и заменяю "main frame while" на AVFormat - пакет считанных кадров для чтения не только файлов *.h264. (Мне нужно прочитать mp4, mov, mkv....).. Так что с файлами test.h264 и другими файлами, которые я генерирую с помощью ffmpeg, все работает нормально, и на экране я вижу фильм.

ffmpeg -i file.mp4 -vcodec copy -vbsf h264_mp4toannexb out.h264

Но если я открою файл test.mp4, я не смогу видеть картинки на экране, и в консоли входа в систему покажут, что данные правильно прочитаны и правильно проанализированы во входном буфере видеодекодера. Кто-нибудь может объяснить мне, почему я не вижу ничего на экране во втором тесте?

    do{
    printf("###before DO!\n");
status=av_read_frame(pFormatCtx,&packet);
//only for video
if(packet.stream_index==*video_stream_index){
printf("=>Read frame, status: %d, index: %d, stream index: %d, packet duration: %d, size: %d\n",pstatus,index++,packet.stream_index,packet.duration,packet.size);
int psize=packet.size;
int preaded=0;
double pts=packet.duration;
while(psize!=0){
     buf = ilclient_get_input_buffer(video_decode, 130, 1);
      buf->nFlags = 0;
      buf->nOffset = 0;
      uint64_t val = (uint64_t)(pts == DVD_NOPTS_VALUE) ? 0 : pts;
     if(first_frame==true){buf->nFlags = OMX_BUFFERFLAG_STARTTIME;first_frame=false;}else{buf->nFlags = OMX_BUFFERFLAG_TIME_UNKNOWN;}
buf->nTimeStamp = ToOMXTime(val);
buf->nFilledLen = (psize > buf->nAllocLen) ? buf->nAllocLen : psize;
memcpy(buf->pBuffer, packet.data+preaded,buf->nFilledLen);
psize-=buf->nFilledLen;
preaded+=buf->nFilledLen;
     if(psize == 0){buf->nFlags|=OMX_BUFFERFLAG_ENDOFFRAME;printf("#######################################OMX_BUFFERFLAG_ENDOFFRAME\n");}
printf("=>BUFF size: %d\n",buf->nFilledLen);
OMX_ERRORTYPE r;
if(pstatus==0){if(r=OMX_EmptyThisBuffer(ILC_GET_HANDLE(video_decode), buf) != OMX_ErrorNone){status = -6;printf("Failed, OMX_EmptyThisBuffer, error: 0x%08x , buf allocate: %d, buf lenght: %d \n", r,buf->nAllocLen,buf->nFilledLen);break;}}
}//while psize
av_free_packet(&packet);
   }//if index  
}//do
while(pstatus==0);

Answer 1

войдите в консоль и покажите мне, что данные правильно прочитаны и правильно проанализированы во входном буфере видеодекодера

Что ты имеешь в виду? Скорее всего, ваши пакеты, демультиплексированные из mp4, не имеют форму приложения-b, что ожидается декодером OMX и является естественной формой формата файла (потока).h264. Итак, после того, как вы прочитаете NALU, замените заголовок на 00000001 (четыре байта с одним последним включенным битом), и вам может повезти.

Другие вещи для размышления: декодер может ожидать или не ожидать SPS/PPS с первым I-кадром и так далее...

Обновление: LLVM test-suite имеет исходный файл C, который делает именно это. Вас также может заинтересовать эталонная реализация AVC/h264, которая выполняет обратное преобразование - из Приложения B в NALU.