Невозможно перекодировать звук через Android MediaCodec API
Я пытаюсь записать базовые необработанные данные AAC в файл, в надежде, что смогу использовать mp4parser, чтобы инкапсулировать его в видеодорожку. Для этого мне нужно закодировать любой данный аудиофайл в этот формат. MediaCodec API доступен с API 16, поэтому я решил использовать его для работы кодека.
Я не уверен, почему не так много ресурсов доступны в Интернете по этому поводу, возможно, из-за сложности, связанной с этим. Хотя мне удалось узнать, что фундаментальный подход должен быть:
Получить примеры данных через MediaExtractor -> Входной буфер декодирования очереди -> Выходной буфер удаления и получить декодированные данные -> Входной буфер кодирования очереди -> Выходной буфер кодирования очереди -> Записать закодированные данные в файл.
private void transcodeFile(File source, File destination) throws IOException {
FileInputStream inputStream = new FileInputStream(source);
FileOutputStream outputStream = new FileOutputStream(destination);
log("Transcoding file: " + source.getName());
MediaExtractor extractor;
MediaCodec encoder;
MediaCodec decoder;
ByteBuffer[] encoderInputBuffers;
ByteBuffer[] encoderOutputBuffers;
ByteBuffer[] decoderInputBuffers;
ByteBuffer[] decoderOutputBuffers;
int noOutputCounter = 0;
int noOutputCounterLimit = 10;
extractor = new MediaExtractor();
extractor.setDataSource(inputStream.getFD());
extractor.selectTrack(0);
log(String.format("TRACKS #: %d", extractor.getTrackCount()));
MediaFormat format = extractor.getTrackFormat(0);
String mime = format.getString(MediaFormat.KEY_MIME);
log(String.format("MIME TYPE: %s", mime));
final String outputType = MediaFormat.MIMETYPE_AUDIO_AAC;
encoder = MediaCodec.createEncoderByType(outputType);
MediaFormat encFormat = MediaFormat.createAudioFormat(outputType, 44100, 2);
encFormat.setInteger(MediaFormat.KEY_BIT_RATE, 64000);
encoder.configure(encFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
decoder = MediaCodec.createDecoderByType(mime);
decoder.configure(format, null, null, 0);
encoder.start();
decoder.start();
encoderInputBuffers = encoder.getInputBuffers();
encoderOutputBuffers = encoder.getOutputBuffers();
decoderInputBuffers = decoder.getInputBuffers();
decoderOutputBuffers = decoder.getOutputBuffers();
int timeOutUs = 1000;
long presentationTimeUs = 0;
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
boolean inputEOS = false;
boolean outputEOS = false;
while(!outputEOS && noOutputCounter < noOutputCounterLimit) {
noOutputCounter++;
if(!inputEOS) {
int decInputBufferIndex = decoder.dequeueInputBuffer(timeOutUs);
log("decInputBufferIndex: " + decInputBufferIndex);
if (decInputBufferIndex >= 0) {
ByteBuffer dstBuffer = decoderInputBuffers[decInputBufferIndex];
//Getting sample with MediaExtractor
int sampleSize = extractor.readSampleData(dstBuffer, 0);
if (sampleSize < 0) {
inputEOS = true;
log("Input EOS");
sampleSize = 0;
} else {
presentationTimeUs = extractor.getSampleTime();
}
log("Input sample size: " + sampleSize);
//Enqueue decoder input buffer
decoder.queueInputBuffer(decInputBufferIndex, 0, sampleSize, presentationTimeUs, inputEOS ? MediaCodec.BUFFER_FLAG_END_OF_STREAM : 0);
if (!inputEOS) extractor.advance();
} else {
log("decInputBufferIndex: " + decInputBufferIndex);
}
}
//Dequeue decoder output buffer
int res = decoder.dequeueOutputBuffer(info, timeOutUs);
if(res >= 0) {
if(info.size > 0) noOutputCounter = 0;
int decOutputBufferIndex = res;
log("decOutputBufferIndex: " + decOutputBufferIndex);
ByteBuffer buffer = decoderOutputBuffers[decOutputBufferIndex];
buffer.position(info.offset);
buffer.limit(info.offset + info.size);
final int size = buffer.limit();
if(size > 0) {
//audioTrack.write(buffer, buffer.limit(), AudioTrack.MODE_STATIC);
int encInputBufferIndex = encoder.dequeueInputBuffer(-1);
log("encInputBufferIndex: " + encInputBufferIndex);
//fill the input buffer with the decoded data
if(encInputBufferIndex >= 0) {
ByteBuffer dstBuffer = encoderInputBuffers[encInputBufferIndex];
dstBuffer.clear();
dstBuffer.put(buffer);
encoder.queueInputBuffer(encInputBufferIndex, 0, info.size, info.presentationTimeUs, 0);
int encOutputBufferIndex = encoder.dequeueOutputBuffer(info, timeOutUs);
if(encOutputBufferIndex >= 0) {
log("encOutputBufferIndex: " + encOutputBufferIndex);
ByteBuffer outBuffer = encoderOutputBuffers[encOutputBufferIndex];
byte[] out = new byte[outBuffer.remaining()];
outBuffer.get(out);
//write data to file
outputStream.write(out);
}
}
}
decoder.releaseOutputBuffer(decOutputBufferIndex, false);
if((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
outputEOS = true;
log("Output EOS");
}
} else if (res == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
decoderOutputBuffers = decoder.getOutputBuffers();
log("Output buffers changed.");
} else if (res == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
log("Output format changed.");
} else {
log("Dequeued output buffer returned: " + res);
}
}
log("Stopping..");
releaseCodec(decoder);
releaseCodec(encoder);
inputStream.close();
outputStream.close();
}
Выходной файл недействителен по некоторым причинам. Зачем?
РЕДАКТИРОВАТЬ: удалось исправить исключение, проблема сохраняется.
РЕДАКТИРОВАТЬ 2: Я предотвратил переполнение буфера, установив размер буфера в битрейт в настройках формата кодера. В настоящее время есть две проблемы:
1. Через очень короткий промежуток времени он застревает здесь, возможно, ожидая бесконечно долго.int encInputBufferIndex = dequeueInputBuffer(-1); 2. Декодирование занимает столько времени, сколько длится трек, почему это учитывает фактический интервал выборок?
РЕДАКТИРОВАТЬ 3: При тестировании с AudioTrack.write() звук воспроизводится нормально и нормально, но это не предназначено и предполагает, что декодирование происходит синхронно с подаваемым мультимедийным файлом, это должно происходить как можно быстрее, чтобы кодировщик, чтобы сделать свою работу быстро. Изменение presentationTimeUs в decoder.queueInputBuffer() ничего не сделало.
1 ответ
Вы на правильном пути, недостающая часть - это мультиплексирование закодированных кадров в действительный файл MP4 с MediaMuxer. На Bigflake есть хороший (и единственный) пример для этого. Наиболее подходящими примерами по этому вопросу являются
Вам придется объединять и упрощать / модифицировать их для работы со звуком вместо видео. Вам понадобится API 18 для вышеуказанного
Редактировать: как я пересылаю буфер декодера в кодер (более или менее). До сих пор я не испытывал переполнения буфера, просто надеясь, что в нормальной реализации буферы кодера и декодера будут иметь одинаковую емкость:
int decoderStatus = audioDecoder.dequeueOutputBuffer(info, TIMEOUT_USEC);
if (decoderStatus >= 0) {
// no output available yet
if (VERBOSE) Log.d(TAG, "no output from audio decoder available");
...
} else if (decoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
audioDecoderOutputBuffers = audioDecoder.getOutputBuffers();
if (VERBOSE) Log.d(TAG, "decoder output buffers changed (we don't care)");
} else if (decoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
// expected before first buffer of data
if (VERBOSE) {
MediaFormat newFormat = audioDecoder.getOutputFormat();
Log.d(TAG, "decoder output format changed: " + newFormat);
}
} else if (decoderStatus < 0) {
Log.e(TAG, "unexpected result from decoder.dequeueOutputBuffer: "+decoderStatus);
throw new RuntimeException("Issue with dencoding audio");
} else { // decoderStatus >= 0
if (VERBOSE) Log.d(TAG, "audio decoder produced buffer "
+ decoderStatus + " (size=" + info.size + ")");
if (info.size! = 0) {
// Forward decoder buffer to encoder
ByteBuffer decodedData = audioDecoderOutputBuffers[decoderStatus];
decodedData.position(info.offset);
decodedData.limit(info.offset + info.size);
// Possibly edit buffer data
// Send it to the audio encoder.
int encoderStatus = audioEncoder.dequeueInputBuffer(-1);
if (encoderStatus < 0) {
throw new RuntimeException("Could not get input buffer for audio encoder!!!");
}
audioEncoderInputBuffers[encoderStatus].clear();
audioEncoderInputBuffers[encoderStatus].put(decodedData);
}
audioEncoder.queueInputBuffer(encoderStatus, 0, info.size, mAudioMediaTime, 0);
if (VERBOSE) Log.d(TAG, "Submitted to AUDIO encoder frame, size=" + info.size + " time=" + mAudioMediaTime);
}
audioDecoder.releaseOutputBuffer(decoderStatus, false);