Определите количество кадров в базовом аудиобуфере аудио

Question

Я пытаюсь получить доступ к необработанным данным для аудиофайла на iPhone/iPad. У меня есть следующий код, который является основным началом пути, который мне нужен. Однако я не могу понять, что делать, если у меня есть AudioBuffer.

AVAssetReader *assetReader = [AVAssetReader assetReaderWithAsset:urlAsset error:nil];
AVAssetReaderTrackOutput *assetReaderOutput = [AVAssetReaderTrackOutput assetReaderTrackOutputWithTrack:[[urlAsset tracks] objectAtIndex:0] outputSettings:nil];
[assetReader addOutput:assetReaderOutput];
[assetReader startReading];

CMSampleBufferRef ref;
NSArray *outputs = assetReader.outputs;
AVAssetReaderOutput *output = [outputs objectAtIndex:0];
int y = 0;
while (ref = [output copyNextSampleBuffer]) {
    AudioBufferList audioBufferList;
    CMBlockBufferRef blockBuffer;
    CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer(ref, NULL, &audioBufferList, sizeof(audioBufferList), NULL, NULL, 0, &blockBuffer);
    for (y=0; y<audioBufferList.mNumberBuffers; y++) {
        AudioBuffer audioBuffer = audioBufferList.mBuffers[y];
        SInt16 *frames = audioBuffer.mData;
        for(int i = 0; i < 24000; i++) { // This sometimes crashes
            Float32 currentFrame = frames[i] / 32768.0f;
        }
    }
}

По сути, я не знаю, как определить, сколько кадров содержит каждый буфер, поэтому я не могу надежно извлечь из них данные. Я новичок в работе с необработанными аудиоданными, поэтому я открыт для любых предложений о том, как лучше всего прочитать свойство mData структуры AudioBuffer. Я также мало что делал с пустыми указателями в прошлом, так что помощь с этим в этом контексте была бы отличной!

Answer 1

audioBuffer.mDataByteSize сообщает вам размер буфера. Ты это знал? Только в том случае, если вы этого не сделали, вы не могли взглянуть на объявление struct AudioBuffer. Вы всегда должны смотреть на заголовочные файлы, а также на документы.

Чтобы mDataByteSize имел смысл, вы должны знать формат данных. Количество выходных значений mDataByteSize / sizeof (outputType). Тем не менее, вы, кажется, смущены форматом - вы должны были указать его где-то. Прежде всего, вы рассматриваете это как 16-битный подписанный int

SInt16 *frames = audioBuffer.mData

тогда вы относитесь к нему как 32-битный float

Float32 currentFrame = frames[i] / 32768.0f

Между тем вы предполагаете, что существует 24000 значений, конечно, это приведет к сбою, если нет точно 24000 16-битных значений. Кроме того, вы называете данные "кадрами", но на самом деле вы имеете в виду образцы. Каждое значение, которое вы называете currentFrame, представляет собой один образец аудио. "Кадр" обычно ссылается на блок сэмплов, например.mData

Итак, предполагая, что формат данных 32-битный Float (и, пожалуйста, обратите внимание, я понятия не имею, если это так, это может быть 8-битный Int или 32-битный Фиксированный для всех, что я знаю)

for( int y=0; y<audioBufferList.mNumberBuffers; y++ )
{
  AudioBuffer audioBuffer = audioBufferList.mBuffers[y];
  int bufferSize = audioBuffer.mDataByteSize / sizeof(Float32);
  Float32 *frame = audioBuffer.mData;
  for( int i=0; i<bufferSize; i++ ) {
    Float32 currentSample = frame[i];
  }
}

Обратите внимание, sizeof(Float32) всегда равен 4, но я оставил это, чтобы было понятно.