Извлечь уровни метра из аудиофайла

Question

Мне нужно извлечь уровни аудиометра из файла, чтобы я мог рендерить уровни перед воспроизведением звука. я знаю AVAudioPlayer может получить эту информацию во время воспроизведения аудио файла через

func averagePower(forChannel channelNumber: Int) -> Float.

Но в моем случае я хотел бы получить [Float] уровня метров заранее.

Answer 1

Более быстрое решение

Это берет на iPhone 6s плюс:

• 0,538 с для обработки 8MByte mp3-плеер с 4min47s продолжительность и 44,100 частота выборки

• 0,170 с для обработки 712KByte mp3-плеер с 22s продолжительность и 44,100 частота выборки

• 0.089s для обработки cafфайл, созданный преобразованием файла выше с помощью этой команды afconvert -f caff -d LEI16 audio.mp3 audio.caf в терминале.

Давай начнем:

А) Объявите этот класс, который будет содержать необходимую информацию об аудиоустройстве:

/// Holds audio information used for building waveforms
final class AudioContext {

    /// The audio asset URL used to load the context
    public let audioURL: URL

    /// Total number of samples in loaded asset
    public let totalSamples: Int

    /// Loaded asset
    public let asset: AVAsset

    // Loaded assetTrack
    public let assetTrack: AVAssetTrack

    private init(audioURL: URL, totalSamples: Int, asset: AVAsset, assetTrack: AVAssetTrack) {
        self.audioURL = audioURL
        self.totalSamples = totalSamples
        self.asset = asset
        self.assetTrack = assetTrack
    }

    public static func load(fromAudioURL audioURL: URL, completionHandler: @escaping (_ audioContext: AudioContext?) -> ()) {
        let asset = AVURLAsset(url: audioURL, options: [AVURLAssetPreferPreciseDurationAndTimingKey: NSNumber(value: true as Bool)])

        guard let assetTrack = asset.tracks(withMediaType: AVMediaType.audio).first else {
            fatalError("Couldn't load AVAssetTrack")
        }

        asset.loadValuesAsynchronously(forKeys: ["duration"]) {
            var error: NSError?
            let status = asset.statusOfValue(forKey: "duration", error: &error)
            switch status {
            case .loaded:
                guard
                    let formatDescriptions = assetTrack.formatDescriptions as? [CMAudioFormatDescription],
                    let audioFormatDesc = formatDescriptions.first,
                    let asbd = CMAudioFormatDescriptionGetStreamBasicDescription(audioFormatDesc)
                    else { break }

                let totalSamples = Int((asbd.pointee.mSampleRate) * Float64(asset.duration.value) / Float64(asset.duration.timescale))
                let audioContext = AudioContext(audioURL: audioURL, totalSamples: totalSamples, asset: asset, assetTrack: assetTrack)
                completionHandler(audioContext)
                return

            case .failed, .cancelled, .loading, .unknown:
                print("Couldn't load asset: \(error?.localizedDescription ?? "Unknown error")")
            }

            completionHandler(nil)
        }
    }
}

Мы собираемся использовать его асинхронную функцию loadи обработать его результат обработчику завершения.

Б) Импорт AVFoundation а также Accelerate на ваш взгляд контроллер:

import AVFoundation
import Accelerate

C) Объявите уровень шума в вашем контроллере вида (в дБ):

let noiseFloor: Float = -80

Например, что-нибудь меньше, чем -80dB будет считаться тишиной.

D) Следующая функция берет аудиоконтент и выдает желаемую мощность в дБ. targetSamples по умолчанию установлено значение 100, вы можете изменить это в соответствии с потребностями вашего интерфейса:

func render(audioContext: AudioContext?, targetSamples: Int = 100) -> [Float]{
    guard let audioContext = audioContext else {
        fatalError("Couldn't create the audioContext")
    }

    let sampleRange: CountableRange<Int> = 0..<audioContext.totalSamples/3

    guard let reader = try? AVAssetReader(asset: audioContext.asset)
        else {
            fatalError("Couldn't initialize the AVAssetReader")
    }

    reader.timeRange = CMTimeRange(start: CMTime(value: Int64(sampleRange.lowerBound), timescale: audioContext.asset.duration.timescale),
                                   duration: CMTime(value: Int64(sampleRange.count), timescale: audioContext.asset.duration.timescale))

    let outputSettingsDict: [String : Any] = [
        AVFormatIDKey: Int(kAudioFormatLinearPCM),
        AVLinearPCMBitDepthKey: 16,
        AVLinearPCMIsBigEndianKey: false,
        AVLinearPCMIsFloatKey: false,
        AVLinearPCMIsNonInterleaved: false
    ]

    let readerOutput = AVAssetReaderTrackOutput(track: audioContext.assetTrack,
                                                outputSettings: outputSettingsDict)
    readerOutput.alwaysCopiesSampleData = false
    reader.add(readerOutput)

    var channelCount = 1
    let formatDescriptions = audioContext.assetTrack.formatDescriptions as! [CMAudioFormatDescription]
    for item in formatDescriptions {
        guard let fmtDesc = CMAudioFormatDescriptionGetStreamBasicDescription(item) else {
            fatalError("Couldn't get the format description")
        }
        channelCount = Int(fmtDesc.pointee.mChannelsPerFrame)
    }

    let samplesPerPixel = max(1, channelCount * sampleRange.count / targetSamples)
    let filter = [Float](repeating: 1.0 / Float(samplesPerPixel), count: samplesPerPixel)

    var outputSamples = [Float]()
    var sampleBuffer = Data()

    // 16-bit samples
    reader.startReading()
    defer { reader.cancelReading() }

    while reader.status == .reading {
        guard let readSampleBuffer = readerOutput.copyNextSampleBuffer(),
            let readBuffer = CMSampleBufferGetDataBuffer(readSampleBuffer) else {
                break
        }
        // Append audio sample buffer into our current sample buffer
        var readBufferLength = 0
        var readBufferPointer: UnsafeMutablePointer<Int8>?
        CMBlockBufferGetDataPointer(readBuffer, 0, &readBufferLength, nil, &readBufferPointer)
        sampleBuffer.append(UnsafeBufferPointer(start: readBufferPointer, count: readBufferLength))
        CMSampleBufferInvalidate(readSampleBuffer)

        let totalSamples = sampleBuffer.count / MemoryLayout<Int16>.size
        let downSampledLength = totalSamples / samplesPerPixel
        let samplesToProcess = downSampledLength * samplesPerPixel

        guard samplesToProcess > 0 else { continue }

        processSamples(fromData: &sampleBuffer,
                       outputSamples: &outputSamples,
                       samplesToProcess: samplesToProcess,
                       downSampledLength: downSampledLength,
                       samplesPerPixel: samplesPerPixel,
                       filter: filter)
        //print("Status: \(reader.status)")
    }

    // Process the remaining samples at the end which didn't fit into samplesPerPixel
    let samplesToProcess = sampleBuffer.count / MemoryLayout<Int16>.size
    if samplesToProcess > 0 {
        let downSampledLength = 1
        let samplesPerPixel = samplesToProcess
        let filter = [Float](repeating: 1.0 / Float(samplesPerPixel), count: samplesPerPixel)

        processSamples(fromData: &sampleBuffer,
                       outputSamples: &outputSamples,
                       samplesToProcess: samplesToProcess,
                       downSampledLength: downSampledLength,
                       samplesPerPixel: samplesPerPixel,
                       filter: filter)
        //print("Status: \(reader.status)")
    }

    // if (reader.status == AVAssetReaderStatusFailed || reader.status == AVAssetReaderStatusUnknown)
    guard reader.status == .completed || true else {
        fatalError("Couldn't read the audio file")
    }

    return outputSamples
}

E) render использует эту функцию, чтобы преобразовать данные из аудиофайла и преобразовать их в децибелы:

func processSamples(fromData sampleBuffer: inout Data,
                    outputSamples: inout [Float],
                    samplesToProcess: Int,
                    downSampledLength: Int,
                    samplesPerPixel: Int,
                    filter: [Float]) {
    sampleBuffer.withUnsafeBytes { (samples: UnsafePointer<Int16>) in
        var processingBuffer = [Float](repeating: 0.0, count: samplesToProcess)

        let sampleCount = vDSP_Length(samplesToProcess)

        //Convert 16bit int samples to floats
        vDSP_vflt16(samples, 1, &processingBuffer, 1, sampleCount)

        //Take the absolute values to get amplitude
        vDSP_vabs(processingBuffer, 1, &processingBuffer, 1, sampleCount)

        //get the corresponding dB, and clip the results
        getdB(from: &processingBuffer)

        //Downsample and average
        var downSampledData = [Float](repeating: 0.0, count: downSampledLength)
        vDSP_desamp(processingBuffer,
                    vDSP_Stride(samplesPerPixel),
                    filter, &downSampledData,
                    vDSP_Length(downSampledLength),
                    vDSP_Length(samplesPerPixel))

        //Remove processed samples
        sampleBuffer.removeFirst(samplesToProcess * MemoryLayout<Int16>.size)

        outputSamples += downSampledData
    }
}

F) которая, в свою очередь, вызывает эту функцию, которая получает соответствующий дБ и обрезает результаты [noiseFloor, 0]:

func getdB(from normalizedSamples: inout [Float]) {
    // Convert samples to a log scale
    var zero: Float = 32768.0
    vDSP_vdbcon(normalizedSamples, 1, &zero, &normalizedSamples, 1, vDSP_Length(normalizedSamples.count), 1)

    //Clip to [noiseFloor, 0]
    var ceil: Float = 0.0
    var noiseFloorMutable = noiseFloor
    vDSP_vclip(normalizedSamples, 1, &noiseFloorMutable, &ceil, &normalizedSamples, 1, vDSP_Length(normalizedSamples.count))
}

G) Наконец, вы можете получить звуковую форму звука следующим образом:

guard let path = Bundle.main.path(forResource: "audio", ofType:"mp3") else {
    fatalError("Couldn't find the file path")
}
let url = URL(fileURLWithPath: path)
var outputArray : [Float] = []
AudioContext.load(fromAudioURL: url, completionHandler: { audioContext in
    guard let audioContext = audioContext else {
        fatalError("Couldn't create the audioContext")
    }
    outputArray = self.render(audioContext: audioContext, targetSamples: 300)
})

Не забывай это AudioContext.load(fromAudioURL:) асинхронный

Это решение синтезировано из этого репо Уильямом Энтрикеном. Вся заслуга ему.

---

Старое решение

Вот функция, которую вы можете использовать для предварительного рендеринга уровней метра аудиофайла без его воспроизведения:

func averagePowers(audioFileURL: URL, forChannel channelNumber: Int, completionHandler: @escaping(_ success: [Float]) -> ()) {
    let audioFile = try! AVAudioFile(forReading: audioFileURL)
    let audioFilePFormat = audioFile.processingFormat
    let audioFileLength = audioFile.length

    //Set the size of frames to read from the audio file, you can adjust this to your liking
    let frameSizeToRead = Int(audioFilePFormat.sampleRate/20)

    //This is to how many frames/portions we're going to divide the audio file
    let numberOfFrames = Int(audioFileLength)/frameSizeToRead

    //Create a pcm buffer the size of a frame
    guard let audioBuffer = AVAudioPCMBuffer(pcmFormat: audioFilePFormat, frameCapacity: AVAudioFrameCount(frameSizeToRead)) else {
        fatalError("Couldn't create the audio buffer")
    }

    //Do the calculations in a background thread, if you don't want to block the main thread for larger audio files
    DispatchQueue.global(qos: .userInitiated).async {

        //This is the array to be returned
        var returnArray : [Float] = [Float]()

        //We're going to read the audio file, frame by frame
        for i in 0..<numberOfFrames {

            //Change the position from which we are reading the audio file, since each frame starts from a different position in the audio file
            audioFile.framePosition = AVAudioFramePosition(i * frameSizeToRead)

            //Read the frame from the audio file
            try! audioFile.read(into: audioBuffer, frameCount: AVAudioFrameCount(frameSizeToRead))

            //Get the data from the chosen channel
            let channelData = audioBuffer.floatChannelData![channelNumber]

            //This is the array of floats
            let arr = Array(UnsafeBufferPointer(start:channelData, count: frameSizeToRead))

            //Calculate the mean value of the absolute values
            let meanValue = arr.reduce(0, {$0 + abs($1)})/Float(arr.count)

            //Calculate the dB power (You can adjust this), if average is less than 0.000_000_01 we limit it to -160.0
            let dbPower: Float = meanValue > 0.000_000_01 ? 20 * log10(meanValue) : -160.0

            //append the db power in the current frame to the returnArray
            returnArray.append(dbPower)
        }

        //Return the dBPowers
        completionHandler(returnArray)
    }
}

И вы можете назвать это так:

let path = Bundle.main.path(forResource: "audio.mp3", ofType:nil)!
let url = URL(fileURLWithPath: path)
averagePowers(audioFileURL: url, forChannel: 0, completionHandler: { array in
    //Use the array
})

При использовании инструментов это решение обеспечивает высокую загрузку процессора в течение 1,2 секунды, для возврата к основному потоку с помощью returnArrayи до 10 секунд в режиме низкого заряда батареи.

Answer 2

Прежде всего, это тяжелая операция, поэтому для этого потребуется некоторое время и ресурсы ОС. В приведенном ниже примере я буду использовать стандартные частоты кадров и сэмплирование, но вам действительно нужно гораздо меньше сэмплировать, если вы, например, хотите отображать столбцы только как индикаторы.

Итак, вам не нужно воспроизводить звук, чтобы проанализировать его. Так что в этом я не буду использовать AVAudioPlayer вообще я предполагаю, что я буду отслеживать как URL:

    let path = Bundle.main.path(forResource: "example3.mp3", ofType:nil)!
    let url = URL(fileURLWithPath: path)

Затем я буду использовать AVAudioFile для получения информации о треках в AVAudioPCMBuffer. Всякий раз, когда у вас есть это в буфере, у вас есть вся информация относительно вашего трека:

func buffer(url: URL) {
    do {
        let track = try AVAudioFile(forReading: url)
        let format = AVAudioFormat(commonFormat:.pcmFormatFloat32, sampleRate:track.fileFormat.sampleRate, channels: track.fileFormat.channelCount,  interleaved: false)
        let buffer = AVAudioPCMBuffer(pcmFormat: format!, frameCapacity: UInt32(track.length))!
        try track.read(into : buffer, frameCount:UInt32(track.length))
        self.analyze(buffer: buffer)
    } catch {
        print(error)
    }
}

Как вы можете заметить, есть analyze метод для этого. В вашем буфере должна быть близка переменная floatChannelData. Это простые данные, поэтому вам нужно их проанализировать. Я опубликую метод и ниже объясню это:

func analyze(buffer: AVAudioPCMBuffer) {
    let channelCount = Int(buffer.format.channelCount)
    let frameLength = Int(buffer.frameLength)
    var result = Array(repeating: [Float](repeatElement(0, count: frameLength)), count: channelCount)
    for channel in 0..<channelCount {
        for sampleIndex in 0..<frameLength {
            let sqrtV = sqrt(buffer.floatChannelData![channel][sampleIndex*buffer.stride]/Float(buffer.frameLength))
            let dbPower = 20 * log10(sqrtV)
            result[channel][sampleIndex] = dbPower
        }
    }
}

Есть некоторые расчеты (тяжелый), участвующих в этом. Когда я работал над аналогичными решениями пару месяцев назад, я наткнулся на этот учебник: https://www.raywenderlich.com/5154-avaudioengine-tutorial-for-ios-getting-started там есть отличное объяснение этого расчета, а также части кода, которые я вставил выше и которые также используются в моем проекте, поэтому я хочу отметить автора здесь: Скотт МакАлистер

Answer 3

Основываясь на ответе @Jakub выше, вот версия Objective-C.

Если вы хотите повысить точность, измените deciblesCountпеременная, но остерегайтесь снижения производительности. Если вы хотите вернуть больше столбцов, вы можете увеличить divisionsпеременная при вызове функции (без дополнительного снижения производительности). В любом случае вам, вероятно, следует поместить его в фоновый поток.

Песня 3:36 минут / 5,2 МБ занимает около 1,2 секунды. Вышеупомянутые изображения показывают стрельбу из дробовика 30 и 100 дивизий соответственно.

      -(NSArray *)returnWaveArrayForFile:(NSString *)filepath numberOfDivisions:(int)divisions{
    
    //pull file
    NSError * error;
    NSURL * url = [NSURL URLWithString:filepath];
    AVAudioFile * file = [[AVAudioFile alloc] initForReading:url error:&error];
    
    //create av stuff
    AVAudioFormat * format = [[AVAudioFormat alloc] initWithCommonFormat:AVAudioPCMFormatFloat32 sampleRate:file.fileFormat.sampleRate channels:file.fileFormat.channelCount interleaved:false];
    AVAudioPCMBuffer * buffer = [[AVAudioPCMBuffer alloc] initWithPCMFormat:format frameCapacity:(int)file.length];
    [file readIntoBuffer:buffer frameCount:(int)file.length error:&error];
    
    //grab total number of decibles, 1000 seems to work
    int deciblesCount = MIN(1000,buffer.frameLength);
    NSMutableArray * channels = [NSMutableArray new];
    float frameIncrement = buffer.frameLength / (float)deciblesCount;
    
    //needed later
    float maxDecible = 0;
    float minDecible = HUGE_VALF;
    NSMutableArray * sd = [NSMutableArray new]; //used for standard deviation
    for (int n = 0; n < MIN(buffer.format.channelCount, 2); n++){ //go through channels
        NSMutableArray * decibles = [NSMutableArray new]; //holds actual decible values
        
        //go through pulling the decibles
        for (int i = 0; i < deciblesCount; i++){
            
            int offset = frameIncrement * i; //grab offset
            //equation from stack, no idea the maths
            float sqr = sqrtf(buffer.floatChannelData[n][offset * buffer.stride]/(float)buffer.frameLength);
            float decible = 20 * log10f(sqr);
            
            decible += 160; //make positive
            decible = (isnan(decible) || decible < 0) ? 0 : decible; //if it's not a number or silent, make it zero
            if (decible > 0){ //if it has volume
                [sd addObject:@(decible)];
            }
            [decibles addObject:@(decible)];//add to decibles array
            
            maxDecible = MAX(maxDecible, decible); //grab biggest
            minDecible = MIN(minDecible, decible); //grab smallest
        }
        
        [channels addObject:decibles]; //add to channels array
    }
    
    //find standard deviation and then deducted the bottom slag
    NSExpression * expression = [NSExpression expressionForFunction:@"stddev:" arguments:@[[NSExpression expressionForConstantValue:sd]]];
    float standardDeviation = [[expression expressionValueWithObject:nil context:nil] floatValue];
    float deviationDeduct = standardDeviation / (standardDeviation + (maxDecible - minDecible));

    //go through calculating deviation percentage
    NSMutableArray * deviations = [NSMutableArray new];
    NSMutableArray * returning = [NSMutableArray new];
    for (int c = 0; c < (int)channels.count; c++){
        
        NSArray * channel = channels[c];
        for (int n = 0; n < (int)channel.count; n++){
            
            float decible = [channel[n] floatValue];
            float remainder = (maxDecible - decible);
            float deviation = standardDeviation / (standardDeviation + remainder) - deviationDeduct;
            [deviations addObject:@(deviation)];
        }
        
        //go through creating percentage
        float maxTotal = 0;
        int catchCount = floorf(deciblesCount / divisions); //total decible values within a segment or division
        NSMutableArray * totals = [NSMutableArray new];
        for (int n = 0; n < divisions; n++){
            
            float total = 0.0f;
            for (int k = 0; k < catchCount; k++){ //go through each segment
                int index = n * catchCount + k; //create the index
                float deviation = [deviations[index] floatValue]; //grab value
                total += deviation; //add to total
            }
            
            //max out maxTotal var -> used later to calc percentages
            maxTotal = MAX(maxTotal, total);
            [totals addObject:@(total)]; //add to totals array
        }
        
        //normalise percentages and return
        NSMutableArray * percentages = [NSMutableArray new];
        for (int n = 0; n < divisions; n++){
            
            float total = [totals[n] floatValue]; //grab the total value for that segment
            float percentage = total / maxTotal; //divide by the biggest value -> making it a percentage
            [percentages addObject:@(percentage)]; //add to the array
        }
        
        //add to the returning array
        [returning addObject:percentages];
    }
    
    //return channel data -> array of two arrays of percentages
    return (NSArray *)returning;
    
}

Звоните так:

      int divisions = 30; //number of segments you want for your display
NSString * path = [[NSBundle mainBundle] pathForResource:@"satie" ofType:@"mp3"];
NSArray * channels = [_audioReader returnWaveArrayForFile:path numberOfDivisions:divisions];

Вы получаете два канала обратно в этот массив, который можно использовать для обновления пользовательского интерфейса. Значения в каждом массиве находятся в диапазоне от 0 до 1, которые вы можете использовать для построения своих столбцов.