Как сохранить два AVCaptureMovieFileOutput в синхронизации

Question

У меня есть две камеры, поступающие в приложение OSX, и я пытаюсь сохранить их с помощью AVCaptureMovieFileOutput. Это не займет много времени, прежде чем они видео не синхронизированы. После минимального теста они могут быть отключены на 1-5 секунд. После часового теста они выключены на 20 с. Я чувствую, что должно быть какое-то простое решение для синхронизации обоих выходов. Мы пытались использовать одно и то же устройство для сеансов и выходов, и мы получаем ту же проблему. Мы попытались снизить частоту кадров до 15, но все равно не повезло.

Настройка выходов

func assignDeviceToPreview(captureSession: AVCaptureSession, device: AVCaptureDevice, previewView: NSView, index: Int){

    captureSession.stopRunning()

    captureSession.beginConfiguration()

    //clearing out old inputs
    for input in captureSession.inputs {
        let i = input as! AVCaptureInput
        captureSession.removeInput(i)
    }

    let output = self.outputs[index]
    output.outputSettings = [AVVideoCodecKey: AVVideoCodecJPEG]

    //removing old outputs
    for o in captureSession.outputs{
        if let oc = o as? AVCaptureStillImageOutput{
            captureSession.removeOutput(oc)
            print("removed image out")
        }
    }

    //Adding input
    do {

        try captureSession.addInput(AVCaptureDeviceInput(device:device))

        let camViewLayer = previewView.layer!
        camViewLayer.backgroundColor = CGColorGetConstantColor(kCGColorBlack)

        let previewLayer = AVCaptureVideoPreviewLayer(session: captureSession)
        previewLayer.frame = camViewLayer.bounds
        previewLayer.autoresizingMask = [.LayerWidthSizable, .LayerHeightSizable]

        camViewLayer.addSublayer(previewLayer)

        let overlayPreview = overlayPreviews[index]
        overlayPreview.frame.origin = CGPoint.zero

        previewView.addSubview(overlayPreview)

        //adding output
        captureSession.addOutput(output)

        if captureSession == session2{
            let audio = AVCaptureDevice.defaultDeviceWithMediaType(AVMediaTypeAudio)

            do {
                let input = try AVCaptureDeviceInput(device: audio)
                captureSession.addInput(input)
            }
        }

    } catch {
        print("Failed to add webcam as AV input")
    }

    captureSession.commitConfiguration()
    captureSession.startRunning()
}

Начать запись

func startRecording(){

    startRecordingTimer()

    let base = NSSearchPathForDirectoriesInDomains(.DocumentDirectory, .UserDomainMask, true)[0]
    let appFolder = "Sessions"
    let sessionFolder = "session_" + session.UUID

    let path = base+"/"+appFolder+"/"+sessionFolder

    do{
        try NSFileManager.defaultManager().createDirectoryAtPath(path, withIntermediateDirectories: true, attributes: nil)
    }catch{
        print("issue creating folder")
    }

    for fileOutput in fileOutputs{

        let fileName = "cam\(String(fileOutputs.indexOf(fileOutput)!))" + ".mov"

        let fileURL = NSURL.fileURLWithPathComponents([path, fileName])
        fileURLs.append(fileURL!)
        print(fileURL?.absoluteString)

        var captureConnection = fileOutput.connections.first as? AVCaptureConnection
        captureConnection!.videoMinFrameDuration = CMTimeMake(1, 15)
        captureConnection!.videoMaxFrameDuration = CMTimeMake(1, 15)

        if fileOutput == movieFileOutput1{
            fileOutput.setOutputSettings([AVVideoScalingModeKey: AVVideoScalingModeResize, AVVideoCodecKey: AVVideoCodecH264, AVVideoWidthKey: 1280, AVVideoHeightKey: 720], forConnection: captureConnection)
        }else{
            fileOutput.setOutputSettings([AVVideoScalingModeKey: AVVideoScalingModeResizeAspect, AVVideoCodecKey: AVVideoCodecH264, AVVideoWidthKey: 640, AVVideoHeightKey: 360], forConnection: captureConnection)
        }
        captureConnection = fileOutput.connections.first as? AVCaptureConnection
        print(fileOutput.outputSettingsForConnection(captureConnection))

        fileOutput.startRecordingToOutputFileURL(fileURL, recordingDelegate: self)

        print("start recording")
    }

}

Answer 1

Для точного контроля времени, я думаю, вам нужно изучить низкоуровневую инфраструктуру AVAssetWriter. Это позволяет вам контролировать запись и синхронизацию отдельных кадров.

Используя AVAssetWriter.startSession(atSourceTime: CMTime), вы можете точно контролировать, когда начинается запись для каждой камеры.

В процессе записи, используя AVCaptureVideoDataOutputSampleBufferDelegate, вы можете дополнительно манипулировать сгенерированным CMSampleBuffer, чтобы настроить его информацию о синхронизации и дополнительно синхронизировать два видео. Посмотрите на https://developer.apple.com/reference/coremedia/1669345-cmsamplebuffer ссылки для настройки части синхронизации CMSampleBuffer.

Тем не менее, я никогда не пробовал это, и не уверен, что это сработает, но я уверен, что вы приблизитесь к тому, чего пытаетесь достичь, если пойдете по этому пути.