Водяной знак iPhone на записанном видео.
В моем приложении мне нужно захватить видео и поставить водяной знак на это видео. Водяной знак должен быть текстом (время и примечания). Я видел код с использованием "QTKit" Работа кадра. Однако я прочитал, что рамки не доступны для iPhone.
Заранее спасибо.
5 ответов
Использование AVFoundation, Я хотел бы предложить захват кадров с AVCaptureVideoDataOutputзатем наложение захваченного кадра на изображение водяного знака и, наконец, запись захваченных и обработанных кадров пользователю файла AVAssetWriter,
Поиск вокруг переполнения стека, есть масса фантастических примеров, подробно описывающих, как сделать каждую из этих вещей, которые я упомянул. Я не видел ни одного, который бы давал примеры кода именно для того эффекта, который вы хотели бы, но вы должны быть в состоянии смешивать и сопоставлять довольно легко.
РЕДАКТИРОВАТЬ:
Посмотрите на эти ссылки:
iPhone: сбой вывода захвата AVCaptureSession (AVCaptureVideoDataOutput) - этот пост может быть полезен только из-за того, что содержит соответствующий код.
AVCaptureDataOutput вернет изображения как CMSampleBufferRefs. Преобразовать их в CGImageRefс помощью этого кода:
- (CGImageRef) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer // Create a CGImageRef from sample buffer data
{
CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
CVPixelBufferLockBaseAddress(imageBuffer,0); // Lock the image buffer
uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 0); // Get information of the image
size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
size_t width = CVPixelBufferGetWidth(imageBuffer);
size_t height = CVPixelBufferGetHeight(imageBuffer);
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
CGImageRef newImage = CGBitmapContextCreateImage(newContext);
CGContextRelease(newContext);
CGColorSpaceRelease(colorSpace);
CVPixelBufferUnlockBaseAddress(imageBuffer,0);
/* CVBufferRelease(imageBuffer); */ // do not call this!
return newImage;
}
Оттуда вы конвертируете в UIImage,
UIImage *img = [UIImage imageWithCGImage:yourCGImage];
Тогда используйте
[img drawInRect:CGRectMake(x,y,height,width)];
Чтобы нарисовать рамку в контексте, нарисуйте PNG водяного знака над ним, а затем добавьте обработанные изображения в ваше выходное видео, используя AVAssetWriter, Я бы предложил добавить их в режиме реального времени, чтобы вы не заполняли память тоннами UIImages.
Как экспортировать массив UIImage как фильм? - в этом посте показано, как добавить UIImages, которые вы обработали, к видео за определенный промежуток времени.
Это должно помочь вам в создании водяных знаков для ваших видео. Не забывайте практиковаться в правильном управлении памятью, потому что утечка изображений, поступающих со скоростью 20-30 кадров в секунду, является отличным способом аварийного завершения приложения.
Добавить водяной знак довольно просто. Вам просто нужно использовать CALayer и AVVideoCompositionCoreAnimationTool. Код можно просто скопировать и собрать в том же порядке. Я только что попытался вставить некоторые комментарии между ними для лучшего понимания.
Давайте предположим, что вы уже записали видео, поэтому сначала создадим AVURLAsset:
AVURLAsset* videoAsset = [[AVURLAsset alloc]initWithURL:outputFileURL options:nil];
AVMutableComposition* mixComposition = [AVMutableComposition composition];
AVMutableCompositionTrack *compositionVideoTrack = [mixComposition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
AVAssetTrack *clipVideoTrack = [[videoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
[compositionVideoTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAsset.duration)
ofTrack:clipVideoTrack
atTime:kCMTimeZero error:nil];
[compositionVideoTrack setPreferredTransform:[[[videoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0] preferredTransform]];
С помощью этого кода вы сможете экспортировать видео, но мы хотим сначала добавить слой с водяным знаком. Обратите внимание, что некоторый код может показаться избыточным, но это необходимо для того, чтобы все работало.
Сначала мы создаем слой с изображением водяного знака:
UIImage *myImage = [UIImage imageNamed:@"icon.png"];
CALayer *aLayer = [CALayer layer];
aLayer.contents = (id)myImage.CGImage;
aLayer.frame = CGRectMake(5, 25, 57, 57); //Needed for proper display. We are using the app icon (57x57). If you use 0,0 you will not see it
aLayer.opacity = 0.65; //Feel free to alter the alpha here
Если мы не хотим изображение и хотим текст вместо:
CATextLayer *titleLayer = [CATextLayer layer];
titleLayer.string = @"Text goes here";
titleLayer.font = @"Helvetica";
titleLayer.fontSize = videoSize.height / 6;
//?? titleLayer.shadowOpacity = 0.5;
titleLayer.alignmentMode = kCAAlignmentCenter;
titleLayer.bounds = CGRectMake(0, 0, videoSize.width, videoSize.height / 6); //You may need to adjust this for proper display
Следующий код сортирует слой в правильном порядке:
CGSize videoSize = [videoAsset naturalSize];
CALayer *parentLayer = [CALayer layer];
CALayer *videoLayer = [CALayer layer];
parentLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
videoLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
[parentLayer addSublayer:videoLayer];
[parentLayer addSublayer:aLayer];
[parentLayer addSublayer:titleLayer]; //ONLY IF WE ADDED TEXT
Теперь мы создаем композицию и добавляем инструкции для вставки слоя:
AVMutableVideoComposition* videoComp = [[AVMutableVideoComposition videoComposition] retain];
videoComp.renderSize = videoSize;
videoComp.frameDuration = CMTimeMake(1, 30);
videoComp.animationTool = [AVVideoCompositionCoreAnimationTool videoCompositionCoreAnimationToolWithPostProcessingAsVideoLayer:videoLayer inLayer:parentLayer];
/// instruction
AVMutableVideoCompositionInstruction *instruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction];
instruction.timeRange = CMTimeRangeMake(kCMTimeZero, [mixComposition duration]);
AVAssetTrack *videoTrack = [[mixComposition tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
AVMutableVideoCompositionLayerInstruction* layerInstruction = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:videoTrack];
instruction.layerInstructions = [NSArray arrayWithObject:layerInstruction];
videoComp.instructions = [NSArray arrayWithObject: instruction];
И теперь мы готовы экспортировать:
_assetExport = [[AVAssetExportSession alloc] initWithAsset:mixComposition presetName:AVAssetExportPresetMediumQuality];//AVAssetExportPresetPassthrough
_assetExport.videoComposition = videoComp;
NSString* videoName = @"mynewwatermarkedvideo.mov";
NSString *exportPath = [NSTemporaryDirectory() stringByAppendingPathComponent:videoName];
NSURL *exportUrl = [NSURL fileURLWithPath:exportPath];
if ([[NSFileManager defaultManager] fileExistsAtPath:exportPath])
{
[[NSFileManager defaultManager] removeItemAtPath:exportPath error:nil];
}
_assetExport.outputFileType = AVFileTypeQuickTimeMovie;
_assetExport.outputURL = exportUrl;
_assetExport.shouldOptimizeForNetworkUse = YES;
[strRecordedFilename setString: exportPath];
[_assetExport exportAsynchronouslyWithCompletionHandler:
^(void ) {
[_assetExport release];
//YOUR FINALIZATION CODE HERE
}
];
[audioAsset release];
[videoAsset release];
Ответ, данный @Julio, уже отлично работает в случае target-c. Вот та же база кода для Swift 3.0:
WATERMARK & Generation SQUARE или CROPPED видео, как Instagram
Получение выходного файла из каталога документов и создание AVURLAsset
//output file
let documentsURL = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask).first
let outputPath = documentsURL?.appendingPathComponent("squareVideo.mov")
if FileManager.default.fileExists(atPath: (outputPath?.path)!) {
do {
try FileManager.default.removeItem(atPath: (outputPath?.path)!)
}
catch {
print ("Error deleting file")
}
}
//input file
let asset = AVAsset.init(url: filePath)
print (asset)
let composition = AVMutableComposition.init()
composition.addMutableTrack(withMediaType: AVMediaTypeVideo, preferredTrackID: kCMPersistentTrackID_Invalid)
//input clip
let clipVideoTrack = asset.tracks(withMediaType: AVMediaTypeVideo)[0]
Создайте слой с изображением водяного знака:
//adding the image layer
let imglogo = UIImage(named: "video_button")
let watermarkLayer = CALayer()
watermarkLayer.contents = imglogo?.cgImage
watermarkLayer.frame = CGRect(x: 5, y: 25 ,width: 57, height: 57)
watermarkLayer.opacity = 0.85
Создайте слой с текстом в качестве водяного знака вместо изображения:
let textLayer = CATextLayer()
textLayer.string = "Nodat"
textLayer.foregroundColor = UIColor.red.cgColor
textLayer.font = UIFont.systemFont(ofSize: 50)
textLayer.alignmentMode = kCAAlignmentCenter
textLayer.bounds = CGRect(x: 5, y: 25, width: 100, height: 20)
Следующий код сортирует слой в правильном порядке:
let videoSize = clipVideoTrack.naturalSize
let parentlayer = CALayer()
let videoLayer = CALayer()
parentlayer.frame = CGRect(x: 0, y: 0, width: videoSize.height, height: videoSize.height)
videoLayer.frame = CGRect(x: 0, y: 0, width: videoSize.height, height: videoSize.height)
parentlayer.addSublayer(videoLayer)
parentlayer.addSublayer(watermarkLayer)
parentlayer.addSublayer(textLayer) //for text layer only
Добавление слоев поверх видео в правильном порядке для водяных знаков
let videoSize = clipVideoTrack.naturalSize
let parentlayer = CALayer()
let videoLayer = CALayer()
parentlayer.frame = CGRect(x: 0, y: 0, width: videoSize.height, height: videoSize.height)
videoLayer.frame = CGRect(x: 0, y: 0, width: videoSize.height, height: videoSize.height)
parentlayer.addSublayer(videoLayer)
parentlayer.addSublayer(watermarkLayer)
parentlayer.addSublayer(textLayer) //for text layer only
Обрезка видео в квадратном формате - размером 300*300
//make it square
let videoComposition = AVMutableVideoComposition()
videoComposition.renderSize = CGSize(width: 300, height: 300) //change it as per your needs.
videoComposition.frameDuration = CMTimeMake(1, 30)
videoComposition.renderScale = 1.0
//Magic line for adding watermark to the video
videoComposition.animationTool = AVVideoCompositionCoreAnimationTool(postProcessingAsVideoLayers: [videoLayer], in: parentlayer)
let instruction = AVMutableVideoCompositionInstruction()
instruction.timeRange = CMTimeRangeMake(kCMTimeZero, CMTimeMakeWithSeconds(60, 30))
Повернуть в портрет
//rotate to potrait
let transformer = AVMutableVideoCompositionLayerInstruction(assetTrack: clipVideoTrack)
let t1 = CGAffineTransform(translationX: clipVideoTrack.naturalSize.height, y: -(clipVideoTrack.naturalSize.width - clipVideoTrack.naturalSize.height) / 2)
let t2: CGAffineTransform = t1.rotated(by: .pi/2)
let finalTransform: CGAffineTransform = t2
transformer.setTransform(finalTransform, at: kCMTimeZero)
instruction.layerInstructions = [transformer]
videoComposition.instructions = [instruction]
Последний шаг для экспорта видео
let exporter = AVAssetExportSession.init(asset: asset, presetName: AVAssetExportPresetMediumQuality)
exporter?.outputFileType = AVFileTypeQuickTimeMovie
exporter?.outputURL = outputPath
exporter?.videoComposition = videoComposition
exporter?.exportAsynchronously() { handler -> Void in
if exporter?.status == .completed {
print("Export complete")
DispatchQueue.main.async(execute: {
completion(outputPath)
})
return
} else if exporter?.status == .failed {
print("Export failed - \(String(describing: exporter?.error))")
}
completion(nil)
return
}
Это будет экспортировать видео в квадратный размер с водяным знаком как текст или изображение
Спасибо
Просто загрузите код и используйте его. Он находится на странице документации Apple для разработчиков.
Добавляя CALayer к видео, работая с быстрым примером кода, найденным в блоге mikitamanko, я внес несколько небольших изменений, чтобы исправить следующую ошибку:
Error Domain=AVFoundationErrorDomain Code=-11841 "Operation Stopped" UserInfo={NSLocalizedFailureReason=The video could not be composed., NSLocalizedDescription=Operation Stopped, NSUnderlyingError=0x2830559b0 {Error Domain=NSOSStatusErrorDomain Code=-17390 "(null)"}}
Решение состоит в том, чтобы использовать видеодорожку композиции вместо исходной видеодорожки при установке инструкции слоя, как в следующем коде быстрого 5:
static func addSketchLayer(url: URL, sketchLayer: CALayer, block: @escaping (Result<URL, VideoExportError>) -> Void) {
let composition = AVMutableComposition()
let vidAsset = AVURLAsset(url: url)
let videoTrack = vidAsset.tracks(withMediaType: AVMediaType.video)[0]
let duration = vidAsset.duration
let vid_timerange = CMTimeRangeMake(start: CMTime.zero, duration: duration)
let videoRect = CGRect(origin: .zero, size: videoTrack.naturalSize)
let transformedVideoRect = videoRect.applying(videoTrack.preferredTransform)
let size = transformedVideoRect.size
let compositionvideoTrack:AVMutableCompositionTrack = composition.addMutableTrack(withMediaType: AVMediaType.video, preferredTrackID: CMPersistentTrackID(kCMPersistentTrackID_Invalid))!
try? compositionvideoTrack.insertTimeRange(vid_timerange, of: videoTrack, at: CMTime.zero)
compositionvideoTrack.preferredTransform = videoTrack.preferredTransform
let videolayer = CALayer()
videolayer.frame = CGRect(x: 0, y: 0, width: size.width, height: size.height)
videolayer.opacity = 1.0
sketchLayer.contentsScale = 1
let parentlayer = CALayer()
parentlayer.frame = CGRect(x: 0, y: 0, width: size.width, height: size.height)
sketchLayer.frame = CGRect(x: 0, y: 0, width: size.width, height: size.height)
parentlayer.addSublayer(videolayer)
parentlayer.addSublayer(sketchLayer)
let layercomposition = AVMutableVideoComposition()
layercomposition.frameDuration = CMTimeMake(value: 1, timescale: 30)
layercomposition.renderScale = 1.0
layercomposition.renderSize = CGSize(width: size.width, height: size.height)
layercomposition.animationTool = AVVideoCompositionCoreAnimationTool(postProcessingAsVideoLayers: [videolayer], in: parentlayer)
let instruction = AVMutableVideoCompositionInstruction()
instruction.timeRange = CMTimeRangeMake(start: CMTime.zero, duration: composition.duration)
let layerinstruction = AVMutableVideoCompositionLayerInstruction(assetTrack: compositionvideoTrack)
layerinstruction.setTransform(compositionvideoTrack.preferredTransform, at: CMTime.zero)
instruction.layerInstructions = [layerinstruction] as [AVVideoCompositionLayerInstruction]
layercomposition.instructions = [instruction] as [AVVideoCompositionInstructionProtocol]
let compositionAudioTrack:AVMutableCompositionTrack? = composition.addMutableTrack(withMediaType: AVMediaType.audio, preferredTrackID: CMPersistentTrackID(kCMPersistentTrackID_Invalid))
let audioTracks = vidAsset.tracks(withMediaType: AVMediaType.audio)
for audioTrack in audioTracks {
try? compositionAudioTrack?.insertTimeRange(audioTrack.timeRange, of: audioTrack, at: CMTime.zero)
}
let movieDestinationUrl = URL(fileURLWithPath: NSTemporaryDirectory() + "/exported.mp4")
try? FileManager().removeItem(at: movieDestinationUrl)
let assetExport = AVAssetExportSession(asset: composition, presetName:AVAssetExportPresetHighestQuality)!
assetExport.outputFileType = AVFileType.mp4
assetExport.outputURL = movieDestinationUrl
assetExport.videoComposition = layercomposition
assetExport.exportAsynchronously(completionHandler: {
switch assetExport.status {
case AVAssetExportSessionStatus.failed:
print(assetExport.error ?? "unknown error")
block(.failure(.failed))
case AVAssetExportSessionStatus.cancelled:
print(assetExport.error ?? "unknown error")
block(.failure(.canceled))
default:
block(.success(movieDestinationUrl))
}
})
}
enum VideoExportError: Error {
case failed
case canceled
}
Обратите внимание, что согласно AVFoundation Crash при экспорте видео с текстовым слоем, этот код дает сбой только на симуляторе, но работает на реальном устройстве.
Также обратите внимание, что ширина и высота используются после применения предпочтительного преобразования видео.
Вот пример на swift3, как вставить в записанное видео как анимированные (массив изображений / слайды / кадры), так и водяные знаки статического изображения.
Он использует CAKeyframeAnimation для анимации кадров и использует AVMutableCompositionTrack, AVAssetExportSession и AVMutableVideoComposition вместе с AVMutableVideoCompositionInstruction, чтобы объединить все вместе.