How to convert a numerical data array into RAW image data in Swift?

Question

I have a data array of Int16 or Int32 numerical values that are the raw image data from a 11MP camera chip with an RGGB pixel layout (CFA). The data are exported by the camera driver as FITS data, which is basically a vector or long string of bytes or 16bit/pixel data in my case.

I like to convert these data into a raw image format in Swift in order to use the powerful debayering and demosaicing features and algorithms in iOS/Swift. I do not intend to demosaic myself, since iOS has a great library for this already (see WWDC2016 keynote on Raw Processing with Core Image).

I need to make iOS “believe” my data are actual raw image data.

I tried using CreatePixelBufferWithBytes in Swift and then CIImage from pixelbuffer but to no avail. The CIImage.cgimage is not an RGB color image.

Есть ли простой способ создать необработанное изображение или изображение DNG в Swift из необработанных числовых данных?

Вот что я пробовал с подходом CVPixelBuffer, но я не получаю цветного изображения из этого:

imgRawData - это массив [Int32] или [Float32], в котором ширина * высота элементов.

      var pixelBuffer: CVPixelBuffer?
let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue,
            kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue ]
    
CVPixelBufferCreateWithBytes(kCFAllocatorDefault, width, height, kCVPixelFormatType_14Bayer_RGGB, &imgRawData, 2*width, nil, nil, attrs as CFDictionary, &pixelBuffer)

let dummyImg = UIImage(systemName: "star.fill")?.cgImage
    
let ciiraw = CIImage(cvPixelBuffer: pixelBuffer!)
    
let cif = CIFilter.lanczosScaleTransform()
cif.scale = 0.25
cif.inputImage  = ciiraw
let cii = cif.outputImage
    
let context: CIContext = CIContext.init(options: nil)
guard let cgi = context.createCGImage(cii!, from: cii!.extent) else { return dummyImg! }

Quickview Xcode показывает мне только черно-белые изображения или изображения в оттенках серого. Как и SwiftUI View для CGImage...

Answer 1

Вы можете использовать CGContext и передайте свои необработанные значения как bitmapinfoсм. init:

init?(data: UnsafeMutableRawPointer?, width: Int, height: Int, bitsPerComponent: Int, bytesPerRow: Int, space: CGColorSpace, bitmapInfo: UInt32)

И для space параметр, который принимает CGColorSpace вы бы использовали CGColorSpaceCreateDeviceRGB().

Затем вы будете использовать свое изображение с кодом, подобным этому:

      let imageRef = CGContext.makeImage(context!)
let imageRep = NSBitmapImageRep(cgImage: imageRef()!)

Поиграйте с этим немного, я думаю, вы найдете то, что ищете.