CVPixelBuffer的创建 数据填充 以及数据读取
2017-10-20 18:02
956 查看
CVPixelBuffer的创建数据填充以及数据读取
CVPixelBuffer 在音视频编解码以及图像处理过程中应用广泛,有时需要读取内部数据,很少的时候需要自行创建并填充数据,下面简单叙述。创建
创建时调用的方法主要是这个:CVReturn CVPixelBufferCreate(CFAllocatorRef allocator, size_t width, size_t height, OSType pixelFormatType, CFDictionaryRef pixelBufferAttributes, CVPixelBufferRef _Nullable *pixelBufferOut);
提供必须的参数即可,
XX pixelFormatType 常用的这几个:
/* NV12 */ kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange = '420v', /* Bi-Planar Component Y'CbCr 8-bit 4:2:0, video-range (luma=[16,235] chroma=[16,240]). baseAddr points to a big-endian CVPlanarPixelBufferInfo_YCbCrBiPlanar struct */ kCVPixelFormatType_420YpCbCr8BiPlanarFullRange = '420f', /* Bi-Planar Component Y'CbCr 8-bit 4:2:0, full-range (luma=[0,255] chroma=[1,255]). baseAddr points to a big-endian CVPlanarPixelBufferInfo_YCbCrBiPlanar struct */ /* YUV420P */ kCVPixelFormatType_420YpCbCr8Planar = 'y420', /* Planar Component Y'CbCr 8-bit 4:2:0. baseAddr points to a big-endian CVPlanarPixelBufferInfo_YCbCrPlanar struct */
因为我想要创建NV12格式的buffer,所以没有使用那个直接提供数据的创建函数,后续提供。如果数据格式爲420P的话,直接指定数据地址也可以。
XX pixelBufferAttributes
这个参数是optinal的,提供所有额外的信息。Core Video根据提供的参数来创建合适的数据,我看到网上的代码往往是这样提供的:
NSDictionary *pixelAttributes = @{(id)kCVPixelBufferIOSurfacePropertiesKey : @{}};
说明如下:
Provide a value for this key if you want Core Video to use the IOSurface framework to allocate the pixel buffer. (See IOSurface.) Provide an empty dictionary to use default IOSurface options.
数据填充
以 NV12 格式的数据填充举例说明。在访问buffer内部裸数据的地址時(读或写都一样),需要先将其锁上,用完了再放开,如下:
CVPixelBufferLockBaseAddress(pixelBuffer, 0); // To touch the address of pixel... CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);
Y通道(Luminance)与 UV通道(Chrominance)分开填充数据,而且需要注意后者是UV交错排列的。在填充数据時还需要考虑到数据对齐的问题,当视频帧的宽高并不是某个对齐基数的倍数時(比如16),内部具体如何分配内存是不确定的,保险的做法就是逐行数据填充。这里我放上填充Chrominance通道数据的例子:
size_t bytesPerRowChrominance = CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, 1); long chrominanceWidth = CVPixelBufferGetWidthOfPlane(pixelBuffer, 1); long chrominanceHeight = CVPixelBufferGetHeightOfPlane(pixelBuffer, 1); // Chrominance uint8_t *uvDestPlane = (uint8_t *) CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 1); memset(uvDestPlane, 0x80, chrominanceHeight * bytesPerRowChrominance); for (int row = 0; row < chrominanceHeight; ++row) { memcpy(uvDestPlane + row * bytesPerRowChrominance, uvDataPtr + row * _outVideoWidth, _outVideoWidth); } free(uvDataPtr);
在逐行copy数据的时候,pixel内部地址每个循环步进
current_row * bytesPerRowChrominance的大小,这是pixelbuffer内部的内存排列。然后我的数据来源内存排列是紧密排列不考虑内存多少位对齐的问题的,所以每次的步进是
current_row * _outVideoWidth也就是真正的视频帧的宽度。每次copy的大小也应该是真正的宽度。对于这个通道来说,宽度和高度都是亮度通道的一半,每个元素有UV两个信息,所以这个通道每一行占用空间和亮度通道应该是一样的。也就是每一行copy数据的大小是这样算出来的:
_outVideoWidth / 2 * 2.
数据读取
数据读取和数据填充正好是相反的操作,操作流程相似,先获取pixelBuffer的一些具体信息,判断信息无误后继续读取数据。unsigned long planes = CVPixelBufferGetPlaneCount(pixelRef);若通道数目错误显然逻辑已经错误,无需继续。同样是先锁住BaseAddress,然后获取其bytesPerRowChrominance等信息,然后按行读取数据即可。切记,仍然需要按行读取数据。
补充:从 Image 创建 PixelBuffer
直接附上可运行的代码:size_t height; size_t width; NSDictionary *options = [NSDictionary dictionaryWithObjectsAndKeys: [NSNumber numberWithBool:YES], kCVPixelBufferCGImageCompatibilityKey, [NSNumber numberWithBool:YES], kCVPixelBufferCGBitmapContextCompatibilityKey, nil]; CVPixelBufferRef pxbuffer = NULL; CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault, width, height, kCVPixelFormatType_32ARGB, (__bridge CFDictionaryRef) options, &pxbuffer); NSParameterAssert(status == kCVReturnSuccess && pxbuffer != NULL); CVPixelBufferLockBaseAddress(pxbuffer, 0); void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer); NSParameterAssert(pxdata != NULL); CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB(); CGContextRef context = CGBitmapContextCreate(pxdata, width, height, 8, 4 * width, rgbColorSpace, kCGImageAlphaNoneSkipFirst); NSParameterAssert(context); CGContextConcatCTM(context, CGAffineTransformMakeRotation(0)); CGContextDrawImage(context, CGRectMake(0, 0, CGImageGetWidth(image), CGImageGetHeight(image)), image); CGColorSpaceRelease(rgbColorSpace); CGContextRelease(context); CVPixelBufferUnlockBaseAddress(pxbuffer, 0);
创建格式爲
kCVPixelFormatType_32ARGB的 pixelBuffer,创建一个CGContextRef 对象,并将其内部地址设置爲pixelBuffer的内部地址。使用
CGContextDrawImage()函数将原始图片的数据绘制到我们创建的context上面,完成。
参考资料:
大神的文章,很详细:读写CVPixelBufferRef
Create CVPixelBuffer from YUV with IOSurface backed
How to convert from YUV to CIImage for iOS
How do I export UIImage array as a movie?
相关文章推荐
- Code First开发系列之管理数据库创建,填充种子数据以及LINQ操作详解
- 8天掌握EF的Code First开发系列之3 管理数据库创建,填充种子数据以及LINQ操作详解
- Oracle数据库表空间 数据文件 用户 以及表创建的SQL代码
- linux solr7.2.0在tomcat 8.5中安装部署 以及简单创建core 添加数据
- Thinkphp 连接数据库操作以及如何创建数据
- java POI创建Excel单元格并填充时间数据
- oracle数据库用户创建删除以及数据导入
- oracle的数据泵导入,导出以及创建用户及删除当前连接用户
- IOS 之使用FMDB进行SQLite数据库操作——表的创建与修改,以及数据的增删改查和多线程操作数据库
- Java Swing JTable 表格【1:创建表格填充数据】
- oracle10g 创建表空间、用户以及导入导出数据
- 前台JS获取后台的Json数据, 动态创建table并填充数据
- 一步一步教你在 Android 里创建自己的账号系统(二)--同步数据以及设计账号页面
- ADO 实例《创建一个临时数据库 创建一个临时数据表 GridView1绑定内容 以及Dataset_的使用》
- Android中创建一个使用ListView以及用BaseAdapter进行数据适配的程序
- JVM--运行时数据区以及对象的创建,内存布局、访问
- 数据库 创建数据库 ,表,表中插入数据,以及表、无用字段的删除。
- ajax获取数据自动创建分页,支持自定义显示数据量以及分页数量
- Oracle创建用户表空间以及导入数据总结
- MySQL专题4之MySQL连接、MySQL数据类型、MySQL创建和删除以及选择数据库