多媒体开发(10):从视频中提取图片
小白:提取视频中的图片吗?那很简单,播放视频再截图就行啦。
播放视频再截图的做法,当然也可以。但是,手动地截图会太累而且无法保证准确度,特别是需要反复提取图片时,或者需要提取“105秒那一瞬间的美女图片”时,或者我需要每秒出一张图片时,那有别的办法吗?
本文介绍,如何使用FFmpeg实现从视频中提取图片的功能。
一般使用FFmpeg的方式,有两种,一种是使用FFmpeg的命令(也就是调用ffmpeg这个程序),另一种是调用FFmpeg的库文件。这里小程同样从命令行以及代码调用这两种方式,进行介绍。
(一)使用FFmpeg命令来解决问题
在安装FFmpeg后,打个命令就可以实现这个功能。对于FFmpeg的安装或调试,之前介绍过。
提取图片可以这样,比如:
ffmpeg -ss 00:00:5 -i moments.mp4 -vframes 1 -f image2 -y a.png
参数的意思是这样的:
ss表示开始提取图片的时间点,既可以用时分秒格式,也可以是多少秒。 如果使用到这个参数,那应该把它作为第一个参数,因为可以让FFmpeg提速。 i表示输入文件,就是视频文件。 vframes表示拿多少帧,也就是多少张图片。注意,这个参数要放在-i参数之后。 f表示提取出来的图片的格式。 y表示覆盖已有同名的图片。
再比如,可以这样:
ffmpeg -i xxx.mp4 -r 1 -y -f image2 -t 5 -s 240*320 pc%3d.jpg
参数的意思是这样的:
r表示每秒提取图片的帧数,即帧率,默认是25fps,上面设置为一秒拿一张图。 t表现持续提取多少秒,也可以用时分秒的格式来表示。 s表出来的图片的尺寸。 3%d表示以001、002这样的格式来命名输出的图片。
于是,
小白:那么说,如果我发现视频某个时间点有美女的话,那我就可以用ss从这个时间点再前一点,然后用t来持续提取5秒,或者用vframes来提取几十张,那就准没漏了!也就是这样:
ffmpeg -ss 10 -t 5 -r 1 -i Movie-1.mp4 -f image2 -y pc-temp/image%3d.jpg
小白:看,这是提取到的美女图:
另一方面,你在提取到若干成图片后,有可能想把这些图片编码成视频,这时同样可以借助FFmpeg命令来完成。需要注意,图片变成视频,是需要视频编码器的,所以在安装FFmpeg时需要把视频编码器也带上(比如x264),这个小程在之前有所介绍。
把图片编码成视频的命令是这样的:
ffmpeg -f image2 -i img%3d.jpg test.mp4
img%d表示以"img001", "img002"这种命名的文件(也就是之前提取出来的图片),按顺序使用。注意f参数要在i参数之前。
你可能觉得mp4格式没有gif格式通用,于是又有了把mp4转成gif动态图的需求,这时还是可以敲打ffmpeg命令:
ffmpeg -i hello.mp4 hello.gif
当然这只是简单地把mp4转成gif,你也可以加上分辨率、码率之类的参数来控制,这里不细说。
(二)写代码调用FFmpeg库来解决问题
通过写代码调用FFmpeg库的方式来提取图片,并且保存成24bit的位图。
小程先贴上演示代码,再在后面做一些解释:
#include "libavcodec/avcodec.h" #include "libavformat/avformat.h" #include "libswscale/swscale.h" #include <stdio.h> #include <stdlib.h> typedef struct { unsigned int filesize; unsigned short reserved1; unsigned short reserved2; unsigned int dataoffset; }BITMAP_FILE_HEADER; typedef struct { unsigned int infosize; int width; int height; unsigned short planecount; unsigned short bitcount; unsigned int compressiontype; unsigned int imagedatasize; int xpixpermeter; int ypixpermeter; unsigned int colorusedcount; unsigned int colorimportantcount; }BITMAP_INFO; void extractpicture(const char* filepath) { av_register_all(); av_log_set_level(AV_LOG_DEBUG); AVFormatContext* formatContext = avformat_alloc_context(); int status = 0; int success = 0; int videostreamidx = -1; AVCodecContext* codecContext = NULL; status = avformat_open_input(&formatContext, filepath, NULL, NULL); if (status == 0) { status = avformat_find_stream_info(formatContext, NULL); if (status >= 0) { for (int i = 0; i < formatContext->nb_streams; i ++) { if (formatContext->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) { videostreamidx = i; break; } } if (videostreamidx > -1) { codecContext = formatContext->streams[videostreamidx]->codec; AVCodec* codec = avcodec_find_decoder(codecContext->codec_id); if (codec) { status = avcodec_open2(codecContext, codec, NULL); if (status == 0) { success = 1; } } } } else { av_log(NULL, AV_LOG_DEBUG, "avformat_find_stream_info error\n"); } } if (success) { av_dump_format(formatContext, 0, filepath, 0); int gotframe = 0; AVFrame* frame = av_frame_alloc(); int decodelen = 0; int limitcount = 10; int pcindex = 0; unsigned char* rgbdata = (unsigned char*)malloc(avpicture_get_size(AV_PIX_FMT_RGB24, codecContext->width, codecContext->height)); AVFrame* rgbframe = av_frame_alloc(); avpicture_fill((AVPicture*)rgbframe, rgbdata, AV_PIX_FMT_RGB24, codecContext->width, codecContext->height); struct SwsContext* swscontext = sws_getContext(codecContext->width, codecContext->height, codecContext->pix_fmt, codecContext->width, codecContext->height, AV_PIX_FMT_RGB24, SWS_BICUBIC, NULL, NULL, NULL); while (pcindex < limitcount) { AVPacket packet; av_init_packet( &packet ); status = av_read_frame(formatContext, &packet); if (status < 0) { if (status == AVERROR_EOF) { av_log(NULL, AV_LOG_DEBUG, "read end for file\n"); } else { av_log(NULL, AV_LOG_DEBUG, "av_read_frame error\n"); } av_packet_unref(&packet); break; } else { if (packet.stream_index == videostreamidx) { decodelen = avcodec_decode_video2(codecContext, frame, &gotframe, &packet); if (decodelen > 0 && gotframe) { frame->data[0] = frame->data[0] + frame->linesize[0] * (codecContext->height - 1); frame->data[1] = frame->data[1] + frame->linesize[1] * (codecContext->height / 2 - 1); frame->data[2] = frame->data[2] + frame->linesize[2] * (codecContext->height / 2 - 1); frame->linesize[0] *= -1; frame->linesize[1] *= -1; frame->linesize[2] *= -1; sws_scale(swscontext, frame->data, frame->linesize, 0, codecContext->height, rgbframe->data, rgbframe->linesize); char filename[12] = {0}; sprintf(filename, "pc%03d.bmp", ++ pcindex); FILE* file = fopen(filename, "wb"); if (file) { int pixcount = codecContext->width * codecContext->height; BITMAP_FILE_HEADER fileheader = {0}; fileheader.filesize = 2+sizeof(BITMAP_FILE_HEADER)+sizeof(BITMAP_INFO)+pixcount * 3; fileheader.dataoffset = 0x36; BITMAP_INFO bmpinfo = {0}; bmpinfo.infosize = sizeof(BITMAP_INFO); bmpinfo.width = codecContext->width; bmpinfo.height = codecContext->height; bmpinfo.planecount = 1; bmpinfo.bitcount = 24; bmpinfo.xpixpermeter = 5000; bmpinfo.ypixpermeter = 5000; unsigned short ftype = 0x4d42; fwrite(&ftype, sizeof ftype, 1, file); fwrite(&fileheader, sizeof fileheader, 1, file); fwrite(&bmpinfo, sizeof bmpinfo, 1, file); fwrite(rgbframe->data[0], pixcount*3, 1, file); fclose(file); } } } } av_packet_unref(&packet); } av_frame_free(&rgbframe); free(rgbdata); av_frame_free(&frame); sws_freeContext(swscontext); } avformat_free_context(formatContext); } int main(int argc, char *argv[]) { extractpicture("moments.mp4"); return 0; }
- 程序演示了把解码后的图片数据保存成位图的过程。如果有需要可以做更多的修改,比如av_seek_frame到适当的位置再开始解码与保存位图,也可以控制多少帧后保存一张位图,等等。
- av_register_all注册“所有”,所有的编解码器、muxer与demuxer等等(前提是configure编译时有enable,才会真正使用到),这一步是关键的初始化工作,没有这一步,FFmpeg很可能不能如期工作。
- avformat_open_input打开输入。“输入”是一个抽象,这里具体成文件。这一步之后,就获得了一些文件格式信息。
- avformat_find_stream_info查找流的信息。多媒体数据由流组成,这一步就是获取媒体格式信息,有可能比较耗时。这一步后,流使用的编解码器被确定下来。
- avcodec_find_decoder找到解码器。
- avcodec_open2打开解码器。
- av_read_frame读取一个packet,未解码。
- avcodec_decode_video2解码一个视频帧。
- sws_getContext获取并初始化一个SwsContext场景,swscontext不仅可以缩放图片,还可以转换颜色布局。
- sws_scale缩放或转换。
- 在调用sws_scale之前,对frame->data跟frame->linesize做的处理,是为了调整坐标系,让图片适合位图的坐标系(从下往上,从左往右),这样转换出来的位图才不会颠倒。
- 这里选择的是24位的位图(没有调色板),在写入rgb数据前,先把文件头与位图信息写好。
至此,在视频中提取图片的实现,就介绍完毕了。
总结一下,本文从直接使用ffmpeg命令行,以及写代码调用FFmpeg库文件的两种方式入手,介绍了如何实现从视频中提取图片的功能。
- Android开发之多媒体文件获取工具类实例【音频,视频,图片等】
- 微信公众平台开发[10]-开发模式-高级功能-将图片、视频、音频I内容上传到微信服务器并发送给用户
- 安卓基础第十天(多媒体,图片,音视频,摄像头,传感器)
- OpenCV提取显示一张图片(或者视频)的R,G,B颜色分量
- 从一段视频中按帧提取图片
- os开发之如何添加多媒体文件(音频,视频)
- android开发,APP下载成功的图片或者视频同时显示在手机自带的相册里
- C++开发人脸性别识别教程(10)——加入图片的人脸检測程序
- Android多媒体开发【10】-- android中OpenMax的实现【1】整体框架
- OpenCV提取显示一张图片(或者视频)的R,G,B颜色分量
- iOS开发之获取系统相册中的图片与视频教程(内带url转换)
- Android初级开发(八)——手机多媒体—音频和视频的使用
- FFmpeg 提取图片、剪切视频、编码视频、连接视频相关记录
- 如何使用ffmpeg从视频中提取图片
- Android4.4获取多媒体(图片,声音,视频)路径
- 微信开发申请退款-公众号支付开发-视频教程10
- android获取多媒体库的视频、音频、图片
- 基于Google Material Design设计开发,模块包括图片浏览,视频爽看 ,音乐轻听以及二维码扫描
- 推荐15个在线多媒体(图片、音频、视频)编辑器
- 多媒体开发之视频格式---1080p逐行和1080i隔行