javaCV开发详解之技术杂烩:javaCV能帮我们做什么?能实现什么功能?ffmpeg和openCV能实现功能,javaCV如何做到更快、更简单的实现相应的功能?等等一堆实用话题
2016-11-03 22:42
791 查看
前言:
该篇文章旨在帮助刚接触javaCV的盆友系统的认识音视频、javaCV、图像处理相关的体系知识和一些实用的知识。序:
javaCV早期因为内置了openCV库,所以常用来做图像识别应用,现在网上一搜一大把的就是这种应用场景下的javaCV教程,在这里就不多讲这一块知识了。这里我们将围绕Frame类系统的讨论javaCV能帮我们做什么?能实现什么功能?ffmpeg和openCV能实现的功能,使用javaCV如何做到更快、更简单的实现相应的功能。
补充:javaCV之所以叫javaCV就是因为openCV而得名,所以javaCV在图像处理上的能力等同于openCV,但在视频处理上要比openCV好,因为javaCV内置了7个视觉库,ffmpeg和opencv只是其中两个,而我们常用的也就是这两个库,另外5个库暂时用不到。
1、javaCV操作流程汇总:
javaCV一般的操作流程只有两步:抓取->(Frame)->录制
抓取包含一些初始化操作,文件或者网络流数据源获取,查找解码器等等操作
录制包含解复用、编码、输出、释放资源等等操作
大家可能有些疑惑了,封装成这样,抓取后我要对音视频源数据进行调整怎么办?而且这个经常会用到
所以我们应该调整一下补充一下我们的流程,我们的流程应该在录制之前进行处理这个Frame对象。
2、关于对Frame对象的联想
Frame类在javaCV里面很重要。Frame对象作为数据容器,可以存放一帧视频数据、一堆视频参数和多个通道的音频数据、音频参数(补充:这里的多通道也就是支持多路音频组装的意思,多路音频算是复杂场景了吧;下面也会讲到复杂视频场景,画中画,多画面组装,文字、图像、动态水印等等)2.1、抓取后的Frame对象使用
既然是一个容器,那么当我们使用grabber(抓取器)抓取音/视频的时候自然也就可以从这里面获取想要的的数据。补充:抓取,通过grabber从本地视频文件,摄像头视频,rtp/rtsp/rtmp等等获取视频源的这个动作统称为:抓取,我们完成这个操作的类叫做抓取器,这是个很形象的翻译,也很好理解。
比如我们需要给抓取到的视频加个水印,或者抓取两个视频,进行合并(至于怎么合并咱先不管这个),而这些操作都不需要直接从frame中获取数据源,而是直接通过javacv-opencv来帮助我们调整每一帧视频,这时候还没有开始解复用编码的操作,详细的内容不在这里赘述,javaCV开发详解的系列文章中有提到该块内容。
补充:java本身是支持图像相关操作的,可以添加水印之类的还是可以实现的
3、关于字节流的处理
一般移动端设备在进行推流的时候不会直接推送到流媒体服务器,而是推送一个字节流,我们需要将这个字节流在服务器做一个中转然后由中转服务器推送到流媒体服务器之前我们讲了Frame是一个容器,那么自然可以放音视频数据。在Frame中设置好你的音视频参数,就可以通过recorder(录制器)到流媒体服务器了
补充:录制,我们把音视频数据解复用,编码和推送到流媒体服务器的动作称为录制,为方便理解这里的recorder就叫录制器
相关文章推荐
- javaCV开发详解之技术杂烩:javaCV能帮我们做什么?能实现什么功能?ffmpeg和openCV能实现功能,javaCV如何做到更快、更简单的实现相应的功能?等等一堆实用话题
- javaCV开发详解之2:推流器实现,推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV-FFMPEG、javaCV-openCV)
- javaCV开发详解之2:推流器实现,推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV-FFMPEG、javaCV-openCV)
- javaCV开发详解之2:推流器实现,推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV-FFMPEG、javaCV-openCV)
- javaCV开发详解之7:让音频转换更加简单,实现通用音频编码格式转换、重采样等音频参数的转换功能(以pcm16le编码的wav转mp3为例)
- javaCV开发详解之7:让音频转换更加简单,实现通用音频编码格式转换、重采样等音频参数的转换功能(以pcm16le编码的wav转mp3为例)
- javaCV开发详解之7:让音频转换更加简单,实现通用音频编码格式转换、重采样等音频参数的转换功能(以pcm16le编码的wav转mp3为例)
- Cordova webapp实战开发:(7)如何通过简单的方法做到,不重新发布APP来修复bug、增加功能、或者躲开苹果的一些严格审核?
- Cordova webapp实战开发:(7)如何通过简单的方法做到,不重新发布APP来修复bug、增加功能、或者躲开苹果的一些严格审核?
- javaCV开发详解之4:转流器实现(也可作为本地收流器、推流器,新增添加图片及文字水印,视频图像帧保存),实现rtsp/rtmp/本地文件转发到rtmp流媒体服务器(基于javaCV-FFMPEG)
- 【Android2D游戏开发十六】(上文之触摸屏手势)详解Android Gesture 手势操作!利用手势实现一个简单切换图片的功能!
- javaCV开发详解之4:转流器实现(也可作为本地收流器、推流器,新增添加图片及文字水印,视频图像帧保存),实现rtsp/rtmp/本地文件转发到rtmp流媒体服务器(基于javaCV-FFMPEG)
- javaCV开发详解之3:收流器实现,录制流媒体服务器的rtsp/rtmp视频文件(基于javaCV-FFMPEG)
- javaCV开发详解之4:转流器实现(也可作为本地收流器、推流器,新增添加图片及文字水印,视频图像帧保存),实现rtsp/rtmp/本地文件转发到rtmp流媒体服务器(基于javaCV-FFMPEG)
- iOS 用其他应用程序打开文件功能如何实现的iOS开发 - CocoaChina CocoaChina_让移动开发更简单
- SSH入门开发(实现一个简单的登录功能)详解
- javaCV开发详解之3:收流器实现,录制流媒体服务器的rtsp/rtmp视频文件(基于javaCV-FFMPEG)
- javaCV开发详解之3:收流器实现,录制流媒体服务器的rtsp/rtmp视频文件(基于javaCV-FFMPEG)
- 阅读《大型网站技术架构》第五、六、七章,结合我们的系统,分析如何增加相应的功能,提高系统的可用性和易用性。
- 如何基于nand flash启动Linux内核(分享一段实用、简单、类似bootloader功能的代码)