Hadoop+OpenCV的集群化图像处理开发环境建设与测试研究

本文转载自：http://www.xzbu.com/8/view-7240648.htm

随着科技的发展，各个领域对图像处理要求越来越高，算法也越来越复杂，处理时间也会延长。在大数据时代，图片数量不可计数，想在较短时间内处理完相应数量的图片则需要使用大数据技术。本文则利用Hadoop与OpenCV搭建集群化的图像处理平台，使图像的处理速度得到大幅度的提升。

　　1 相关技术

　　本文结合OpenCV与Hadoop在Linux系统下进行集群化图像处理平台的建设与测试研究。

　　1.1 OpenCV

　　OpenCV[1]是一种基于BSD许可证授权（开源）发行的跨平台计算机视觉库，它由一系列C函数和C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。

　　作为开源软件，OpenCV的优势就在于它有400多个免费的图像处理函数，而且涉及面很广，覆盖了机器视觉的大多应用领域。它的许多算法，也做了很好的优化，对其执行速度带来了可观的提升。

　　1.2 Hadoop

　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，充分利用集群进行高速运算和存储，开发分布式程序。

　　Hadoop框架[2]最核心的设计就是：HDFS和MapReduce。HDFS提供存储，MapReduce提供计算。

　　Hadoop设计之初的目标就定位于高可靠性、高可拓展性和高效性，正是这些设计上的优点，使得Hadoop一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。

　　2 集群化图像处理的必要性

　　图像处理[3]经过几十年的发展，虽然有很多研究人员都在不停地提高图像处理算法的效率，但针对当代图像处理数据量大、复杂度高等特点，传统的单机处理已达到瓶颈，特别是在Web和搜索引擎的应用上犹为明显。那如何在提高性能的同时，减少时间成本和功耗？并行化图像处理[4]则是答案。

　　海量的图像都存储在分布式文件系统中，通过分布式的资源进行并行处理[5]，同传统的单机环境下相比，能大大提高处理效率。Hadoop是一个非常流行的存储、处理海量数据的平台。将Hadoop与OpenCV结合起来，组成一个集群化的并行图像处理环境，在时间性能上能够获得非常大的提升。

　　3 环境搭建

　　本集群环境由4个节点组成，其中1个主节点、3个从节点。4个节点均要安装OpenCV，Hadoop集成环境。

　　3.1 Linux操作系统

　　Linux操作系统为Ubuntu14.04 LTS。

　　3.2 JDK安装配置

　　JDK为jdk1.8。

　　3.3 OpenCV安装配置

　　1）准备工作。

　　更新环境：sudo apt-get update

　　sudo apt-get upgrade

　　搭建C/C++编译环境：sudo apt-get install build-essential 　　安装关联库：sudo apt-get install cmake git
libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev

　　sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev ant

　　2）下载opencv-3.0.0压缩包。

　　3）解压到指定路径，进入opencv3文件夹。

　　4）新建build文件夹，存放opencv的编译文件。

　　5）配置opencv文件。在build目录下执行以下命令。

　　cmake �CD CMAKE_BUILD_TYPE=Release �CD CMAKE_INSTALL_PREFIX=/usr/local ..

　　6）编译。

　　make

　　7）安装opencv库到系统。

　　sudo make install

　　安装过程中未出现错误，并在/usr/local/share/OpenCV目录下出现java目录则表示opencv安装成功。

　　3.4 Hadoop安装配置

　　1）准备工作

　　设置网卡，修改IP解析文件，安装配置ssh服务。

　　2）下载hadoop2.7.1压缩包。

　　3）解压到指定路径。

　　4）配置Hadoop环境变量。

　　5）创建用于存放命名空间以及数据信息的文件夹。

　　6）在主节点配置Hadoop。

　　7）将主节点配置完成的hadoop传送到各从节点。

　　8）在主节点格式化文件系统。

　　9）启动hadoop集群

　　3.5 eclipse安装配置

　　安装的eclipse为Mars.1版本。

　　3.6 eclipse配置Hadoop开发环境

　　1）下载插件。

　　2）将插件放到eclipse/plugins目录下。

　　3）重启eclipse，打开Windows->Preferences，配置Hadoop安装路径。

　　4）配置Map/Reduce Locations

　　打开Windows->Open Perspective->Other，选择Map/Reduce->OK。出现Map/Reduce Locations选项卡，点击右边小象图标，打开Hadoop Location配置窗口。其中，Location name为用户自定义的名字，Map/Reduce Master中的Host和Port对应是master和9000。DFS Master对应是master和9000。点击完成后，若左侧的Project
Explorer出现如图1所示内容，表明配置成功。

　　

　　图1 配置成功示例

　　若HDFS中没有内容，则上图中hadoop下的文件夹为空。

　　4 集群化处理与测试

　　4.1 MapReduce与OpenCV的结合

　　OpenCV关注图像处理，MapReduce关注分布式处理，将两者结合便是分布式图像处理。

　　MapReduce的分布式处理分为map和reduce方法。

　　在map方法中，可以对图片进行预处理、灰度、边缘检测、特征值提取等一系列操作。每个map可以是一张图片，在大型的集群上运行时，可以同时处理多张图片，从而提高处理速度。

　　在reduce方法中，可以对map的输出进行处理，例如特征值汇总、比对、识别，从而实现预处理、特征值提取、图像识别的并行处理。

　　4.2 测试程序

　　1）创建程序

　　创建一个Map/Reduce Project，名为Test。

　　2）配置OpenCV路径

　　右键单击项目名称，选择Properties->Java Build Path->Add Library。

　　选择User Library->Next。选择User Libraries->New，创建一个新的库，命名为opencv3.0。点击Add External JARs，选择opencv-300.jar。

　　选择Native library location，点击Edit进行编辑，选择本地库目录：/usr/local/share/OpenCV/java。最后点击OK，配置完成。

　　3）编写Map类

　　创建MyMap.java

　　public void map（Text key， BytesWritable value， Context context）{

　　BufferedImage img = ImageIO.read

　　（new ByteArrayInputStream（value.getBytes（）））；

　　Mat m = img2Mat（img）；

　　imgViewer.show（m，"Loaded image"）；

　　context.write（key， value）；

　　}

　　MyMap类实现读取已转换为SequenceFile类型的图片文件，调用OpenCV类实现图像显示，其中img2Mat方法实现将BufferedImage类型转换为Mat矩阵。 　　4）编写Reduce类

　　创建MyReduce.java。

　　public void reduce（Text key，Iterable values，Context context）{

　　for（BytesWritable value ： values）{

　　FileOutputStream fos = new

　　FileOutputStream（"/home/jcxy/2.jpg"）；

　　JPEGImageEncoder je =

　　JPEGCodec.createJPEGEncoder（fos）；

　　je.encode（img）；

　　context.write（key， value）；

　　}}}

　　MyReduce类主要实现将数据流转换成图片保存到本地，并输出。

　　5）编写主函数类

　　创建MyTest.java。

　　static{System.loadLibrary（Core.NATIVE_LIBRARY_NAME）；}

　　public static void main（String[] args） {

　　Job job = new Job（conf，" "）；

　　job.setMapperClass（MyMap.class）；

　　job.setReducerClass（MyReduce.class）；

　　job.setInputFormatClass（SequenceFileInputFormat.class）；

　　FileInputFormat.addInputPath（job，path）；

　　FileOutputFormat.setOutputPath（job， new Path（"/result"））；

　　System.exit（job.waitForCompletion（true）？0：1）；

　　}}

　　主函数实现Map、Reduce程序的调用。

　　将Test项目打包成Test.jar（打包时选择Runnable JAR file，否则运行时会找不到路径），保存到主目录下，并在命令行中执行以下命令运行：

　　hadoop jar Test.jar MyTest

　　运行结果如图2所示。

　　

　　图2 运行效果图

　　本示例主要实现对二进制图片文件的读取，转换，显示，存储。通过这几个步骤的实现表明，本环境能实现在hadoop平台上使用opencv进行图像的处理。

　　5 结束语

　　为了提高图像处理的速度，算法精度的提高是必不可少的，但集群化处理，对于大量的图片来说也是必需的。本文介绍了集群化图像处理平台环境的搭建，经过编码测试，在此大数据平台上可以实现opencv类的调用进行图像处理。本文为集群化图像处理的实现提供了平台搭建的基础，具有参考价值。

　　参考文献：

　　[1] 张林，吴振强.基于OpenCV的图像特征智能识别系统设计[J].电子设计工程， 2015， 23（20）： 189-192.

　　[2] 霍树民.基于Hadoop的海量影像数据管理关键技术研究[D].长沙： 国防科学技术大学， 2010.

　　[3] 英英.基于MATLAB的图形图像处理系统的实现[D].呼和浩特： 内蒙古大学， 2013.

　　[4] 寇福东.基于多核DSP的数字图像处理并行化方法研究[D].北京： 北京理工大学， 2015.

　　[5] 张良将，宦飞，王杨德. Hadoop云平台下的并行化图像处理实现[J]. 通信技术， 2012（10）： 59-62.