OpenCV图像处理-区域分割-形态学操作应用

分割的结果中通常包含不想要的干扰，如我们感兴趣的物体被干扰了，如由于反射对分割结果造成的干扰，这时，形态学操作提供了特别有用的方法，让我们调整和描述物体的形状。

本文聚焦形态学操作的若干典型应用，不会对形态学操作的基本数学理论进行系统的阐述，也不会对OpenCV函数进行详细的介绍，因此需要您首先对形态学的基本理论有所了解。

【1】利用膨胀操作提取物体的边界

从一个彩色红苹果图像，经过色彩分割，得到如下二值化的图片



（图a）

然后对图（a）进行膨胀



（b）

(b)-(a)就得到图像的轮廓（c）



（c）

完整代码如下：

#include <opencv2\opencv.hpp>
#include<opencv2\imgproc\imgproc.hpp>

using namespace cv;
using namespace std;

void main(){

//图片保存参数
vector<int> compression_params;
compression_params.push_back(CV_IMWRITE_JPEG_QUALITY);
compression_params.push_back(9);

cv::Mat src = cv::imread("D:/test_pic/apple1.jpg",1);

Mat binary=Mat::zeros(src.size(),CV_8UC1);

//色彩分割得到二值图像
for(int ii=0;ii<src.rows;ii++)
for(int jj=0;jj<src.cols;jj++){
int b=(int)(src.at<Vec3b>(ii,jj)[0]);
int r=(int) (src.at<Vec3b>(ii,jj)[2]);
if(r>150&b<100) {
binary.at<uchar>(ii,jj)=255;
}
else binary.at<uchar>(ii,jj)=0;
}

cv::imshow("binary",binary);
cv::imwrite("binary.jpg",binary,compression_params);

//对二值图像进行膨胀操作
Mat element=cv::getStructuringElement(MORPH_ELLIPSE,Size(5,5));
Mat dilate;
cv::dilate(binary,dilate,element);
imshow("dilate",dilate);
cv::imwrite("dilate.jpg",dilate,compression_params);

//膨胀之后的图像减去膨胀前的二值图像就是物体的轮廓
Mat edge=dilate-binary;
imshow("edge",edge);
cv::imwrite("edge.jpg",edge,compression_params);

cv::waitKey(0);
}

【2】利用腐蚀操作，分离相互连通的物体



（a）原始彩色图像



（b）经过色彩分割，二值化操作后图像

可以看到许多橘子是相互连通在一起的，这样在分割每个橘子时候，用findcounter就无法分出单个的橘子。



（c）：对图（b）进行腐蚀操作，可以看到连在一起的橘子已经分开了



对（c）利用【1】中膨胀的方法轮廓（d）

在（d）上用findConters和minEnclosingCircle，查找轮廓，拟合圆，效果如下：



（e）基本上把前面的橘子都找出来了

#include <opencv2\opencv.hpp>
#include<opencv2\imgproc\imgproc.hpp>

using namespace cv;
using namespace std;

void main(){

cv::Mat src = cv::imread("D:/test_pic/orange8.jpg",1);
cv::imshow("src",src);

//--------------------------------------图像颜色分割得到二值图像------------------------------------------
Mat binary=Mat::zeros(src.size(),CV_8UC1);
for(int ii=0;ii<src.rows;ii++)
for(int jj=0;jj<src.cols;jj++){
int b=(int)(src.at<Vec3b>(ii,jj)[0]);
int r=(int) (src.at<Vec3b>(ii,jj)[2]);
if(r>150&b<200) {
binary.at<uchar>(ii,jj)=255;
}
else binary.at<uchar>(ii,jj)=0;
}
cv::imshow("binary",binary);
cv::imwrite("binary.jpg",binary);

//-------------------------对图像进行腐蚀，使得各个橘子不再连通--------------------------------------
Mat element=cv::getStructuringElement(MORPH_RECT,Size(15,15));
Mat erodeImg;
cv::erode(binary,erodeImg,element);
imshow("erod",erodeImg);
cv::imwrite("erod.jpg",erodeImg);

//--------------------------对腐蚀后的图像膨胀，以便获得轮廓（和【1】中轮廓提取一样）--------------
Mat element2=cv::getStructuringElement(MORPH_ELLIPSE,Size(3,3));
Mat Img2;
cv::dilate(erodeImg,Img2,element2);

Mat edge=Img2-erodeImg;

imshow("edge",edge);
cv::imwrite("edge.jpg",edge);

//-------------------------------------------查找轮廓并拟合圆--------------------------------------------
//定义轮廓和层次结构
vector<vector<Point>> contours;
vector<Vec4i> hierarchy;
//查找轮廓
int model=CV_RETR_CCOMP;//针对不同的情况，几种方法应该都试一下，效果还是不一样的
int method=CV_CHAIN_APPROX_NONE;
cv::findContours(edge,contours,hierarchy,model,method);
//遍历轮廓，绘拟合圆
for(int index=0;index>=0;index=hierarchy[index][0]){
float radius;cv::Point2f center;
cv::minEnclosingCircle(contours[index],center,radius);
RotatedRect rect=cv::minAreaRect(contours[index]);
double ratio=double(rect.size.height)/double (rect.size.width+0.01);
if(radius>5&&ratio>0.5&&ratio<5.0){ //对橘子的半径，长短轴比进行一定的限定
//drawContours(src,contours,index,Scalar(255,255,0),CV_FILLED,8,hierarchy);
cv::circle(src,center,radius+6.0,Scalar(255,0,0),1,8);  //radius+6.0将之前腐蚀时减小量补回来
}
}
cv::imshow("src with fitting-circles",src);
cv::imwrite("fitting-circles.jpg",src);

cv::waitKey(0);
}

对上面程序参数稍加修改，就可以对草莓进行定位：



（a）草莓色彩分割二值化图像，有许多干扰，不处理的话会影响轮廓的提取



（b）腐蚀后，干扰明显降低了很多



（c）提取边界



（d）草莓定位圆

【3】闭运算消除孔洞

腐蚀和膨胀，看上去好像是一对互逆的操作，实际上，这两种操作不具有互逆的关系。 开运算和闭运算正是依据腐蚀和膨胀的不可逆性，演变而来的。

先腐蚀后膨胀的过程就称为开运算。开操作可以平滑物体轮廓，断开狭窄的间断和消除细小的突出物。

闭运算是先膨胀后腐蚀的过程，其功能是用来填充物体内细小空洞、 闭操作可以消弭狭窄的间断，消除小的孔洞。 同时不明显改变不明显改变其面积。

还是以诱人的水果为例，比如说如下的两个橙子，



（ａ）两个诱人的橙子，恩，是随意拍的照片，没有使用研究过的机器视觉光照系统，所以橙子中间有强反射光（发白）

简单的进行颜色分割(提取橙色），二值化，如下图



（ｂ）橙子中间有孔洞，反射强光造成的



（ｃ）闭运算后的橙子，恩，效果好多了，有利于后面的分割

关键代码如下：

//闭运算
Mat closedImg;
Mat element=cv::getStructuringElement(MORPH_CROSS,Size(15,15));
cv::morphologyEx(binary,closedImg,CV_MOP_CLOSE,element);
imshow("closeImg",closedImg);
cv::imwrite("closeImg.jpg",closedImg);

【4】开运算，检查零件的小突出物（缺陷）

先腐蚀后膨胀的过程就称为开运算。开操作可以平滑物体轮廓，断开狭窄的间断和消除细小的突出物。



（a）圆形带细小突出物的零件，假设圆的半径是R，突出物外接圆半径为r



（b）使用半径c，（c远大于r，但是略小于R）的圆，进行腐蚀操作的结果



（c）使用同样半径c的圆进行膨胀操作结果（b,c两步合在一块就是开操作）



图（c）-图（a）的结果，就检测出来了零件的突出缺陷

关键代码如下：

//开运算
Mat openImg;
Mat element=cv::getStructuringElement(MORPH_ELLIPSE,Size(131,131));

cv::erode(binary,openImg,element);
cv::dilate(openImg,openImg,element);
//或者直接使用下面的操作，和上面两步结果是一样的
//cv::morphologyEx(binary,openImg,CV_MOP_OPEN,element);

imshow("openImg",openImg);
cv::imwrite("openImg.jpg",openImg);

Mat burrImg=binary-openImg;

Mat element2=cv::getStructuringElement(MORPH_ELLIPSE,Size(3,3));
cv::morphologyEx(burrImg,burrImg,CV_MOP_OPEN,element2);//消除由于计算中小误差带来的圆形边界

imshow("burrImg",burrImg);
cv::imwrite("burrImg.jpg",burrImg);