OpenCV之core 模块. 核心功能（1）Mat - 基本图像容器 OpenCV如何扫描图像、利用查找表和计时 矩阵的掩码操作 使用OpenCV对两幅图像求和（求混合(blending)）

Mat - 基本图像容器

目的

从真实世界中获取数字图像有很多方法，比如数码相机、扫描仪、CT或者磁共振成像。无论哪种方法，我们（人类）看到的是图像，而让数字设备来“看“的时候，则是在记录图像中的每一个点的数值。



比如上面的图像，在标出的镜子区域中你见到的只是一个矩阵，该矩阵包含了所有像素点的强度值。如何获取并存储这些像素值由我们的需求而定，最终在计算机世界里所有图像都可以简化为数值矩以及矩阵信息。作为一个计算机视觉库， OpenCV 其主要目的就是通过处理和操作这些信息，来获取更高级的信息。因此，OpenCV如何存储并操作图像是你首先要学习的。

Mat

在2001年刚刚出现的时候，OpenCV基于 C 语言接口而建。为了在内存（memory）中存放图像，当时采用名为 IplImage 的C语言结构体，时至今日这仍出现在大多数的旧版教程和教学材料。但这种方法必须接受C语言所有的不足，这其中最大的不足要数手动内存管理，其依据是用户要为开辟和销毁内存负责。虽然对于小型的程序来说手动管理内存不是问题，但一旦代码开始变得越来越庞大，你需要越来越多地纠缠于这个问题，而不是着力解决你的开发目标。
幸运的是，C++出现了，并且带来类的概念，这给用户带来另外一个选择：自动的内存管理（不严谨地说）。这是一个好消息，如果C++完全兼容C的话，这个变化不会带来兼容性问题。为此，OpenCV在2.0版本中引入了一个新的C++接口，利用自动内存管理给出了解决问题的新方法。使用这个方法，你不需要纠结在管理内存上，而且你的代码会变得简洁（少写多得）。但C++接口唯一的不足是当前许多嵌入式开发系统只支持C语言。所以，当目标不是这种开发平台时，没有必要使用 旧 方法（除非你是自找麻烦的受虐狂码农）。
关于 Mat ，首先要知道的是你不必再手动地（1）为其开辟空间（2）在不需要时立即将空间释放。但手动地做还是可以的：大多数OpenCV函数仍会手动地为输出数据开辟空间。当传递一个已经存在的 Mat 对象时，开辟好的矩阵空间会被重用。也就是说，我们每次都使用大小正好的内存来完成任务。
基本上讲 Mat 是一个类，由两个数据部分组成：矩阵头（包含矩阵尺寸，存储方法，存储地址等信息）和一个指向存储所有像素值的矩阵（根据所选存储方法的不同矩阵可以是不同的维数）的指针。矩阵头的尺寸是常数值，但矩阵本身的尺寸会依图像的不同而不同，通常比矩阵头的尺寸大数个数量级。因此，当在程序中传递图像并创建拷贝时，大的开销是由矩阵造成的，而不是信息头。OpenCV是一个图像处理库，囊括了大量的图像处理函数，为了解决问题通常要使用库中的多个函数，因此在函数中传递图像是家常便饭。同时不要忘了我们正在讨论的是计算量很大的图像处理算法，因此，除非万不得已，我们不应该拷贝 大 的图像，因为这会降低程序速度。
为了搞定这个问题，OpenCV使用引用计数机制。其思路是让每个 Mat 对象有自己的信息头，但共享同一个矩阵。这通过让矩阵指针指向同一地址而实现。而拷贝构造函数则 只拷贝信息头和矩阵指针 ，而不拷贝矩阵。

1 2 3 4 5 6

Mat A, C; // 只创建信息头部分 A = imread(argv[1], CV_LOAD_IMAGE_COLOR); // 这里为矩阵开辟内存 Mat B(A); // 使用拷贝构造函数 C = A; // 赋值运算符

以上代码中的所有Mat对象最终都指向同一个也是唯一一个数据矩阵。虽然它们的信息头不同，但通过任何一个对象所做的改变也会影响其它对象。实际上，不同的对象只是访问相同数据的不同途径而已。这里还要提及一个比较棒的功能：你可以创建只引用部分数据的信息头。比如想要创建一个感兴趣区域（ ROI ），你只需要创建包含边界信息的信息头：

1 2	Mat D (A, Rect(10, 10, 100, 100) ); // using a rectangle Mat E = A(Range:all(), Range(1,3)); // using row and column boundaries

现在你也许会问，如果矩阵属于多个 Mat 对象，那么当不再需要它时谁来负责清理？简单的回答是：最后一个使用它的对象。通过引用计数机制来实现。无论什么时候有人拷贝了一个 Mat 对象的信息头，都会增加矩阵的引用次数；反之当一个头被释放之后，这个计数被减一；当计数值为零，矩阵会被清理。但某些时候你仍会想拷贝矩阵本身(不只是信息头和矩阵指针)，这时可以使用函数clone() 或者 copyTo() 。

1 2 3

Mat F = A.clone(); Mat G; A.copyTo(G);

现在改变 F 或者 G 就不会影响 Mat 信息头所指向的矩阵。总结一下，你需要记住的是

OpenCV函数中输出图像的内存分配是自动完成的（如果不特别指定的话）。
使用OpenCV的C++接口时不需要考虑内存释放问题。
赋值运算符和拷贝构造函数（ ctor ）只拷贝信息头。
使用函数 clone() 或者 copyTo() 来拷贝一副图像的矩阵。

存储 方法

这里讲述如何存储像素值。需要指定颜色空间和数据类型。颜色空间是指对一个给定的颜色，如何组合颜色元素以对其编码。最简单的颜色空间要属灰度级空间，只处理黑色和白色，对它们进行组合可以产生不同程度的灰色。
对于 彩色 方式则有更多种类的颜色空间，但不论哪种方式都是把颜色分成三个或者四个基元素，通过组合基元素可以产生所有的颜色。RGB颜色空间是最常用的一种颜色空间，这归功于它也是人眼内部构成颜色的方式。它的基色是红色、绿色和蓝色，有时为了表示透明颜色也会加入第四个元素 alpha (A)。
有很多的颜色系统，各有自身优势：

RGB是最常见的，这是因为人眼采用相似的工作机制，它也被显示设备所采用。
HSV和HLS把颜色分解成色调、饱和度和亮度/明度。这是描述颜色更自然的方式，比如可以通过抛弃最后一个元素，使算法对输入图像的光照条件不敏感。
YCrCb在JPEG图像格式中广泛使用。
CIE L*a*b*是一种在感知上均匀的颜色空间，它适合用来度量两个颜色之间的 距离 。

每个组成元素都有其自己的定义域，取决于其数据类型。如何存储一个元素决定了我们在其定义域上能够控制的精度。最小的数据类型是 char ，占一个字节或者8位，可以是有符号型（0到255之间）或无符号型（-127到+127之间）。尽管使用三个 char 型元素已经可以表示1600万种可能的颜色（使用RGB颜色空间），但若使用float（4字节，32位）或double（8字节，64位）则能给出更加精细的颜色分辨能力。但同时也要切记增加元素的尺寸也会增加了图像所占的内存空间。

显式地创建一个 Mat 对象

教程 读取、修改、保存图像 已经讲解了如何使用函数 imwrite() 将一个矩阵写入图像文件中。但是为了debug，更加方便的方式是看实际值。为此，你可以通过 Mat 的运算符
<< 来实现，但要记住这只对二维矩阵有效。
Mat 不但是一个很赞的图像容器类，它同时也是一个通用的矩阵类，所以可以用来创建和操作多维矩阵。创建一个Mat对象有多种方法：

Mat() 构造函数

Mat M(2,2, CV_8UC3, Scalar(0,0,255));
cout << "M = " << endl << " " << M << endl << endl;

对于二维多通道图像，首先要定义其尺寸，即行数和列数。

然后，需要指定存储元素的数据类型以及每个矩阵点的通道数。为此，依据下面的规则有多种定义

CV_[The number of bits per item][Signed or Unsigned][Type Prefix]C[The channel number]

比如 CV_8UC3 表示使用8位的 unsigned char 型，每个像素由三个元素组成三通道。预先定义的通道数可以多达四个。Scalar 是个short型vector。指定这个能够使用指定的定制化值来初始化矩阵。当然，如果你需要更多通道数，你可以使用大写的宏并把通道数放在小括号中，如下所示

在 C\C++ 中通过构造函数进行初始化

int sz[3] = {2,2,2};
Mat L(3,sz, CV_8UC(1), Scalar::all(0));

上面的例子演示了如何创建一个超过两维的矩阵：指定维数，然后传递一个指向一个数组的指针，这个数组包含每个维度的尺寸；其余的相同

为已存在IplImage指针创建信息头:

IplImage* img = cvLoadImage("greatwave.png", 1);
Mat mtx(img); // convert IplImage* -> Mat

Create() function:
函数

M.create(4,4, CV_8UC(2));
cout << "M = "<< endl << " "  << M << endl << endl;

这个创建方法不能为矩阵设初值，它只是在改变尺寸时重新为矩阵数据开辟内存。

MATLAB形式的初始化方式： zeros(), ones(),
:eyes() 。使用以下方式指定尺寸和数据类型：

Mat E = Mat::eye(4, 4, CV_64F);
cout << "E = " << endl << " " << E << endl << endl;

Mat O = Mat::ones(2, 2, CV_32F);
cout << "O = " << endl << " " << O << endl << endl;

Mat Z = Mat::zeros(3,3, CV_8UC1);
cout << "Z = " << endl << " " << Z << endl << endl;

对于小矩阵你可以用逗号分隔的初始化函数:

Mat C = (Mat_<double>(3,3) << 0, -1, 0, -1, 5, -1, 0, -1, 0);
cout << "C = " << endl << " " << C << endl << endl;

使用 clone() 或者 copyTo() 为一个存在的 Mat 对象创建一个新的信息头。

Mat RowClone = C.row(1).clone();
cout << "RowClone = " << endl << " " << RowClone << endl << endl;

格式化打印

Note

调用函数 randu() 来对一个矩阵使用随机数填充，需要指定随机数的上界和下界：

Mat R = Mat(3, 2, CV_8UC3);
randu(R, Scalar::all(0), Scalar::all(255));

从上面的例子中可以看到默认格式，除此之外，OpenCV还支持以下的输出习惯

默认方式

cout << "R (default) = " << endl <<        R           << endl << endl;

Python

cout << "R (python)  = " << endl << format(R,"python") << endl << endl;

以逗号分隔的数值 (CSV)

cout << "R (csv)     = " << endl << format(R,"csv"   ) << endl << endl;

Numpy

cout << "R (numpy)   = " << endl << format(R,"numpy" ) << endl << endl;

C语言

cout << "R (c)       = " << endl << format(R,"C"     ) << endl << endl;

打印其它常用项目

OpenCV支持使用运算符<<来打印其它常用OpenCV数据结构。

2维点

Point2f P(5, 1);
cout << "Point (2D) = " << P << endl << endl;

3维点

Point3f P3f(2, 6, 7);
cout << "Point (3D) = " << P3f << endl << endl;

基于cv::Mat的std::vector

vector<float> v;
v.push_back( (float)CV_PI);   v.push_back(2);    v.push_back(3.01f);

cout << "Vector of floats via Mat = " << Mat(v) << endl << endl;

std::vector点

vector<Point2f> vPoints(20);
for (size_t E = 0; E < vPoints.size(); ++E)
vPoints[E] = Point2f((float)(E * 5), (float)(E % 7));

cout << "A vector of 2D Points = " << vPoints << endl << endl;

这里的例子大多数出现在一个短小的控制台应用程序中，你可以在 here 下载到，或者在c++示例部分中找到。
可以在 YouTube 找到简短的视频演示。

OpenCV如何扫描图像、利用查找表和计时

目的

我们将探索以下问题的答案：

如何遍历图像中的每一个像素？
OpenCV的矩阵值是如何存储的？
如何测试我们所实现算法的性能？
查找表是什么？为什么要用它？

测试用例

这里我们测试的，是一种简单的颜色缩减方法。如果矩阵元素存储的是单通道像素，使用C或C++的无符号字符类型，那么像素可有256个不同值。但若是三通道图像，这种存储格式的颜色数就太多了（确切地说，有一千六百多万种）。用如此之多的颜色可能会对我们的算法性能造成严重影响。其实有时候，仅用这些颜色的一小部分，就足以达到同样效果。
这种情况下，常用的一种方法是 颜色空间缩减 。其做法是：将现有颜色空间值除以某个输入值，以获得较少的颜色数。例如，颜色值0到9可取为新值0，10到19可取为10，以此类推。
uchar （无符号字符，即0到255之间取值的数）类型的值除以 int 值，结果仍是 char 。因为结果是char类型的，所以求出来小数也要向下取整。利用这一点，刚才提到在 uchar 定义域中进行的颜色缩减运算就可以表达为下列形式：



这样的话，简单的颜色空间缩减算法就可由下面两步组成：一、遍历图像矩阵的每一个像素；二、对像素应用上述公式。值得注意的是，我们这里用到了除法和乘法运算，而这两种运算又特别费时，所以，我们应尽可能用代价较低的加、减、赋值等运算替换它们。此外，还应注意到，上述运算的输入仅能在某个有限范围内取值，如 uchar 类型可取256个值。
由此可知，对于较大的图像，有效的方法是预先计算所有可能的值，然后需要这些值的时候，利用查找表直接赋值即可。查找表是一维或多维数组，存储了不同输入值所对应的输出值，其优势在于只需读取、无需计算。
我们的测试用例程序（以及这里给出的示例代码）做了以下几件事：以命令行参数形式读入图像（可以是彩色图像，也可以是灰度图像，由命令行参数决定），然后用命令行参数给出的整数进行颜色缩减。目前，OpenCV主要有三种逐像素遍历图像的方法。我们将分别用这三种方法扫描图像，并将它们所用时间输出到屏幕上。我想这样的对比应该很有意思。
你可以从 这里 下载源代码，也可以找到OpenCV的samples目录，进入cpp的tutorial_code的core目录，查阅该程序的代码。程序的基本用法是：

how_to_scan_images imageName.jpg intValueToReduce [G]

最后那个参数是可选的。如果提供该参数，则图像以灰度格式载入，否则使用彩色格式。在该程序中，我们首先要计算查找表。

int divideWith; // convert our input string to number - C++ style
stringstream s;
s << argv[2];
s >> divideWith;
if (!s)
{
cout << "Invalid number entered for dividing. " << endl;
return -1;
}

uchar table[256];
for (int i = 0; i < 256; ++i)
table[i] = divideWith* (i/divideWith);

这里我们先使用C++的 stringstream 类，把第三个命令行参数由字符串转换为整数。然后，我们用数组和前面给出的公式计算查找表。这里并未涉及有关OpenCV的内容。
另外有个问题是如何计时。没错，OpenCV提供了两个简便的可用于计时的函数 getTickCount() 和 getTickFrequency() 。第一个函数返回你的CPU自某个事件（如启动电脑）以来走过的时钟周期数，第二个函数返回你的CPU一秒钟所走的时钟周期数。这样，我们就能轻松地以秒为单位对某运算计时：

double t = (double)getTickCount();
// 做点什么 ...
t = ((double)getTickCount() - t)/getTickFrequency();
cout << "Times passed in seconds: " << t << endl;

图像矩阵是如何存储在内存之中的？

在我的教程 Mat
- 基本图像容器 中，你或许已了解到，图像矩阵的大小取决于我们所用的颜色模型，确切地说，取决于所用通道数。如果是灰度图像，矩阵就会像这样：



而对多通道图像来说，矩阵中的列会包含多个子列，其子列个数与通道数相等。例如，RGB颜色模型的矩阵：



注意到，子列的通道顺序是反过来的：BGR而不是RGB。很多情况下，因为内存足够大，可实现连续存储，因此，图像中的各行就能一行一行地连接起来，形成一个长行。连续存储有助于提升图像扫描速度，我们可以使用 isContinuous() 来去判断矩阵是否是连续存储的.
相关示例会在接下来的内容中提供。

1.高效的方法 Efficient Way

说到性能，经典的C风格运算符[]（指针）访问要更胜一筹. 因此，我们推荐的效率最高的查找表赋值方法，还是下面的这种：

Mat& ScanImageAndReduceC(Mat& I, const uchar* const table)
{
// accept only char type matrices
CV_Assert(I.depth() != sizeof(uchar));

int channels = I.channels();

int nRows = I.rows * channels;
int nCols = I.cols;

if (I.isContinuous())
{
nCols *= nRows;
nRows = 1;
}

int i,j;
uchar* p;
for( i = 0; i < nRows; ++i)
{
p = I.ptr<uchar>(i);
for ( j = 0; j < nCols; ++j)
{
p[j] = table[p[j]];
}
}
return I;
}

这里，我们获取了每一行开始处的指针，然后遍历至该行末尾。如果矩阵是以连续方式存储的，我们只需请求一次指针、然后一路遍历下去就行。彩色图像的情况有必要加以注意：因为三个通道的原因，我们需要遍历的元素数目也是3倍。
这里有另外一种方法来实现遍历功能，就是使用 data ， data会从 Mat 中返回指向矩阵第一行第一列的指针。注意如果该指针为NULL则表明对象里面无输入，所以这是一种简单的检查图像是否被成功读入的方法。当矩阵是连续存储时，我们就可以通过遍历data 来扫描整个图像。例如，一个灰度图像，其操作如下：

uchar* p = I.data;

for( unsigned int i =0; i < ncol*nrows; ++i)
*p++ = table[*p];

这回得出和前面相同的结果。但是这种方法编写的代码可读性方面差，并且进一步操作困难。同时，我发现在实际应用中，该方法的性能表现上并不明显优于前一种（因为现在大多数编译器都会对这类操作做出优化）。

2.迭代法 The iterator (safe) method

在高性能法（the efficient way）中，我们可以通过遍历正确的 uchar 域并跳过行与行之间可能的空缺-你必须自己来确认是否有空缺，来实现图像扫描，迭代法则被认为是一种以更安全的方式来实现这一功能。在迭代法中，你所需要做的仅仅是获得图像矩阵的begin和end，然后增加迭代直至从begin到end。将*操作符添加在迭代指针前，即可访问当前指向的内容。

Mat& ScanImageAndReduceIterator(Mat& I, const uchar* const table)
{
// accept only char type matrices
CV_Assert(I.depth() != sizeof(uchar));

const int channels = I.channels();
switch(channels)
{
case 1:
{
MatIterator_<uchar> it, end;
for( it = I.begin<uchar>(), end = I.end<uchar>(); it != end; ++it)
*it = table[*it];
break;
}
case 3:
{
MatIterator_<Vec3b> it, end;
for( it = I.begin<Vec3b>(), end = I.end<Vec3b>(); it != end; ++it)
{
(*it)[0] = table[(*it)[0]];
(*it)[1] = table[(*it)[1]];
(*it)[2] = table[(*it)[2]];
}
}
}

return I;
}

对于彩色图像中的一行，每列中有3个uchar元素，这可以被认为是一个小的包含uchar元素的vector，在OpenCV中用 Vec3b 来命名。如果要访问第n个子列，我们只需要简单的利用[]来操作就可以。需要指出的是，OpenCV的迭代在扫描过一行中所有列后会自动跳至下一行，所以说如果在彩色图像中如果只使用一个简单的 uchar 而不是 Vec3b 迭代的话就只能获得蓝色通道(B)里的值。

3. 通过相关返回值的On-the-fly地址计算

事实上这个方法并不推荐被用来进行图像扫描，它本来是被用于获取或更改图像中的随机元素。它的基本用途是要确定你试图访问的元素的所在行数与列数。在前面的扫描方法中，我们观察到知道所查询的图像数据类型是很重要的。这里同样的你得手动指定好你要查找的数据类型。下面的代码中是一个关于灰度图像的示例(运用 + at() 函数):

Mat& ScanImageAndReduceRandomAccess(Mat& I, const uchar* const table)
{
// accept only char type matrices
CV_Assert(I.depth() != sizeof(uchar));

const int channels = I.channels();
switch(channels)
{
case 1:
{
for( int i = 0; i < I.rows; ++i)
for( int j = 0; j < I.cols; ++j )
I.at<uchar>(i,j) = table[I.at<uchar>(i,j)];
break;
}
case 3:
{
Mat_<Vec3b> _I = I;

for( int i = 0; i < I.rows; ++i)
for( int j = 0; j < I.cols; ++j )
{
_I(i,j)[0] = table[_I(i,j)[0]];
_I(i,j)[1] = table[_I(i,j)[1]];
_I(i,j)[2] = table[_I(i,j)[2]];
}
I = _I;
break;
}
}

return I;
}

该函数输入为数据类型及需求元素的坐标，返回的是一个对应的值-如果用 get 则是constant，如果是用 set 、则为non-constant. 处于程序安全，当且仅当在 debug 模式下 它会检查你的输入坐标是否有效或者超出范围. 如果坐标有误，则会输出一个标准的错误信息. 和高性能法（the efficient way）相比, 在
release模式下，它们之间的区别仅仅是On-the-fly方法对于图像矩阵的每个元素，都会获取一个新的行指针，通过该指针和[]操作来获取列元素.
当你对一张图片进行多次查询操作时，为避免反复输入数据类型和at带来的麻烦和浪费的时间，OpenCV 提供了:basicstructures:Mat_ <id3> data type. 它同样可以被用于获知矩阵的数据类型，你可以简单利用()操作返回值来快速获取查询结果. 值得注意的是你可以利用 at() 函数来用同样速度完成相同操作.
它仅仅是为了让懒惰的程序员少写点 >_< .

4. 核心函数LUT（The Core Function）

这是最被推荐的用于实现批量图像元素查找和更该操作图像方法。在图像处理中，对于一个给定的值，将其替换成其他的值是一个很常见的操作，OpenCV 提供里一个函数直接实现该操作，并不需要你自己扫描图像，就是:operationsOnArrays:LUT() <lut> ，一个包含于core module的函数. 首先我们建立一个mat型用于查表:

Mat lookUpTable(1, 256, CV_8U);
uchar* p = lookUpTable.data;
for( int i = 0; i < 256; ++i)
p[i] = table[i];

然后我们调用函数 (I 是输入 J 是输出):

LUT(I, lookUpTable, J);

性能表现

为了得到最优的结果，你最好自己编译并运行这些程序. 为了更好的表现性能差异，我用了一个相当大的图片(2560 X 1600). 性能测试这里用的是彩色图片，结果是数百次测试的平均值.

Efficient Way	79.4717 milliseconds
Iterator	83.7201 milliseconds
On-The-Fly RA	93.7878 milliseconds
LUT function	32.5759 milliseconds

我们得出一些结论: 尽量使用 OpenCV 内置函数. 调用LUT 函数可以获得最快的速度. 这是因为OpenCV库可以通过英特尔线程架构启用多线程. 当然,如果你喜欢使用指针的方法来扫描图像，迭代法是一个不错的选择，不过速度上较慢。在debug模式下使用on-the-fly方法扫描全图是一个最浪费资源的方法，在release模式下它的表现和迭代法相差无几，但是从安全性角度来考虑，迭代法是更佳的选择
最后，你可以在我们的YouTube频道上观看范例视频 <https://www.youtube.com/watch?v=fB3AN5fjgwc>.

矩阵的掩码操作

矩阵的掩码操作很简单。其思想是：根据掩码矩阵（也称作核）重新计算图像中每个像素的值。掩码矩阵中的值表示近邻像素值（包括该像素自身的值）对新像素值有多大影响。从数学观点看，我们用自己设置的权值，对像素邻域内的值做了个加权平均。

测试用例

思考一下图像对比度增强的问题。我们可以对图像的每个像素应用下面的公式：



上面那种表达法是公式的形式，而下面那种是以掩码矩阵表示的紧凑形式。使用掩码矩阵的时候，我们先把矩阵中心的元素（上面的例子中是(0,0)位置的元素，也就是5）对齐到要计算的目标像素上，再把邻域像素值和相应的矩阵元素值的乘积加起来。虽然这两种形式是完全等价的，但在大矩阵情况下，下面的形式看起来会清楚得多。
现在，我们来看看实现掩码操作的两种方法。一种方法是用基本的像素访问方法，另一种方法是用 filter2D 函数。

基本方法

下面是实现了上述功能的函数：

void Sharpen(const Mat& myImage,Mat& Result)
{
CV_Assert(myImage.depth() == CV_8U);  // 仅接受uchar图像

Result.create(myImage.size(),myImage.type());
const int nChannels = myImage.channels();

for(int j = 1 ; j < myImage.rows-1; ++j)
{
const uchar* previous = myImage.ptr<uchar>(j - 1);
const uchar* current  = myImage.ptr<uchar>(j    );
const uchar* next     = myImage.ptr<uchar>(j + 1);

uchar* output = Result.ptr<uchar>(j);

for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
{
*output++ = saturate_cast<uchar>(5*current[i]
-current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
}
}

Result.row(0).setTo(Scalar(0));
Result.row(Result.rows-1).setTo(Scalar(0));
Result.col(0).setTo(Scalar(0));
Result.col(Result.cols-1).setTo(Scalar(0));
}

刚进入函数的时候，我们要确保输入图像是无符号字符类型的。为了做到这点，我们使用了 CV_Assert 函数。若该函数括号内的表达式为false，则会抛出一个错误。

CV_Assert(myImage.depth() == CV_8U);  // 仅接受uchar图像

然后，我们创建了一个与输入有着相同大小和类型的输出图像。在 图像矩阵是如何存储在内存之中的？ 一节可以看到，根据图像的通道数，我们有一个或多个子列。我们用指针在每一个通道上迭代，因此通道数就决定了需计算的元素总数。

Result.create(myImage.size(),myImage.type());
const int nChannels = myImage.channels();

利用C语言的[]操作符，我们能简单明了地访问像素。因为要同时访问多行像素，所以我们获取了其中每一行像素的指针（分别是前一行、当前行和下一行）。此外，我们还需要一个指向计算结果存储位置的指针。有了这些指针后，我们使用[]操作符，就能轻松访问到目标元素。为了让输出指针向前移动，我们在每一次操作之后对输出指针进行了递增（移动一个字节）：

for(int j = 1 ; j < myImage.rows-1; ++j)
{
const uchar* previous = myImage.ptr<uchar>(j - 1);
const uchar* current  = myImage.ptr<uchar>(j    );
const uchar* next     = myImage.ptr<uchar>(j + 1);

uchar* output = Result.ptr<uchar>(j);

for(int i= nChannels;i < nChannels*(myImage.cols-1); ++i)
{
*output++ = saturate_cast<uchar>(5*current[i]
-current[i-nChannels] - current[i+nChannels] - previous[i] - next[i]);
}
}

在图像的边界上，上面给出的公式会访问不存在的像素位置（比如(0,-1)）。因此我们的公式对边界点来说是未定义的。一种简单的解决方法，是不对这些边界点使用掩码，而直接把它们设为0：

Result.row(0).setTo(Scalar(0));             // 上边界
Result.row(Result.rows-1).setTo(Scalar(0)); // 下边界
Result.col(0).setTo(Scalar(0));             // 左边界
Result.col(Result.cols-1).setTo(Scalar(0)); // 右边界

filter2D函数

滤波器在图像处理中的应用太广泛了，因此OpenCV也有个用到了滤波器掩码（某些场合也称作核）的函数。不过想使用这个函数，你必须先定义一个表示掩码的 Mat 对象：

Mat kern = (Mat_<char>(3,3) <<  0, -1,  0,
-1,  5, -1,
0, -1,  0);

然后调用 filter2D 函数，参数包括输入、输出图像以及用到的核：

filter2D(I, K, I.depth(), kern );

它还带有第五个可选参数——指定核的中心，和第六个可选参数——指定函数在未定义区域（边界）的行为。使用该函数有一些优点，如代码更加清晰简洁、通常比 自己实现的方法 速度更快（因为有一些专门针对它实现的优化技术）等等。例如，我测试的滤波器方法仅花了13毫秒，而前面那样自己实现迭代方法花了约31毫秒，二者有着不小差距。
示例：



你可以从 here 下载这个示例的源代码，也可浏览OpenCV源代码库的示例目录samples/cpp/tutorial_code/core/mat_mask_operations/mat_mask_operations.cpp 。
我们的 YouTube频道 可观看该程序的运行示例。

使用OpenCV对两幅图像求和（求混合(blending)）

目的

在这节教程中您将学到

线性混合 (linear blending) 是什么以及有什么用处.
如何使用 addWeighted 进行两幅图像求和

原理

Note

以下解释基于Richard Szeliski所著 Computer
Vision: Algorithms and Applications

在前面的教程中，我们已经了解一点 像素操作 的知识。 线性混合操作 也是一种典型的二元（两个输入）的 像素操作 ：



通过在范围

内改变

，这个操可以用来对两幅图像或两段视频产生时间上的 画面叠化 （cross-dissolve）效果，就像在幻灯片放映和电影制作中那样（很酷吧?)（译者注：在幻灯片翻页时可以设置为前后页缓慢过渡以产生叠加效果，电影中经常在情节过渡时出现画面叠加效果）。

代码

在简短的说明后我们来看代码：

#include <cv.h>
#include <highgui.h>
#include <iostream>

using namespace cv;

int main( int argc, char** argv )
{
double alpha = 0.5; double beta; double input;

Mat src1, src2, dst;

/// Ask the user enter alpha
std::cout<<" Simple Linear Blender "<<std::endl;
std::cout<<"-----------------------"<<std::endl;
std::cout<<"* Enter alpha [0-1]: ";
std::cin>>input;

/// We use the alpha provided by the user iff it is between 0 and 1
if( alpha >= 0 && alpha <= 1 )
{ alpha = input; }

/// Read image ( same size, same type )
src1 = imread("../../images/LinuxLogo.jpg");
src2 = imread("../../images/WindowsLogo.jpg");

if( !src1.data ) { printf("Error loading src1 \n"); return -1; }
if( !src2.data ) { printf("Error loading src2 \n"); return -1; }

/// Create Windows
namedWindow("Linear Blend", 1);

beta = ( 1.0 - alpha );
addWeighted( src1, alpha, src2, beta, 0.0, dst);

imshow( "Linear Blend", dst );

waitKey(0);
return 0;
}

说明

既然我们要执行



我们需要两幅输入图像 (

和

)。相应地，我们使用常用的方法加载图像

src1 = imread("../../images/LinuxLogo.jpg");
src2 = imread("../../images/WindowsLogo.jpg");

Warning

因为我们对 src1 和 src2 求 和 ，它们必须要有相同的尺寸（宽度和高度）和类型。

现在我们生成图像

.为此目的，使用函数 addWeighted 可以很方便地实现:

beta = ( 1.0 - alpha );
addWeighted( src1, alpha, src2, beta, 0.0, dst);

这是因为 addWeighted 进行如下计算



这里

对应于上面代码中被设为

的参数。

创建显示窗口，显示图像并等待用户结束程序。

结果

改变图像的对比度和亮度

目的

本篇教程中，你将学到：

访问像素值
用0初始化矩阵
saturate_cast 是做什么用的，以及它为什么有用
一些有关像素变换的精彩内容

原理

Note

以下解释节选自Richard Szeliski所著 Computer Vision: Algorithms
and Applications

图像处理

一般来说，图像处理算子是带有一幅或多幅输入图像、产生一幅输出图像的函数。
图像变换可分为以下两种：

点算子（像素变换）
邻域（基于区域的）算子

像素变换

在这一类图像处理变换中，仅仅根据输入像素值（有时可加上某些全局信息或参数）计算相应的输出像素值。
这类算子包括 亮度和对比度调整 ，以及颜色校正和变换。


亮度和对比度调整

两种常用的点过程（即点算子），是用常数对点进行 乘法 和 加法 运算：



两个参数

和

一般称作 增益 和 偏置 参数。我们往往用这两个参数来分别控制 对比度 和 亮度 。

你可以把

看成源图像像素，把

看成输出图像像素。这样一来，上面的式子就能写得更清楚些：



其中，

和

表示像素位于 第i行 和 第j列 。

代码

下列代码执行运算

：

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <iostream>

using namespace std;
using namespace cv;

double alpha; /**< 控制对比度 */
int beta;  /**< 控制亮度 */

int main( int argc, char** argv )
{
/// 读入用户提供的图像
Mat image = imread( argv[1] );
Mat new_image = Mat::zeros( image.size(), image.type() );

/// 初始化
cout << " Basic Linear Transforms " << endl;
cout << "-------------------------" << endl;
cout << "* Enter the alpha value [1.0-3.0]: ";
cin >> alpha;
cout << "* Enter the beta value [0-100]: ";
cin >> beta;

/// 执行运算 new_image(i,j) = alpha*image(i,j) + beta
for( int y = 0; y < image.rows; y++ )
{
for( int x = 0; x < image.cols; x++ )
{
for( int c = 0; c < 3; c++ )
{
new_image.at<Vec3b>(y,x)[c] = saturate_cast<uchar>( alpha*( image.at<Vec3b>(y,x)[c] ) + beta );
}
}
}

/// 创建窗口
namedWindow("Original Image", 1);
namedWindow("New Image", 1);

/// 显示图像
imshow("Original Image", image);
imshow("New Image", new_image);

/// 等待用户按键
waitKey();
return 0;
}

说明

一上来，我们要建立两个变量，以存储用户输入的

和

：

double alpha;
int beta;

然后，用 imread 载入图像，并将其存入一个Mat对象：

Mat image = imread( argv[1] );

此时，因为要对图像进行一些变换，所以我们需要一个新的Mat对象，以存储变换后的图像。我们希望这个Mat对象拥有下面的性质：

像素值初始化为0
与原图像有相同的大小和类型

Mat new_image = Mat::zeros( image.size(), image.type() );

注意到， Mat::zeros 采用Matlab风格的初始化方式，用 image.size() 和 image.type() 来对Mat对象进行0初始化。

现在，为了执行运算

，我们要访问图像的每一个像素。因为是对RGB图像进行运算，每个像素有三个值（R、G、B），所以我们要分别访问它们。下面是访问像素的代码片段：

for( int y = 0; y < image.rows; y++ )
{
for( int x = 0; x < image.cols; x++ )
{
for( int c = 0; c < 3; c++ )
{
new_image.at<Vec3b>(y,x)[c] = saturate_cast<uchar>( alpha*( image.at<Vec3b>(y,x)[c] ) + beta );
}
}
}

注意以下两点：

为了访问图像的每一个像素，我们使用这一语法： image.at<Vec3b>(y,x)[c] 其中， y 是像素所在的行， x 是像素所在的列， c 是R、G、B（0、1、2）之一。
因为

的运算结果可能超出像素取值范围，还可能是非整数（如果

是浮点数的话），所以我们要用saturate_cast 对结果进行转换，以确保它为有效值。

最后，用传统方法创建窗口并显示图像。

namedWindow("Original Image", 1);
namedWindow("New Image", 1);

imshow("Original Image", image);
imshow("New Image", new_image);

waitKey(0);

Note

我们可以不用 for 循环来访问每个像素，而是直接采用下面这个命令：

image.convertTo(new_image, -1, alpha, beta);

这里的 convertTo 将执行我们想做的 new_image
= a*image + beta 。然而，我们想展现访问每一个像素的过程，所以选用了for循环的方式。实际上，这两种方式都能返回同样的结果。

结果

运行代码，取参数

和

$ ./BasicLinearTransforms lena.jpg
Basic Linear Transforms
-------------------------
* Enter the alpha value [1.0-3.0]: 2.2
* Enter the beta value [0-100]: 50

我们将得到下面的结果：



from: http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/core/table_of_content_core/table_of_content_core.html#table-of-content-core