项目实战笔记 | C++实现运动目标的追踪 实验楼项目

sudo apt-getupdate && sudo apt-get install gtk-recordmydesktop
首先安装屏幕录制工具
1）#include<opencv2/opencv.hpp>要使用opencv得这个头文件，
2）VideoCapture获取视频，有两个值，可以是路径或者是数字，数字表示使用哪个摄像头，通常只有一个摄像头的时候是0
3)要加cv::头
4）Mat是矩阵对象，开头大写，可以VideoCapture>>Mat，来将视频内容放入Mat对象里面，可以使用imshow("test",frame);来播放某个矩阵对象，
5）int key = cv::waitKey(1000/15);这个可以让视频停顿相应的时间来等待键盘输入，这里帧率是15，这里的输入单位是毫秒，这种做法能够使得视频播放更加的流畅
6）key==27表示获得的按键是esc按键
7）在代码结束的时候，要使用对象.release()来释放所有的对象，release貌似是opencv独有的函数，还需要使用destroyAllWindows();来消除掉播放框
8）
        if( selectObject &&selection.width > 0 && selection.height > 0 ) {
            cv::Mat roi(image, selection);
            bitwise_not(roi, roi);
        }
 
        imshow( "CamShift atShiyanlou", image );
使用这两句可以实现选中区域的颜色反向，具体原理不清楚
9）selection &=cv::Rect(0, 0, image.cols, image.rows);
可以使用这一句来保证鼠标选中的区域不会超出绘画范围，关键在于    &=这一句
运行效果图



}红圈部分是鼠标选中的部分，可以看到自动追踪了绿色轨道上的的行星
//
// main.cpp
//
#include<opencv2/opencv.hpp> // OpenCV 头文件
 
int main() {
 
    // 创建一个视频捕获对象
    // OpenCV 提供了一个 VideoCapture 对象，它屏蔽了
    // 从文件读取视频流和从摄像头读取摄像头的差异，当构造
    // 函数参数为文件路径时，会从文件读取视频流；当构造函
    // 数参数为设备编号时(第几个摄像头, 通常只有一个摄像
    // 头时为0)，会从摄像头处读取视频流。
    cv::VideoCapturevideo("video.ogv"); // 读取文件
    // cv::VideoCapture video(0);        // 使用摄像头
 
    // 捕获画面的容器，OpenCV 中的 Mat 对象
    // OpenCV 中最关键的 Mat 类，Mat 是 Matrix(矩阵)
    // 的缩写，OpenCV 中延续了像素图的概念，用矩阵来描述
    // 由像素构成的图像。
    cv::Mat frame;
    while(true) {
 
        // 将 video 中的内容写入到 frame 中，
        // 这里 >> 运算符是经过 OpenCV 重载的
        video >> frame;
 
        // 当没有帧可继续读取时，退出循环
        if(frame.empty()) break;
 
        // 显示当前帧
        cv::imshow("test", frame);
 
        // 录制视频帧率为 15, 等待 1000/15 保证视频播放流畅。
        // waitKey(int delay) 是 OpenCV 提供的一个等待函数，
        // 当运行到这个函数时会阻塞 delay 毫秒的时间来等待键盘输入
        int key = cv::waitKey(1000/15);
 
        // 当按键为 ESC 时，退出循环
        if (key == 27) break;
    }
    // 释放申请的相关内存
    cv::destroyAllWindows();
    video.release();
    return 0;
 
}
来源: 实验楼
链接: https://www.shiyanlou.com/courses/560 MeanShift算法：
简单来说就是当圆圈的圆心和质心不重合的时候，将圆圈向质心的位置移动，这个算法可以计算局部点最密集的地方
这个算法貌似可以用来捕捉运动的物体，在捕捉物体的时候，使用反向投影直方图，这个直方图能够反映物体的运动
如图所示，把蓝色的圆圈标记为 C1，蓝色的矩形为圆心标记为 C1_o。但这个圆的质心却为 C1_r，标记为蓝色的实心圆。
当C1_o和C1_r不重合时，将圆 C1移动到圆心位于 C1_r的位置，如此反复。最终会停留在密度最高的圆 C2 上。
但是meanshift只能对恒定大小的物体进行追踪，在实际运中，可能物体并不是恒定大小的
Camshift算法能够改进这个问题，它在每一次meanshift收敛之后用一个椭圆来更新窗口，然后在新的窗口下再次应用meanshift算法
Opencv里面实现了这个算法：
RotatedRectCamShift(InputArray probImage, Rect& window, TermCriteria criteria)
其中第一个参数 probImage 为目标直方图的反向投影，第二个参数 window 为执行 Camshift 算法的搜索窗口，第三个参数为算法结束的条件。
接下来实现
1）这里通过event的值我们能够获得鼠标点击的具体是什么，比如CV_EVENT_LBUTTONDOWN是左键被按下，CV_EVENT_LBUTTONUP
 是右键放开
2）&=被rect重载，可以用来计算两个rect的交集
3）Mat有两个属性，rows和cols，分别表示行数和列数
 
第一步：选择追踪目标区域的鼠标回调函数：
 
 
 
boolselectObject = false; // 用于标记是否有选取目标
int trackObject= 0;       // 1 表示有追踪对象 0 表示无追踪对象 -1 表示追踪对象尚未计算Camshift 所需的属性
cv::Rectselection;        // 保存鼠标选择的区域
cv::Matimage;             // 用于缓存读取到的视频帧
 
// OpenCV 对所注册的鼠标回调函数定义为：
// voidonMouse(int event, int x, int y, int flag, void *param)
// 其中第四个参数 flag 为 event 下的附加状态，param 是用户传入的参数，我们都不需要使用
// 故不填写其参数名
void onMouse(int event, int x, int y, int, void* ) {
    static cv::Point origin;
    if(selectObject) {
        // 确定鼠标选定区域的左上角坐标以及区域的长和宽
        selection.x = MIN(x, origin.x);
        selection.y = MIN(y, origin.y);
        selection.width = std::abs(x -origin.x);
        selection.height = std::abs(y -origin.y);
 
        // & 运算符被 cv::Rect 重载
        // 表示两个区域取交集, 主要目的是为了处理当鼠标在选择区域时移除画面外
        selection &= cv::Rect(0, 0,image.cols, image.rows);
    }
 
    switch(event) {
        // 处理鼠标左键被按下
        case CV_EVENT_LBUTTONDOWN:
            origin = cv::Point(x, y);
            selection = cv::Rect(x, y, 0, 0);
            selectObject = true;
            break;
        // 处理鼠标左键被抬起
        case CV_EVENT_LBUTTONUP:
            selectObject = false;
            if( selection.width > 0&& selection.height > 0 )
                trackObject = -1; // 追踪的目标还未计算 Camshift 所需要的属性
            break;
    }
}
第二步：从视频流中读取图像
下面是对main函数进一步细化：
1)   使用namedWindow(string)来注册一个窗口，接下来可能是在这个窗口里面播放内容
2)   setMouseCallback(string,onMouse,NULL);第一个参数是类似于注释，第二个参数为回掉函数指针，第三个参数为用户提供给回调函数的
3)   Mat.copyTo(Mat)将一个mat中的数据拷贝到另外一个Mat里面，这里一般是视频的一个帧或者是一副画面
4)   这里的Mat ort(image,selection)，意思是初始化一个mat，使用image中的selection（rect类型）框住的一部分
5)   bitwise_not(mat1,mat2)，意思是将mat1的全部数据取反之后放入mat2中
int main() {
    cv::VideoCapturevideo("video.ogv");
    cv::namedWindow("CamShift atShiyanlou");
 
    // 1. 注册鼠标事件的回调函数, 第三个参数是用户提供给回调函数的，也就是回调函数中最后的 param 参数
    cv::setMouseCallback("CamShift atShiyanlou", onMouse, NULL);
 
    cv::Mat frame; // 接收来自 video 视频流中的图像帧
 
    // 2. 从视频流中读取图像
    while(true) {
        video >> frame;
        if(frame.empty()) break;
 
        // 将frame 中的图像写入全局变量 image 作为进行 Camshift 的缓存
        frame.copyTo(image);
 
        // 如果正在选择追踪目标，则画出选择框
        if( selectObject &&selection.width > 0 && selection.height > 0 ) {
            cv::Mat roi(image, selection);
            bitwise_not(roi, roi);  // 对选择的区域图像反色
        }
        imshow("CamShift atShiyanlou", image);
        int key = cv::waitKey(1000/15.0);
        if(key == 27) break;
    }
    // 释放申请的相关内存
    cv::destroyAllWindows();
    video.release();
    return 0;
}

来源: 实验楼

链接:https://www.shiyanlou.com/courses/560

三步：实现 Camshift 过程
1）       cvtColor(image,hsv,COLOR_BGR2HSV);这个函数可以将rgb颜色空间的矩阵转换成hsv颜色空间的颜色矩阵，将image转换后存储在hsv中
2）       inRange(hsv,cv::Scalar(0,30,10),cv::Scalar(180,256,256),mask);这个函数的功能是将MatHsv中的符合三个通道的相应的范围复制到mask中
3）       hue.create(hsv.size(),hsv.depth())；这个函数功能是给hue创造矩阵，使用hsv的大小和hsv的像素深度！
4）       mixChannels(&hsv,1.&hue,1,ch,1)这个函数的功能是将指定的矩阵的相应的通道复制给输出矩阵，这里的输入矩阵为hsv，只有一个输入矩阵，输出矩阵为hue，只有一个输出矩阵，标记对于个数为1，ch为{0,0}表示把hsv的第一个通道给hue，也就是h通道！
5）       Cv::Mat roi(hue,selection);这个语句的功能是把hue的selection（这个为rect）部分复制给roi
6）       对calcHist的分析,calcHist(&roi,1,0，maskroi,hist，1，&hsize，&phranges)
第一个参数表示输入的矩阵，是constMat *类型，所以要输入地址，第二个参数表示输入图像的个数，第三个参数是const int *类型，表示输入图像使用哪些channels来计算直方图，一般是输入一个数组，这里输入一个0，表示空指针，这里应该是表示使用第一幅图像的第一个通道，也就是经过inRange过的H通道，第四个参数表示使用哪个掩码来过滤原图像，这里可以是矩阵要求和输入矩阵一样大，这里掩码有3个通道，但是输入图像只有一个通道，这里应该是使用默认的掩码的第一个通道来过滤输入图像的矩阵，过滤的方法为，当掩码的某个值为0的时候，输入图像的相应位置会被过滤，但是当值大于0的时候输入图像的相应值才会被用来计算直方图
Hist，表示输出直方图，这里用矩阵Mat来接受直方图数据，也不知道是怎么存储的，
第6个参数表示输出的直方图是几维的，这里当然是一维的
第7个参数表示在每一维上竖条的个数，这里为16，参数类型为const int *，可以是数组也可以是&int类型，这里只有1维所以是&int
第8个参数表示直方图统计的原图的值的范围，是一个const float **的类型，也就是二维数组，比如float a[]={0,10} float b[]={20,30},float * c[]={a,b};这里的c就是表示输入的范围为0~10,10~20，
这里是使用floathranges[] = {0,180}，const float *phranges = hranges，来实现，这里需要输入指针的地址，这里可以直接输入&phranges来实现功能，
7）       normalize(inputArray,outputArray,doublealpha,double beta,normalizeType)
最后一个参数可以为CV_MINMAX，这里表示把矩阵归一化到指定范围
 
int main() {
    cv::VideoCapturevideo("video.ogv");
    cv::namedWindow("CamShift atShiyanlou");
    cv::setMouseCallback("CamShift atShiyanlou", onMouse, NULL);
 
    cv::Mat frame;
    cv::Mat hsv, hue, mask, hist, backproj;
    cv::Rect trackWindow;             // 追踪到的窗口
    int hsize = 16;                   // 计算直方图所必备的内容
    float hranges[] = {0,180};        // 计算直方图所必备的内容
    const float* phranges = hranges;  // 计算直方图所必备的内容
 
    while(true) {
        video >> frame;
        if(frame.empty()) break;
        frame.copyTo(image);
 
        // 转换到 HSV 空间
        cv::cvtColor(image, hsv,cv::COLOR_BGR2HSV);
        // 当有目标时开始处理
        if(trackObject) {
 
            // 只处理像素值为H：0~180，S：30~256，V：10~256之间的部分，过滤掉其他的部分并复制给 mask
            cv::inRange(hsv, cv::Scalar(0, 30,10), cv::Scalar(180, 256, 10), mask);
            // 下面三句将 hsv 图像中的 H 通道分离出来
            int ch[] = {0, 0};
            hue.create(hsv.size(),hsv.depth());
            cv::mixChannels(&hsv, 1,&hue, 1, ch, 1);
 
            // 如果需要追踪的物体还没有进行属性提取，则对选择的目标中的图像属性提取
            if( trackObject < 0 ) {
 
                // 设置 H 通道和 mask 图像的 ROI
                cv::Mat roi(hue, selection),maskroi(mask, selection);
                // 计算 ROI所在区域的直方图
                calcHist(&roi, 1, 0,maskroi, hist, 1, &hsize, &phranges)
d65f
;
                // 将直方图归一
                normalize(hist, hist, 0, 255,CV_MINMAX);
 
                // 设置追踪的窗口
                trackWindow = selection;
 
                // 标记追踪的目标已经计算过直方图属性
                trackObject = 1;
            }
            // 将直方图进行反向投影
            calcBackProject(&hue, 1, 0,hist, backproj, &phranges);
            // 取公共部分
            backproj &= mask;
            // 调用 Camshift 算法的接口
            cv::RotatedRect trackBox =CamShift(backproj, trackWindow, cv::TermCriteria( CV_TERMCRIT_EPS |CV_TERMCRIT_ITER, 10, 1 ));
            // 处理追踪面积过小的情况
            if( trackWindow.area() <= 1 ) {
                int cols = backproj.cols, rows= backproj.rows, r = (MIN(cols, rows) + 5)/6;
                trackWindow =cv::Rect(trackWindow.x - r, trackWindow.y - r,
                                  trackWindow.x + r, trackWindow.y + r) & cv::Rect(0, 0, cols, rows);
            }
            // 绘制追踪区域
            ellipse( image, trackBox,cv::Scalar(0,0,255), 3, CV_AA );
 
        }
 
 
        if( selectObject &&selection.width > 0 && selection.height > 0 ) {
            cv::Mat roi(image, selection);
            bitwise_not(roi, roi);
        }
        imshow("CamShift atShiyanlou", image);
        int key = cv::waitKey(1000/15.0);
        if(key == 27) break;
    }
    cv::destroyAllWindows();
    video.release();
    return 0;
}

接下来是所有的代码总结
 
#include<opencv2/opencv.hpp>
 
boolselectObject = false;
int trackObject= 0;
cv::Rectselection;
cv::Mat image;
 
void onMouse(int event, int x, int y, int, void* ) {
    static cv::Point origin;
    if(selectObject) {
        selection.x = MIN(x, origin.x);
        selection.y = MIN(y, origin.y);
        selection.width = std::abs(x -origin.x);
        selection.height = std::abs(y -origin.y);
        selection &= cv::Rect(0, 0,image.cols, image.rows);
    }
    switch(event) {
        case CV_EVENT_LBUTTONDOWN:
            origin = cv::Point(x, y);
            selection = cv::Rect(x, y, 0, 0);
            selectObject = true;
            break;
        case CV_EVENT_LBUTTONUP:
            selectObject = false;
            if( selection.width > 0&& selection.height > 0 )
                trackObject = -1;
            break;
    }
}
 
int main( intargc, const char** argv )
{
    cv::VideoCapturevideo("video.ogv");
    cv::namedWindow( "CamShift atShiyanlou" );
    cv::setMouseCallback( "CamShift atShiyanlou", onMouse, 0 );
 
    cv::Mat frame, hsv, hue, mask, hist,backproj;
    cv::Rect trackWindow;
    int hsize = 16;
    float hranges[] = {0,180};
    const float* phranges = hranges;
 
    while(true) {
        video >> frame;
        if( frame.empty() )
            break;
 
        frame.copyTo(image);
 
        cv::cvtColor(image, hsv,cv::COLOR_BGR2HSV);
 
        if( trackObject ) {
 
            cv::inRange(hsv, cv::Scalar(0, 30,10), cv::Scalar(180, 256, 256), mask);
            int ch[] = {0, 0};
            hue.create(hsv.size(),hsv.depth());
            cv::mixChannels(&hsv, 1,&hue, 1, ch, 1);
 
            if( trackObject < 0 ) {
                cv::Mat roi(hue, selection),maskroi(mask, selection);
                calcHist(&roi, 1, 0,maskroi, hist, 1, &hsize, &phranges);
                normalize(hist, hist, 0, 255,CV_MINMAX);
 
                trackWindow = selection;
                trackObject = 1;
            }
 
            calcBackProject(&hue, 1, 0,hist, backproj, &phranges);
            backproj &= mask;
            cv::RotatedRect trackBox =CamShift(backproj, trackWindow, cv::TermCriteria( CV_TERMCRIT_EPS |CV_TERMCRIT_ITER, 10, 1 ));
            if( trackWindow.area() <= 1 ) {
                int cols = backproj.cols, rows= backproj.rows, r = (MIN(cols, rows) + 5)/6;
                trackWindow =cv::Rect(trackWindow.x - r, trackWindow.y - r,
                                   trackWindow.x + r,trackWindow.y + r) &
                cv::Rect(0, 0, cols, rows);
            }
            ellipse( image, trackBox,cv::Scalar(0,0,255), 3, CV_AA );
 
        }
 
        if( selectObject &&selection.width > 0 && selection.height > 0 ) {
            cv::Mat roi(image, selection);
            bitwise_not(roi, roi);
        }
 
        imshow( "CamShift atShiyanlou", image );
        char c = (char)cv::waitKey(1000/15.0);
        if( c == 27 )
            break;
    }
    cv::destroyAllWindows();
    video.release();
    return 0;
}
来源: 实验楼
链接: https://www.shiyanlou.com/courses/560