K-近邻分类算法KNN
2015-08-30 10:49
375 查看
K-近邻(K-Nearest Neighbors, KNN)是一种很好理解的分类算法,简单说来就是从训练样本中找出K个与其最相近的样本,然后看这K个样本中哪个类别的样本多,则待判定的值(或说抽样)就属于这个类别。
计算已知类别数据集中每个点与当前点的距离;
选取与当前点距离最小的K个点;
统计前K个点中每个类别的样本出现的频率;
返回前K个点出现频率最高的类别作为当前点的预测分类。
OpenCV中实现CvKNearest类可以实现简单的KNN训练和预测。
[cpp] view
plaincopy
int main()
{
float labels[10] = {0,0,0,0,0,1,1,1,1,1};
Mat labelsMat(10, 1, CV_32FC1, labels);
cout<<labelsMat<<endl;
float trainingData[10][2];
srand(time(0));
for(int i=0;i<5;i++){
trainingData[i][0] = rand()%255+1;
trainingData[i][1] = rand()%255+1;
trainingData[i+5][0] = rand()%255+255;
trainingData[i+5][1] = rand()%255+255;
}
Mat trainingDataMat(10, 2, CV_32FC1, trainingData);
cout<<trainingDataMat<<endl;
CvKNearest knn;
knn.train(trainingDataMat,labelsMat,Mat(), false, 2 );
// Data for visual representation
int width = 512, height = 512;
Mat image = Mat::zeros(height, width, CV_8UC3);
Vec3b green(0,255,0), blue (255,0,0);
for (int i = 0; i < image.rows; ++i){
for (int j = 0; j < image.cols; ++j){
const Mat sampleMat = (Mat_<float>(1,2) << i,j);
Mat response;
float result = knn.find_nearest(sampleMat,1);
if (result !=0){
image.at<Vec3b>(j, i) = green;
}
else
image.at<Vec3b>(j, i) = blue;
}
}
// Show the training data
for(int i=0;i<5;i++){
circle( image, Point(trainingData[i][0], trainingData[i][1]),
5, Scalar( 0, 0, 0), -1, 8);
circle( image, Point(trainingData[i+5][0], trainingData[i+5][1]),
5, Scalar(255, 255, 255), -1, 8);
}
imshow("KNN Simple Example", image); // show it to the user
waitKey(10000);
}
使用的是之前BP神经网络中的例子,分类结果如下:
预测函数find_nearest()除了输入sample参数外还有些其他的参数:
[cpp] view
plaincopy
float CvKNearest::find_nearest(const Mat& samples, int k, Mat* results=0,
const float** neighbors=0, Mat* neighborResponses=0, Mat* dist=0 )
即,samples为样本数*特征数的浮点矩阵;K为寻找最近点的个数;results与预测结果;neibhbors为k*样本数的指针数组(输入为const,实在不知为何如此设计);neighborResponse为样本数*k的每个样本K个近邻的输出值;dist为样本数*k的每个样本K个近邻的距离。
KNN算法的步骤
计算已知类别数据集中每个点与当前点的距离;选取与当前点距离最小的K个点;
统计前K个点中每个类别的样本出现的频率;
返回前K个点出现频率最高的类别作为当前点的预测分类。
OpenCV中使用CvKNearest
OpenCV中实现CvKNearest类可以实现简单的KNN训练和预测。[cpp] view
plaincopy
int main()
{
float labels[10] = {0,0,0,0,0,1,1,1,1,1};
Mat labelsMat(10, 1, CV_32FC1, labels);
cout<<labelsMat<<endl;
float trainingData[10][2];
srand(time(0));
for(int i=0;i<5;i++){
trainingData[i][0] = rand()%255+1;
trainingData[i][1] = rand()%255+1;
trainingData[i+5][0] = rand()%255+255;
trainingData[i+5][1] = rand()%255+255;
}
Mat trainingDataMat(10, 2, CV_32FC1, trainingData);
cout<<trainingDataMat<<endl;
CvKNearest knn;
knn.train(trainingDataMat,labelsMat,Mat(), false, 2 );
// Data for visual representation
int width = 512, height = 512;
Mat image = Mat::zeros(height, width, CV_8UC3);
Vec3b green(0,255,0), blue (255,0,0);
for (int i = 0; i < image.rows; ++i){
for (int j = 0; j < image.cols; ++j){
const Mat sampleMat = (Mat_<float>(1,2) << i,j);
Mat response;
float result = knn.find_nearest(sampleMat,1);
if (result !=0){
image.at<Vec3b>(j, i) = green;
}
else
image.at<Vec3b>(j, i) = blue;
}
}
// Show the training data
for(int i=0;i<5;i++){
circle( image, Point(trainingData[i][0], trainingData[i][1]),
5, Scalar( 0, 0, 0), -1, 8);
circle( image, Point(trainingData[i+5][0], trainingData[i+5][1]),
5, Scalar(255, 255, 255), -1, 8);
}
imshow("KNN Simple Example", image); // show it to the user
waitKey(10000);
}
使用的是之前BP神经网络中的例子,分类结果如下:
预测函数find_nearest()除了输入sample参数外还有些其他的参数:
[cpp] view
plaincopy
float CvKNearest::find_nearest(const Mat& samples, int k, Mat* results=0,
const float** neighbors=0, Mat* neighborResponses=0, Mat* dist=0 )
即,samples为样本数*特征数的浮点矩阵;K为寻找最近点的个数;results与预测结果;neibhbors为k*样本数的指针数组(输入为const,实在不知为何如此设计);neighborResponse为样本数*k的每个样本K个近邻的输出值;dist为样本数*k的每个样本K个近邻的距离。
相关文章推荐
- 高性能网站建设的14个原则
- opencv widthstep 理解
- iOS触摸和手势
- string 表名得到字段名
- 在服务器上排除问题的头五分钟
- TableLayout表格简单的使用
- tmux配置
- zzuli OJ 1081: n个数求和 (多实例测试)
- K近邻算法
- Web前端性能优化经验分享
- Epoll模型详解
- 一些常常出现在面试题的冷门运算符
- How to map host ip and port to Hyper-V
- Java中的代码点与代码单元
- [LeetCode]Search a 2D Matrix
- 模仿九宫格拼音输入法,根据输入的数字键,形成对应的汉字拼音
- 精品软件 推荐 佛弟子播放器 整合了网络上的佛教资源
- 精品软件 推荐 佛弟子播放器 整合了网络上的佛教资源
- Ubuntu15.04 设置中文语言
- sublime text3的浏览器快捷插件