Stanford CS231n Lecture 2 数据驱动的图像分类方式：K近邻与线性分类器

图像分类是计算机视觉的核心问题。能够实现图像分类，则其它计算机视觉问题（物体检测、图像场景分类）只需在其基础上进行小改动。图像分类是一个困难的问题，要在相机角度的变化、光线变化、尺寸变化、形变、遮蔽、背景杂斑、同类演变等各种干扰下鲁棒。前人做图像分类用的是feature engineering的方法，比如识别猫就要识别猫尖尖的耳朵，这样显然很麻烦。而数据驱动的方法很好的解决了这个问题。

第一个分类器：最近邻分类器

最近邻分类器，在训练阶段，记住所有的训练样本和标签，在预测阶段，给出最相近的训练样本的标签。距离度量可以是L1距离、L2距离等，距离度量的选择是一个超参数。

最近邻分类器的分类速度线性地依赖于训练数据规模，它是一个即时的训练方法，同时是一个昂贵的测试方法。用近似近邻算法可以加速。