计算距离方法总结

欧氏距离(Euclidean Distance)

欧式距离是最经典的一种距离算法，适用于求解两点之间直线的距离，适用于各个向量标准统一的情况，如各种药品的使用量、商品的售销量等。

欧氏距离也是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。

二维空间上两点a(x1,y1)与b(x2,y2)之间的欧式距离：

d12=(x1−x2)2+(y1−y2)2−−−−−−−−−−−−−−−−−−√

n维空间上两点a(x11,x12,...,x1n)与b(x21,x22,...,x2n)之间的欧式距离:

d12=∑nk=1(x1k−x2k)2−−−−−−−−−−−−−−√

曼哈顿距离(Manhattan Distance)

曼哈顿距离，也称为城市街区距离(City Block distance)。

二维空间上两点a(x1,y1)与b(x2,y2)之间的曼哈顿距离：

d12=|x1−x2|+|y1−y2|

n维空间上两点a(x11,x12,...,x1n)与b(x21,x22,...,x2n)之间的曼哈顿距离:

d12=∑nk=1|x1k−x2k|

切比雪夫距离 (Chebyshev Distance)

国际象棋中，国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？自己走走试试。你会发现最少步数总是max(|x1−x2|,|y1−y2|)步 。这种距离度量方法就是切比雪夫距离。

二维空间上两点a(x1,y1)与b(x2,y2)之间的切比雪夫距离：

d12=max(|x1−x2|,|y1−y2|)

n维空间上两点a(x11,x12,...,x1n)与b(x21,x22,...,x2n)之间的切比雪夫距离:

d12=maxni(|x1i−x2i|)

这个公式的另一种等价形式（放缩法和夹逼法则来证明）：

d12=limk→∞(∑ni=1|x1i−x2i|)1k

闵可夫斯基距离(Minkowski Distance)

闵氏距离不是一种距离，而是一组距离的定义。

n维空间上两点a(x11,x12,...,x1n)与b(x21,x22,...,x2n)之间的闵可夫斯基距离:

d12=∑nk=1|x1k−x2k|p−−−−−−−−−−−−−−√p

其中p是一个变参数。

当p=1时，就是曼哈顿距离;

当p=2时，就是欧氏距离;

当p→∞时，就是切比雪夫距离。

所以，根据变参数的不同，闵氏距离可以表示一类的距离。

闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。

举个例子：二维样本(身高,体重)，其中身高范围是150~190，体重范围是50~60，有三个样本：a(180,50)，b(190,50)，c(180,60)。那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，但是身高的10cm真的等价于体重的10kg吗？因此用闵氏距离来衡量这些样本间的相似度很有问题。

简单说来，缺点主要有两个：

将各个分量的量纲(scale)，也就是“单位”当作相同的看待了。

没有考虑各个分量的分布（期望，方差等)可能是不同的。

应用场景：

数据直接的分量应该是无关的（不能应用在像身高、体重这样相关的分量）；

在应用曼哈顿距离、欧氏距离、切比雪夫距离的时候，注意首先将各个分量“标准化”到均值、方差相等。

标准化欧氏距离 (Standardized Euclidean distance )

标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。

标准欧氏距离的思路：既然数据各维分量的分布不一样，好吧！那我先将各个分量都“标准化”到均值、方差相等。标准化变量的数学期望为0，方差为1。因此样本集的标准化过程(standardization)用公式描述就是：

X∗=X−ms

其中，m为均值，s为标准差。

然后，再计算n维空间上两点a(x11,x12,...,x1n)与b(x21,x22,...,x2n)之间的欧式距离:

d12=∑nk=1(x1k−x2k)2−−−−−−−−−−−−−−√

上面两个公式可合并为一个公式：

d12=∑nk=1(x1k−x2ksk)2−−−−−−−−−−−−√

如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权欧氏距离(Weighted Euclidean distance)。

马氏距离(Mahalanobis Distance)

马氏距离表示数据的协方差距离。马氏距离与欧氏距离的不同之处在于，马氏距离考虑了各个维度之间的联系(如身高与体重)，并且独立于测量尺度（米、千克等不同量纲）。

有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为：

D(X)=(X−μ)TS−1(X−μ)−−−−−−−−−−−−−−−−−√

其中，向量Xi与Xj之间的马氏距离定义为：

D(Xi,Xj)=(Xi−Xj)TS−1(Xi−Xj)−−−−−−−−−−−−−−−−−−−−√

若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了这样：

D(Xi,Xj)=(Xi−Xj)T(Xi−Xj)−−−−−−−−−−−−−−−−−√

也就是欧氏距离了。

若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。

马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。

皮尔逊(Pearson)相关系数

Pearson是推荐时最常用的一种距离，对于评分、喜好等用户评判标准不一样的时候特别有用。可以化为两向量规范化后的乘积，其本质是两个向量是否同升同降。



皮尔逊相关系数用于衡量两个变量之间的相关性（这里的两个变量指的是上图中的Clara和Robert），它的值在-1至1之间，1表示完全吻合，-1表示完全相悖。用于解决“分数膨胀”的问题。

r=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2√∑ni=1(yi−y¯)2√

另一个只需要一次遍历的等价公式：

r=∑ni=1xiyi−∑ni=1xi∑ni=1yin∑ni=1x2i−(∑ni=1xi)2n√∑ni=1y2i−(∑ni=1yi)2n√

余弦相似度(Cosine)

几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。

余弦距离不关心向量的长度，而只关心向量的夹角余弦。应用场景，如文本分类时，两文本之间距离计算。

夹角余弦距离比pearson距离更加严格。因为对于pearson来说，就算两个向量之间有夹角，只要其同升同降，其person的相关系数是1，即距离为0。

而对于夹角余统来说，其距离是他们之间的夹角。

更通俗点来说，pearson距离跟向量之间是否同升同降有关系，而余弦距离除了跟向量之间是否同升同降有关系外，还跟余弦他们升降的程度有关。

二维空间上两点a(x1,y1)与b(x2,y2)之间的夹角余弦距离：

cos(θ)=x1x2+y1y2x21+y21√x22+y22√

n维空间上两点a(x11,x12,...,x1n)与b(x21,x22,...,x2n)之间的夹角余弦距离:

cos(θ)=ab|a||b|

即：

cos(θ)=∑nk=1x1kx2k∑nk=1x21k√∑nk=1x22k√

夹角余弦取值范围为[-1,1]。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。

欧式距离和余弦相似度比较：

欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析，如使用用户行为指标分析用户价值的相似度或差异；

而余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正了用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感）。

小结：

如果数据存在“分数膨胀问题”，使用皮尔逊相关系数；

如果数据比较密集，使用欧氏距离或者曼哈顿距离；

如果数据是稀疏的，则使用余弦相似度。

编辑距离(Edit Distance)

编辑距离是俄罗斯科学家Vladimir Levenshtein在1965年提出的这个概念。

编辑距离，又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。

例如将kitten一字转成sitting：

sitten （k→s）

sittin （e→i）

sitting （→g）

所以kitten与sitting的编辑距离就是3。

汉明距离(Hamming distance)

两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。

例如字符串“1111”与“1001”之间的汉明距离为2。

应用：信息编码（为了增强容错性，应使得编码间的最小汉明距离尽可能大）。

两个字符串之间的距离，用于计算之间的相似度。应用场景如钓鱼网站与正规网站之间相似程度、两作文是否作弊等。

计算方法，把S1变成S2所需要进行替换的最小次数。

simhash

simhash是google用来处理海量文本去重的算法。

simhash最牛逼的一点就是将一个文档，转换成一个64位的字节，暂且称之为特征字，然后判断重复只需要判断他们的特征字的距离是不是小于n（根据经验这个n一般取值为3），就可以判断两个文档是否相似。

算法过程大概如下：

分词，把需要判断文本分词形成这个文章的特征单词。最后形成去掉噪音词的单词序列并为每个词加上权重，我们假设权重分为5个级别（1~5）。比如：“美国“51区”雇员称内部有9架飞碟，曾看见灰色外星人 ” ==> 分词后为 “ 美国（4） 51区（5） 雇员（3） 称（1）内部（2） 有（1） 9架（3） 飞碟（5） 曾（1） 看见（3） 灰色（4）外星人（5）”，括号里是代表单词在整个句子里重要程度，数字越大越重要。

hash，通过hash算法把每个词变成hash值，比如“美国”通过hash算法计算为 100101,“51区”通过hash算法计算为101011。这样我们的字符串就变成了一串串数字，还记得文章开头说过的吗，要把文章变为数字计算才能提高相似度计算性能，现在是降维过程进行时。

加权，通过 2步骤的hash生成结果，需要按照单词的权重形成加权数字串，比如“美国”的hash值为“100101”，通过加权计算为“4 -4 -4 4 -4 4”；“51区”的hash值为“101011”，通过加权计算为 “ 5 -5 5 -5 5 5”。

合并，把上面各个单词算出来的序列值累加，变成只有一个序列串。比如 “美国”的 “4 -4 -4 4 -4 4”，“51区”的 “ 5 -5 5 -5 5 5”， 把每一位进行累加， “4+5 -4+-5 -4+5 4+-5 -4+5 4+5” ==》 “9 -9 1 -1 1 9”。这里作为示例只算了两个单词的，真实计算需要把所有单词的序列串累加。

降维，把4步算出来的 “9 -9 1 -1 1 9” 变成 0 1 串，形成我们最终的simhash签名。 如果每一位大于0 记为1，小于0 记为 0。最后算出结果为：“1 0 1 0 1 1”。

到此，如何从一个文档到一个simhash值的过程已经讲明白了。 但是还有一个重要的部分没讲，『simhash值的海明距离计算』

二进制串A 和 二进制串B 的海明距离就是 A xor B 后二进制中1的个数。

举例如下：

A = 100111;

B = 101010;

hamming_distance(A, B) = count_1(A xor B) = count_1(001101) = 3;

当我们算出所有文档的simhash值之后，需要计算doc A和doc B之间是否相似的条件是：

A和B的海明距离是否小于等于n，这个n值根据经验一般取值为3。

simhash本质上是局部敏感性的hash，和md5之类的不一样。 正因为它的局部敏感性，所以我们可以使用海明距离来衡量simhash值的相似度。

另外，如果想要小数形式的可以这么做：1 - 汉明距离 / 最长关键词数组长度。

杰卡德相似系数(Jaccard similarity coefficient)

两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示。

J(A,B)=A∩BA∪B

杰卡德相似系数是衡量两个集合的相似度一种指标。

与杰卡德相似系数相反的概念是杰卡德距离(Jaccard distance)。杰卡德距离可用如下公式表示：

Jδ(A,B)=1−J(A,B)=A∪B−A∩BA∪B

杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

可将杰卡德相似系数用在衡量样本的相似度上。

样本A与样本B是两个n维向量，而且所有维度的取值都是0或1。例如：A(0111)和B(1011)。我们将样本看成是一个集合，1表示集合包含该元素，0表示集合不包含该元素。

p ：样本A与B都是1的维度的个数

q ：样本A是1，样本B是0的维度的个数

r ：样本A是0，样本B是1的维度的个数

s ：样本A与B都是0的维度的个数

那么样本A与B的杰卡德相似系数可以表示为：

J(A,B)=pp+q+r

这里p+q+r可理解为A与B的并集的元素个数，而p是A与B的交集的元素个数。

而样本A与B的杰卡德距离表示为：

Jδ(A,B)=q+rp+q+r

杰卡德距离在求两个集合的相交程度时比较有用，一般应用于布尔类型的向量中。应用场景，如两首音乐的被共同喜欢的程度、两个人性格的相似程度等

相关系数( Correlation coefficient )与相关距离(Correlation distance)

相关系数：

ρXY=Cov(X,Y)D(X)√D(Y)√=E((X−EX)(Y−EY))D(X)√D(Y)√

相关系数是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。

相关距离：

Dxy=1−ρXY

信息熵(Information Entropy)

信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。

计算给定的样本集X的信息熵的公式：

Entropy(X)=∑ni=1−ρilog2ρi

参数的含义： n：样本集X的分类数 pi：X中第i类元素出现的概率

信息熵越大表明样本集S分类越分散，信息熵越小则表明样本集X分类越集中。当S中n个分类出现的概率一样大时（都是1/n），信息熵取最大值log2(n)。当X只有一个分类时，信息熵取最小值0。