机器学习经典算法12-SVD及其在推荐中的应用

1.基本介绍

就个人看来，其实SVD(singular valur decomposition)和PCA的功能是一样的，可以用来降低维度、去除噪声，经过PCA和SVD处理后的数据可以做各种处理，包括之前的各个分类和回归的经典算法等，可以说SVD和PCA是高级别的预处理（相对于均值归一化、属性范围调整等）。

2.SVD简要说明

一般地，获得sigma矩阵中，绝大多数对角元素为0；一般选择部分来简化数据，即sigma的维度变为m*k，U的维度变为m*k。

3.基于协同过滤的推荐

这里我们假设有m个用户，n个物品，原始的数据矩阵Data为m*n维度，矩阵中的元素是用户对物品的评分，如果用户没有对该物品进行评分，则评分为0。协同过滤较为经典的两个是基于物品相似度的和基于用户相似度的，在基于物品相似度计算时，物品的特征维度是用户，数据是评分；在基于用户相似度时，用户的特征维度是物品，数据是评分。可以看到用户和物品互相为特征，但是其中有很多杂质掺杂其中，用SVD可以很好的进行过滤，从而提升推荐结果。
具体做法是（基于物品相似度）:对于某个用户u推荐某个物品v时，计算该物品v与u已经评分过的物品相似度，在计算的时候，其特征是通过上面矩阵分解后的V公式重构的，可以看成将物品的特征维度将为了k，物品特征矩阵为n*k，而不是之前的n*m。

4.进一步的改进LFM

在进行SVD运算时，随着物品和项目的增多，计算复杂度会非常高。这时出现了LFM即latent factor model，这里的假设和SVD十分相似，即评分矩阵Data是由两个矩阵乘积所得，一个是用户特征矩阵，其维度为m*k，另外一个是物品特征矩阵，其维度为n*k，那么用户特征矩阵*物品特征矩阵的转置，即得到了评分矩阵。需要对m*k+n*k个参数进行求解，而求解的目标就是让得到的评分和实际评分平方差之和最小。这个具体可以参照《推荐系统实战》，里面有相关的代码和说明。

5.SVD用于推荐的示例

三种不同计算相似度的方法：ecludSim/pearsSim/cosSim；standEst是基于原始数据计算非评分物品和评分物品之间的相似度；而svdEst在计算之前，对数据进行了重构（这里默认重构为n*4的矩阵）；主函数recommend中可以指定相似度计算和评分预测方法，还有物品推荐个数N（默认为3）。

from numpy import *
import matplotlib.pyplot as plt
from numpy import linalg as la
def ecludSim(inA, inB):
return 1.0/(1.0+la.norm(inA-inB))
def pearsSim(inA, inB):
if len(inA)<3:return 1.0
return 0.5+0.5*corrcoef(inA,inB,rowvar=0)[0][1]
def cosSim(inA, inB):
num=float(inA.T*inB)
denom=la.norm(inA)*la.norm(inB)
return 0.5+0.5*(num/denom)
def standEst(dataMat, user, simMeas, item):
n=shape(dataMat)[1]
simTotal=0.0
ratSimTotal=0.0
for j in range(n):
userRating=dataMat[user,j]
if userRating==0:continue
overLap=nonzero(logical_and(dataMat[:,item].A>0,dataMat[:,j].A>0))[0]
if len(overLap)==0:
simliarity=0
else:
similarity=simMeas(dataMat[overLap,item],dataMat[overLap,j])
simTotal+=similarity
ratSimTotal+=similarity*userRating
if simTotal==0:return 0
return ratSimTotal/simTotal
def svdEst(dataMat, user, simMeas, item):
n=shape(dataMat)[1]
simTotal=0.0
ratSimTotal=0.0
U, Sigma, VT=la.svd(dataMat)
Sig4=mat(eye(4)*Sigma[:4])
xformedItems=dataMat.T*U[:,:4]*Sig4.I
for j in range(n):
userRating=dataMat[user,j]
if userRating==0 or j==item:continue
similarity=simMeas(xformedItems[item,:].T,xformedItems[j,:].T)
simTotal+=similarity
ratSimTotal+=similarity*userRating
if simTotal==0:return 0
return ratSimTotal/simTotal
def recommend(dataMat, user, N=3, simMeas=cosSim, estMethod=standEst):
unratedItems=nonzero(dataMat[user,:].A==0)[1]
if len(unratedItems)==0: return 'you rated everything'
itemScores=[]
for item in unratedItems:
estimatedScore=estMethod(dataMat, user, simMeas, item)
itemScores.append((item, estimatedScore))
return sorted(itemScores, key=lambda jj:jj[1], reverse=True)[:N]
myData=[[4,4,0,2,2],
[4,0,0,3,3],
[4,0,0,1,1],
[1,1,1,2,0],
[2,2,2,0,0],
[1,1,1,0,0],
[5,5,5,0,0]]
myMat=mat(myData)
print "standESt"
print recommend(myMat,2)
print "svdEst"
print recommend(myMat,2,3,cosSim,svdEst)