推荐系统ALS矩阵分解

思想类似线性回归做预测，大致如下
定义一个预测模型（数学公式），
然后确定一个损失函数，
将已有数据作为训练集，
不断迭代来最小化损失函数的值，
最终确定参数，把参数套到预测模型中做预测。
 

矩阵分解的预测模型是：



损失函数是：



我们就是要最小化损失函数，从而求得参数q和p。

 
矩阵分解模型的物理意义



我们希望学习到一个P代表user的特征，Q代表item的特征。特征的每一个维度代表一个隐性因子，比如对电影来说，这些隐性因子可能是导演，演员等。当然，这些隐性因子是机器学习到的，具体是什么含义我们不确定。
学习到P和Q之后，我们就可以直接P乘以Q就可以预测所有user对item的评分了。

讲完矩阵分解推荐模型，下面到als了（全称Alternatingleast squares）。其实als就是上面损失函数最小化的一个求解方法，当然还有其他方法比如SGD等。
als论文中的损失函数是（跟上面那个稍微有点不同）



每次迭代，
         固定M，逐个更新每个user的特征u(对u求偏导，令偏导为0求解)。
         固定U，逐个更新每个item的特征m(对m求偏导，令偏导为0求解)。
论文中是这样推导的



这是每次迭代求u的公式。求m的类似。
 
为了更清晰的理解，这里结合spark的als代码讲解。
spark源码中实现als有三个版本，一个是LocalALS.scala（没有用spark），一个是SparkALS.scala（用了spark做并行优化），一个是mllib中的ALS。
 
本来LocalALS.scala和SparkALS.scala这个两个实现是官方为了开发者学习使用spark展示的，
mllib中的ALS可以用于实际的推荐。
但是mllib中的ALS做了很多优化，不适合初学者研究来理解als算法。
因此，下面我拿LocalALS.scala和SparkALS.scala来讲解als算法。
 
LocalALS.scala

// Iteratively update movies then users
for (iter <- 1 to ITERATIONS) {
println(s"Iteration $iter:")
ms = (0 until M).map(i => updateMovie(i, ms(i), us, R)).toArray  //固定用户,逐个更新所有电影的特征
us = (0 until U).map(j => updateUser(j, us(j), ms, R)).toArray   //固定电影,逐个更新所有用户的特征
println("RMSE = " + rmse(R, ms, us))
println()
}

//更新第j个user的特征向量
def updateUser(j: Int, u: RealVector, ms: Array[RealVector], R: RealMatrix) : RealVector = {
var XtX: RealMatrix = new Array2DRowRealMatrix(F, F) //F是隐性因子的数量
var Xty: RealVector = new ArrayRealVector(F)
// For each movie that the user rated 遍历该user评分过的movie.显然,这里默认该用户评分过所有电影,所以是0-M.实际应用求解,只需要遍历该用户评分过的电影.
for (i <- 0 until M) {
val m = ms(i)
// Add m * m^t to XtX 外积后 累加到XtX
XtX = XtX.add(m.outerProduct(m)) //向量与向量的外积:一个当作列向量,一个当作行向量,做矩阵乘法,结果是一个矩阵
// Add m * rating to Xty
Xty = Xty.add(m.mapMultiply(R.getEntry(i, j)))
}
// Add regularization coefficients to diagonal terms
for (d <- 0 until F) {
XtX.addToEntry(d, d, LAMBDA * M)
}
// Solve it with Cholesky 其实是解一个A*x=b的方程
new CholeskyDecomposition(XtX).getSolver.solve(Xty)
}

再结合论文中的公式



其实代码中的XtX就是公式中左边红圈的部分，Xty就是右边红圈的部分。
同理，更新每个电影的特征m类似，这里不再重复。

SparkALS.scala

for (iter <- 1 to ITERATIONS) {
println(s"Iteration $iter:")
ms = sc.parallelize(0 until M, slices)
.map(i => update(i, msb.value(i), usb.value, Rc.value))
.collect()
msb = sc.broadcast(ms) // Re-broadcast ms because it was updated
us = sc.parallelize(0 until U, slices)
.map(i => update(i, usb.value(i), msb.value, Rc.value.transpose()))
.collect()
usb = sc.broadcast(us) // Re-broadcast us because it was updated
println("RMSE = " + rmse(R, ms, us))
println()
}

SparkALS版本相对于LocalALS的亮点时，做了并行优化。LocalALS中，每个user的特征是串行更新的。而SparkALS中，是并行更新的。
 
 
参考资料：
《Large-scale Parallel Collaborative Filtering for the Netflix Prize》（als-wr原论文）
《Matrix Factorization Techniques for Recommender Systems》（矩阵分解模型的好材料）
https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/LocalALS.scala
https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/SparkALS.scala