机场位置用户识别案例分析 --基于SparkMLlib（K-Means）机器学习

机场位置用户识别案例分析

--基于SparkMLlib（K-Means）机器学习

（一）应用场景简介

网络信令中包含与用户位置相关的实时信息，在经营分析系统中引入网络信令数据，可通过分析客户位置规律，实现基于位置信息的区域业务统计分析。根据网络信令数据的实时特性，可准确地把握营销时机，为客户提供个性化的营销服务，从而提升精细营销服务能力。
Spark在机器学习方面具有得天独厚的优势，MLlib（Machine Learning lib）是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。Spark特别适合用于机器学习的一个原因是基于RDD导致的MLlib的易用性。因此Spark能更好地适用于数据挖掘与机器学习等需要迭代计算的场景。Spark 的 k-means 文本聚类并行化算法，利用 RDD编程模型充分满足了 k-means 频繁迭代运算的需求。
本篇文章试点应用利用SPARK的处理平台和技术，对移动网络信令进行实时采集和分析，从信令中分析在机场、医院等特定场景的用户，识别在机场出现的用户中，乘机外出的用户，为后续针对这部分用户进行营销和服务提供支撑。
在机场出现的用户，可以分为以下几类：
1、机场工作人员以及机场周围的居民
2、前往机场送行的人员、前往机场接机的人员
3、前往机场准备乘机外出的人员
4、乘机归来或外地前来的人员
5、出租车或其他交通运营人员
每种人员有不同的活动规律，系统从基站信令中获取用户的实时位置，通过分析用户位置的变化来对用户进行识别，找出在机场中第三类人员，针对这类人的出行需求进行营销和服务。
第三类人的活动的显著特点有：
1、 在机场位置出现前，在机场外不同位置连续出现
2、不考虑特殊情况，在机场出现的时间应该在10分钟以上，3小时以下
3、在机场出现后，当天没有在同一地市再次出现或在全省没有出现。

（二）机器学习算法简介

K-Means属于无监督学习，最大的特别和优势在于模型的建立不需要训练数据。在日常工作中，很多情况下没有办法事先获取到有效的训练数据，这时采用K-Means是一个不错的选择。K-Means需要预先设置有多少个簇类（K值）。

（三）模拟应用数据

针对以上场景分析，我使用KMeans算法来将数据聚类到5种类簇当中。所需的类簇个数会传递到算法中。然后将计算集内均方差总和，K-Means的核心思想，属于基于平方误差的迭代重分配聚类算法，其核心思想十分简单：
（1）随机选择K个中心点
（2）计算所有点到这K个中心点的距离，选择距离最近的中心点为其所在的簇
（3）简单地采用算术平均数(mean)来重新计算K个簇的中心
（4）重复步骤2和3，直至簇类不再发生变化或者达到最大迭代值
（5）输出结果
K-Means算法的结果好坏依赖于对初始聚类中心的选择，容易陷入局部最优解，对K值的选择没有准则可依循，对异常数据较为敏感，只能处理数据属性的数据，聚类结构可能不平衡。
应用数据模型：

（四）使用Scala编写MLlib中的K-Means案例代码

importorg.apache.log4j.{Level,
Logger}

import org.apache.spark.{SparkConf,
SparkContext}

import org.apache.spark.mllib.clustering.KMeans

import org.apache.spark.mllib.linalg.Vectors

object PortKMeansDemo {

def main(args: Array[String]):
Unit = {

//屏蔽不必要的日志显示在终端上

Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)

// 设置运行环境

val conf =
new SparkConf().setAppName("PortKMeansDemo").setMaster("local[4]")

val sc =
new SparkContext(conf)

//装载数据集

val data = sc.textFile("e:\\port.txt",
1)

val parsedData = data.map(s => Vectors.dense((s.split(","))(1).split('
').map(_.toDouble)))

//将数据集聚类，5个类，20次迭代，形成数据模型

val numClusters =
5

val numIterations =
20

val model = KMeans.train(parsedData,
numClusters,
numIterations)

//数据模型的中心点

println("Cluster centers:")

for (c <- model.clusterCenters) {

println(" " + c.toString)

}

//使用误差平方之和来评估数据模型

val cost = model.computeCost(parsedData)

println("Within Set Sum of Squared Errors ="
+ cost)

//交叉评估2，返回数据集和结果

val result2 = data.map {

line =>

val linevectore = Vectors.dense((line.split(","))(1).split('
').map(_.toDouble))

val prediction = model.predict(linevectore)

line + " " + prediction

}.foreach(println) //.saveAsTextFile("e:\\result")

sc.stop()

}

}

模型训练结果：



最后保存结果：

最后一列代表聚簇 0：代表接送人员 1：机场工作人员 2：出租车司机 3：坐飞机回来人员 4：坐飞机离开人员

（五）结束语

机器学习应用的构建是一个复杂的过程，通常还需要对数据进行预处理，然后特征提取以及数据清洗等，然后才能利用算法来分析数据。由于数据量有限，而且人为捏造数据，故意模型化训练集，与真实环境数据比存在一定偏差，还需要通过海量数据机器学习，得到最优模型。本文也只是初探式的方式解决目前的一些应用场景问题，但效果未必准确有效，毕竟移动信令数据是非常庞大而很难找到较高的模型数据。只是提供了一种解决方案，如果遇到问题或者发现不足之处，请不吝赐教，留言，共同交流学习，谢谢。