R数据挖掘技术-基于R语言的数据挖掘和统计分析技术

培训要点

互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据分析的决策模型和技术支持。

目前对大数据的分析工具，有Hadoop/Yarn上基于Java语言的Mahout，有Spark上基于Scala的MLlib，但这些工具都由于比较年轻以及侧重于计算背景的分布式，与传统的行业应用联系还不是太紧密，在传统行业中应用，至少目前效果和影响还有待提高。

R语言是一个数据分析和图形显示的程序设计环境，广泛用于统计分析、绘图的语言和操作。同时R也是一个用于统计计算和统计制图的优秀工具，也是GNU的一个自由、免费、源代码开放的软件。R包括一套完整的数据处理、计算和制图软件系统。其功能包括：数据存储和处理系统；数组运算工具（其向量、矩阵运算方面功能尤其强大）；完整连贯的统计分析工具；优秀的统计制图功能；简便而强大的编程语言：可操纵数据的输入和输入，可实现分支、循环，用户可自定义功能。

事实上，R是目前广大企业通用的数据挖掘与统计分析工具，为此Spark等大数据平台从2014年就开始在SparkR等技术中，将R引入到大数据统计分析中，未来形成以R语言为代表的SparkR， 以类SQL为代表的SparkQL，以及Hive on Tez三足鼎立的大数据统计分析工具和平台。

本课程从R语言数据挖掘和统计分析实战的角度，结合理论和实践，全方位地介绍R这一高性能数据分析工具的开发技巧。本课程涉及的主题包括：本培训将介绍基于R语言进行数据处理、数据探索的基本方法，利用R语言实现模型选择、Logistic回归及决策树算法，以及贝叶斯算法及支持向量机、神经网络等算法原理及实现进行讲解。

本课程教学过程中还从国内外经典R语言教材和应用中，提取了大量的案例分析来帮助学员了解如何用R系列工具来解决数据统计分析的具体问题，并介绍了从数据中挖掘出有价值的信息的关键。

本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动R相关的项目开发上升到一个新水平。

 

培训内容

第一讲数据挖掘和R简介

1.1 数据挖掘

1.2 R语言

1.3 Iris数据集

1.4Bodyfat数据集

第二讲数据的导入与导出

2.1 R数据的保存与加载

2.2 CSV文件的导入与导出

2.3 通过ODBC从数据库中读取数据

2.4 从Excel中导入与导出数据

第三讲数据可视化展现

3.1 查看数据

3.2 单个变量展现

3.3 多个变量展现

3.4 更多探索

3.5 将图表保存到文件中

第四讲决策树与随机森林

4.1 使用party包构建决策树

4.2 使用rpart包构建决策树

4.3 随机森林

第五讲回归分析

5.1 线性回归

5.2 逻辑回归

5.3 广义线性回归

5.4 非线性回归

第六讲聚类分析

6.1 k-means聚类

6.2 k-medoids聚类

6.3 层次聚类

6.4 基于密度的聚类

第七讲离群点检测

7.1 单变量的离群点检测

7.2 局部离群点因子检测

7.3 用聚类方法进行离群点检测

7.4 时间序列数据的离群点检测

第八讲时间序列分析

8.1 R中的时间序列数据

8.2 时间序列分解

8.3 时间序列预测

8.4 时间序列聚类

8.5 时间序列分类

第九讲关联规则

9.1 关联规则的基本概念

9.2 Titanic数据集

9.3 关联规则挖掘

9.4 消除冗余

9.5 解释规则

9.6 关联规则的可视化

第十讲社交网络分析

10.1 词项网络

10.2 推文网络

10.3 双模式网络

第十一讲 R与Hadoop/Spark等大数据技术的融合

   1）R/Hadoop数据处理技术介绍

   2）SparkR数据处理技术介绍

   3）基于Hadoop/Yarn集群的应用展望

 

培训目标

1，全面了解R语言数据挖掘的相关知识。

2，学习R的数据挖掘核心技术方法以及应用特征。

3，深入使用R在数据挖掘和分析中的使用。

4，了解R与Hadoop、Spark等技术的融合使用。