大数据-基于Spark的机器学习-智能客户系统项目实战
2018-03-06 10:48
721 查看
大数据-基于Spark的机器学习-智能客户系统项目实战
网盘地址:https://pan.baidu.com/s/1hch_-LwdUG5VwEl7pJDMcQ 密码: jdx8
备用地址(腾讯微云):https://share.weiyun.com/90d4d9196a9d86c74aabe8df78cdc624 密码:uq2q3w
项目背景:
1、现在很多平台客户关系管理系统都是使用传统的CRM,所有的信息全靠手工录入,用户寻找上下游企业或者信息只能靠手工去查找并且标注。
2、大数据时代的到来,人工智能,云计算,先进的分析,用机器去替代人工的部分,从 2016 年趋势看,机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。
因此我们对CRM进行了改造,主要有如下部分:
1、企业信息、商品信息来自互联网,机器学习去自动统计分析并且分类。
2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
3、机器学习自动计算企业和供求信息上下游。
4、机器学习每隔一段时间自动去优化计算模型。
整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase,然后通过ETL工具初步转化筛选将数据存到mongodb,抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习,前端采用React Native,Native,后端采用Dubbo+Spring+java,机器学习采用Spark进行实现,本项目机器学习-spark代码运行在mesos上。
网盘地址:https://pan.baidu.com/s/1hch_-LwdUG5VwEl7pJDMcQ 密码: jdx8
备用地址(腾讯微云):https://share.weiyun.com/90d4d9196a9d86c74aabe8df78cdc624 密码:uq2q3w
项目背景:
1、现在很多平台客户关系管理系统都是使用传统的CRM,所有的信息全靠手工录入,用户寻找上下游企业或者信息只能靠手工去查找并且标注。
2、大数据时代的到来,人工智能,云计算,先进的分析,用机器去替代人工的部分,从 2016 年趋势看,机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。
因此我们对CRM进行了改造,主要有如下部分:
1、企业信息、商品信息来自互联网,机器学习去自动统计分析并且分类。
2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
3、机器学习自动计算企业和供求信息上下游。
4、机器学习每隔一段时间自动去优化计算模型。
整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase,然后通过ETL工具初步转化筛选将数据存到mongodb,抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习,前端采用React Native,Native,后端采用Dubbo+Spring+java,机器学习采用Spark进行实现,本项目机器学习-spark代码运行在mesos上。
相关文章推荐
- 2017年8月大数据-基于Spark的机器学习-智能客户系统项目实战
- 大数据Spark“蘑菇云”项目实战第63课: 广告点击系统高可用性和性能优化 checkpoint wal driver高可用 并行度配置
- 大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程
- 大数据Spark “蘑菇云”行动第71课: 基于Spark 2.0.1项目开发分析与实战
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)
- 下载大数据实战课程第二季基于Python机器学习、项目案例实战
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)
- 大数据Spark “蘑菇云”行动第72课: 基于Spark 2.0.1项目实现之二. 实战 各种小bug修复及性能调优 200并行度调整为2个task
- JSP小项目实战---客户信息管理系统
- 实战智能推荐系统(7)-- 基于用户的协同过滤算法
- 实战智能推荐系统(7)-- 基于用户的协同过滤算法
- 实战智能推荐系统(8)-- 基于物品的协同过滤算法
- java项目实战-超市管理系统(七)如何导入数据到数据库?Dao包源码与分析
- Spark 2.0大型项目实战:移动电商app交互式数据分析平台(大数据高端课程) 下载
- ##公司合作项目--基于质差指标筛选结果的 spark-sql 查询系统Demo
- 实战智能推荐系统(7)-- 基于用户的协同过滤算法
- 实战智能推荐系统(7)-- 基于用户的协同过滤算法
- 实战智能推荐系统(8)-- 基于物品的协同过滤算法
- 基于ASP.NET WPF技术及MVP模式实战太平人寿客户管理项目开发视频教程