道路交通实时流量监控预测系统一些学习整理
道路交通实时流量监控预测系统
项目背景: 出行路线规划、交通部门对道路的规划与建设
涉及那些步骤: 并发采集数据(kafka)、实时数据处理(spark)、高效内存存储(redis)、建模实时预测(MLlib)、页面展示
具体的业务需求:代码编程中提取吧(基本就是走一遍全部流程而已,没什么特定的业务需求)
------主要就是预测某段时间某路段堵不堵的业务问题!
四个步骤:1.数据产生(模拟往kafka中写数据)、
2.数据实时收集处理并存入redis、
3.特征数据提取及模型建立(一脸萌?)
//读取数据(redis中)
//逻辑处理(滤波处理、构建特征因子)
//构建训练数据(根据特征因子)
//配置spark运行环境
//训练model(逻辑回归)
//测试
//获取评估值
4.模型预测 《spark MLlib,先涨姿势,有需要再深入研究》
//模拟卡口数据,时间和卡口
//读数据
//数据准备
//配置spark
//加载模型(读取之前构建保存的model)
//预测
//结果保存
cdh集成redis? ----》 集群中单独配置redis集群,然后配置zookeeper(搜spark整合redis?)
maven的pom.xml要添加redis的配置
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>3.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.3.2</version>
</dependency>
spark MLlib好像不需要配置? ----- hadoop mahout的就需要配置
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-mllib_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
- 道路交通实时流量监控预测系统
- 道路交通实时流量监控预测系统
- Spark企业级实战项目:道路交通实时流量监控预测系统
- Dude 4 beat3 组建网络拓扑、实时流量监控系统
- 基于 zigbee的城市道路路灯实时远程监控与节能系统
- 在redhat7.2下面安装iftop,监控系统网卡的实时流量
- Ntopng 网络流量实时监控系统搭建
- 计算广告学习笔记 4.4竞价广告系统-流量预测
- 计算广告学习笔记 4.4竞价广告系统-流量预测
- Dude 4 beat3 组建网络拓扑、实时流量监控系统
- 学习linux下elf文件的一些整理
- linux网络流量实时监控工具之iptraf
- 黑马程序员:交通灯管理系统学习
- 基于视频压缩的实时监控系统-A2:linux中最优秀的多路复用机制Epoll
- ubuntu16.04,.conkyrc实时监控系统资源动态,效果图与配置文件代码
- 如何在Linux上配置基于Web的网络流量监控系统
- Java写的手机计费系统(作为学习参考的实例:关键是Java类库里面的date和Calendar的使用和相互转换,以及一些日期的实际问题)
- 分享Linux系统如何学习的一些想法
- ava如何实现系统监控、系统信息收集、sigar开源API的学习(转)