10.算法实现,难道要学Map-Reduce
2018-02-12 16:30
141 查看
有了算法,当然要实现。第一个问题就是选择编程语言,考虑到后面有大规模的数据,可能要用多线程甚至集群来运行。
刚好实验室有一台40核80线程2T内存的大型服务器,其实多线程估计就能解决实验。(实验要用大规模数据证实效果,实际应用数据量不大,实时性优化只是锦上添花)
服务器是Linux的,所以选择一门能在Linux上多线程的语言就好,matlab的数学处理非常完善,可惜我了解不足,我去看看支持多线程不?
Map-Reduce肯定是大数据处理的首选,可惜我也没用过。这篇可以先弄个Map-Reduce的Hello World!
查了资料,matlab有一个并行计算工具箱,是不是还可以像深度学习一样干脆用GPU计算。既然matlab支持并行计算,就暂定matlab实现,遇到跳不过去的坎再说
几个基本函数已经定义好了,需要逐个实现。本来面向对象简单清晰的代码,放到matlab里好乱啊。虽然matlab提供了面向对象功能,但是看语法也知道实现的效率肯定不高,由于后面实验涉及性能对比及实时性优化。我还是老老实实看看怎么用面向过程简单清晰的表达出来吧。
一边计划一边修正,刚刚找到了用MLP模型BP算法做预测的文章,想先试试,算法如下
1.采集数据,预处理,按步长处理数据。
2.输入模型做训练,
3.用训练结果做预测
4.统计预测结果。
网络上应该有完整的BP算法代码,做的简单修改就能跑,我去试试。
跑通了博客中的实例,非常简单。
后补:bp算法解决多层前馈神经网络参数训练问题,属于机器学习算法。使用机器学习方法上面的算法就需要修正了。
参考: http://blog.csdn.net/hijack00/article/details/52227592 https://www.zhihu.com/question/37184061 http://blog.csdn.net/liyanzhong/article/details/53610176 http://blog.csdn.net/sinat_23137713/article/details/51136127 http://blog.sina.com.cn/s/blog_64b046c70101cko4.html http://blog.csdn.net/hqh45/article/details/42965481 http://blog.sina.com.cn/s/blog_5c9288aa0101gsu2.html
刚好实验室有一台40核80线程2T内存的大型服务器,其实多线程估计就能解决实验。(实验要用大规模数据证实效果,实际应用数据量不大,实时性优化只是锦上添花)
服务器是Linux的,所以选择一门能在Linux上多线程的语言就好,matlab的数学处理非常完善,可惜我了解不足,我去看看支持多线程不?
Map-Reduce肯定是大数据处理的首选,可惜我也没用过。这篇可以先弄个Map-Reduce的Hello World!
查了资料,matlab有一个并行计算工具箱,是不是还可以像深度学习一样干脆用GPU计算。既然matlab支持并行计算,就暂定matlab实现,遇到跳不过去的坎再说
几个基本函数已经定义好了,需要逐个实现。本来面向对象简单清晰的代码,放到matlab里好乱啊。虽然matlab提供了面向对象功能,但是看语法也知道实现的效率肯定不高,由于后面实验涉及性能对比及实时性优化。我还是老老实实看看怎么用面向过程简单清晰的表达出来吧。
一边计划一边修正,刚刚找到了用MLP模型BP算法做预测的文章,想先试试,算法如下
1.采集数据,预处理,按步长处理数据。
2.输入模型做训练,
3.用训练结果做预测
4.统计预测结果。
网络上应该有完整的BP算法代码,做的简单修改就能跑,我去试试。
跑通了博客中的实例,非常简单。
后补:bp算法解决多层前馈神经网络参数训练问题,属于机器学习算法。使用机器学习方法上面的算法就需要修正了。
参考: http://blog.csdn.net/hijack00/article/details/52227592 https://www.zhihu.com/question/37184061 http://blog.csdn.net/liyanzhong/article/details/53610176 http://blog.csdn.net/sinat_23137713/article/details/51136127 http://blog.sina.com.cn/s/blog_64b046c70101cko4.html http://blog.csdn.net/hqh45/article/details/42965481 http://blog.sina.com.cn/s/blog_5c9288aa0101gsu2.html
相关文章推荐
- Map-Reduce实现Join 算法(mapreduce侧连接 maponly 连接 map bloomfilter reduce连接) (join二)
- 蓝桥杯算法训练——最短路(map实现邻接表)
- PageRank算法概述及Map-Reduce实现
- 用C语言实现函数语言中的Map和Reduce操作
- JavaScript实现Map、Reduce和Filter
- Hadoop Map/Reduce编程模型实现海量数据处理—数字求和-Hadoop学习
- Hadooper-Map/Reduce编程模型实现海量数据处理—数字求和
- Python实现用Hadoop的map/reduce对web日志进行统计
- 基于Riak数据库的Map/Reduce实现
- Map实现之HashMap(性能及算法)
- HadoopMapReduce --Map-Reduce具体实现详解
- PageRank算法简介及Map-Reduce实现
- Map/Reduce实现表的自连接
- Python学习笔记——map和reduce实现str2float函数
- MAP/REDUCE:Google和Nutch实现异同及其他
- Map/Reduce中Join查询实现
- Python+Hadoop Streaming实现MapReduce(如何给map和reduce的脚本传递参数)
- 使用Hadoop中的map-reduce机制实现单词的计数
- Map/Reduce中Join查询实现
- 基于swoole的task功能实现程序内的map-reduce