大数据主要学什么,学习大数据你要会什么
2018-06-08 23:24
246 查看
版权声明:看到这里啦^_^有意见?评论一下可好^_^对你有用?点个赞可好^_^,欢迎转载,转载请标明出处 https://blog.csdn.net/qq_38314823/article/details/80628981
- 学习大数据需要的基础
1、java SE、EE(SSM) 90%的大数据框架都是Java写的 2、MySQL SQL on Hadoop 3、Linux 大数据的框架安装在Linux操作系统上
- 需要学什么
大数据离线分析 一般处理T+1数据(T:可能是1天、一周、一个月、一年) a、Hadoop :一般不选用最新版本,踩坑难解决 (common、HDES、MapReduce、YARN) 环境搭建、处理数据的思想 b、Hive:大数据的数据仓库 通过写SQL对数据进行操作,类似于MySQL数据库的sql c、HBase:基于HDFS的NOSQL数据库 面向列存储 d、协作框架: sqoop(桥梁:HDFS《==》RDBMS) flume:搜集日志文件中的信息 e、调度框架 anzkaban 了解:crotab(Linux自带) zeus(Alibaba) Oozie(cloudera) f、前沿框架扩展: kylin、impala、ElasticSearch(ES) 大数据实时分析 以spark框架为主 Scala:OOP(面向对象程序设计)+FP(函数是程序设计) sparkCore:类比MapReduce sparkSQL:类比hive sparkStreaming:实时数据处理 kafka:消息队列 前沿框架扩展:flink 阿里巴巴:blink 大数据机器学习 spark MLlib:机器学习库 pyspark编程:Python和spark的结合 推荐系统 python数据分析 python机器学习阅读更多
相关文章推荐
- 大数据主要应用于哪些行业,应用价值是什么?
- 新春钜献 | 数据科学中文速查表Hacksheet强势助攻你的大数据学习
- 大数据时代,你还为数据单位,而困惑么? 计算机存储单位:Byte、KB、MB、GB、TB、PB、EB分别叫什么?他们的进率是多少?
- 【学习】大数据是什么
- 大数据学习笔记之2~大数据特征
- HDFS源码学习(1)——NameNode主要数据结构
- 大数据是什么?学习大数据有什么要求?
- sql server 里面的主要数据文件和次要数据文件有什么区别呢
- 大数据学习一般都学什么
- 想做数据科学家/工程师?从零开始系统规划大数据学习之路
- java学习7:银行存取款的例子,主要涉及对象同步问题,类似于数据库存取款,数据一致性问题
- 什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析?<一>
- 写给大数据初学者,从零开始学习大数据开发的完整学习路线
- 《Data Mining》学习——可以挖掘什么类型的数据?
- 大数据告诉你:2018年该学习什么技术
- 什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析?<二>
- 加米谷:大数据分析挖掘培训课程,数据分析挖掘应该从哪里开始学习