大数据架构师技能图谱

一、大数据通用处理平台

Spark
Flink
Hadoop

二、分布式存储

HDFS

三、资源调度

Yarn

Mesos

四、机器学习工具

Mahout
Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微软分布式机器学习工具)

五、数据分析/数据仓库(SQL类)
Pig
Hive
kylin
Spark SQL,
Spark DataFrame
Impala
Phoenix
ELK

8.1 ElasticSearch

8.2 Logstash

8.3 Kibana

六、消息队列
Kafka(纯日志类，大吞吐量)
RocketMQ
ZeroMQ
ActiveMQ
RabbitMQ

七、流式计算
Storm/JStorm
Spark Streaming
Flink

八、日志收集

Scribe

Flume

九、编程语言
Java
Python
R
Ruby
Scala

十、数据分析挖掘

MATLAB

SPSS

SAS

十一、数据可视化
R
D3.js
ECharts
Excle
Python

十二、机器学习

机器学习基础
聚类
时间序列
推荐系统
回归分析
文本挖掘
决策树
支持向量机
贝叶斯分类
神经网络

机器学习工具
Mahout
Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微软分布式机器学习工具)

十三、算法

一致性
paxos
raft
gossip

数据结构
栈，队列，链表
散列表
二叉树，红黑树，B树
图

常用算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

十四、云计算

云服务
SaaS
PaaS
IaaS
Openstack
Docker

End.

转自：http://www.36dsj.com/archives/4520