0051 大数据架构师技能图谱

大数据通用处理平台

Spark
Flink
Hadoop
分布式存储

HDFS

资源调度

Yarn

Mesos

机器学习工具

Mahout

Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

Pig
Hive
kylin
Spark SQL,
Spark DataFrame
Impala
Phoenix
ELK
8.1 ElasticSearch

8.2Logstash

8.3Kibana

消息队列

Kafka(纯日志类，大吞吐量)
RocketMQ
ZeroMQ
ActiveMQ
RabbitMQ
流式计算

Storm/JStorm
Spark Streaming
Flink
日志收集

Scribe

Flume

编程语言

Java
Python
R
Ruby
Scala
数据分析挖掘

MATLAB

SPSS

SAS

数据可视化

R
D3.js
ECharts
Excle
Python

机器学习

机器学习基础

聚类
时间序列
推荐系统
回归分析
文本挖掘
决策树
支持向量机
贝叶斯分类
神经网络
机器学习工具

Mahout
Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微软分布式机器学习工具)

算法

一致性

paxos
raft
gossip
数据结构

栈，队列，链表
散列表
二叉树，红黑树，B树
图

常用算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

云计算

云服务

SaaS
PaaS
IaaS
Openstack
Docker、
转自：http://www.ha97.com/5734.html?utm_source=tuicool&utm_medium=referral