程序员必备的「大数据入门」知识

把这个文件切开几份，存到不同的硬盘中

比如我有1个TB的文件，我把它切分成5份，每份200G，存到不同的服务器中。

如果是普通的用户，肯定选择的是多买一块硬盘，升级硬件啊。但是互联网公司就不这样干，他们就选择将一个文件切分成几份，放到不同的服务器中。为什么？

1. 顶级的电脑硬件成本很大。(单台计算机性能到一定的量上，再升级的成本就非常高)
2. 单单一台顶级的电脑可能也无法处理掉这么大量的数据

综上所述，目前互联网企业中都是选择水平伸缩在一个系统中添加计算机来满足不断增长的用户量和支撑数据的平稳运行。

1.2 解决存储问题

随着数据量越来越大，在一台机器上已经无法存储所有的数据了，那我们会将这些数据分配到不同的机器来进行存储，但是这就带来一个问题：不方便管理和维护

所以，我们就希望有一个系统可以将这些分布在不同操作服务器上的数据进行统一管理，这就有了分布式文件系统

• HDFS是分布式文件系统的其中一种（目前用得最广泛的一种）

在使用HDFS的时候是非常简单的：虽然HDFS是将文件存储到不同的机器上，但是我去使用的时候是把这些文件当做是存储在一台机器的方式去使用（背后却是多台机器在执行）：

• 好比：我调用了一个RPC接口，我给他参数，他返回一个response给我。RPC接口做了什么事其实我都不知道的（可能这个RPC接口又调了其他的RPC接口）-----屏蔽掉实现细节，对用户友好

1.3 解决计算问题

上面我们使用HDFS作为分布式文件系统，已经可以把数据存到不同的机器上(或者在不同的机器上读取到数据)。可以通过简单命令行的方式对文件的简单的存取。

现在呢，由于数据量是非常大的，分散到不同的机器上。我们想要对数据进行处理，我们肯定会有一段写好的程序。处理的方式有两种：

• 将数据传递给程序（机器A/B/C的数据传给机器D程序来执行）
• 程序到数据所在的地方执行（将程序分别到机器A/B/C上执行）

选哪个？我们一般会采用”程序到数据所在的地方执行“，因为在大数据里边我们的数据量很大，如果要把

机器A/B/C

机器D

• 数据量很大，通过网络传输大数据到某一台机器上做操作，不合适。
• 机器D只有一台机器，处理的效率低下。

所以我们会将程序分别放到

机器A/B/C

机器A/B/C

「将数据传递给程序」这种就是所谓的“移动存储到计算”，而「程序到数据所在的地方执行」这种就是所谓的“移动计算到存储的观念”。

在大数据的领域里， 移动计算比移动数据更划算。MapReduce就是这样干的：

• 每台机器执行任务的时候去检查自己有没有相应的程序，如果没有则通过网络下载程序包，然后通过反射来加载程序

二、大数据没有想象中神秘

在刚听到「大数据」这个词的时候，可能有的人会想问：所谓大数据，那数据是从哪里来的呢？

简单来说可以归类为三类：

• 日志
• 数据库
• 爬虫

1、 爬虫应该很好理解，就是通过网络爬虫获取外部数据，将这些数据自己存储起来。很多的比价网站就是爬取各种电商网站的数据，然后比较各个网站的数据后得到结果。本身它们网站本身是没有这个数据的，这个数据是从别人那爬过来的。

2、数据库本来就已经存储了我们的数据，而我们要做的只是把数据库的数据导入我们的大数据平台那儿，让数据能够得到更好的分析。

3、日志这块其实我更多想说的是打点（埋点）这块。有的人会把这埋点和日志的概念分开，只是我把它给合在一起叫「日志」。日志有用户行为日志（埋点），也有系统的运行产生的日志。用户行为日志这块说白了就是：从你进去某个APP的一刻开启。几乎你所有的操作都会被记录下来（点了某个tag、在某个tag停顿了多少秒）。猜你喜欢这类的系统就是根据你以往行为来对进行推荐。

好了，现在我们有不同的地方收集到数据，我们要最终要做的就是把这个数据汇总到一起来进行存储和分析。

于是我们就需要将日志、数据库、爬虫这些不同数据源的数据导入到我们的集群中（这个集群就是上面提到的，分布式文件系统（HDFS），分布式计算系统）。

由于数据源的不同，所以会有多种的工具对数据进行导入。比如将日志的数据收集我们会有Flume，从数据库同步我们会有Sqoop。这也就是所谓的ETL（萃取「extract」、转置「transform」、加载「load」）

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

（注：不要被上面的Sqoop、Flume 这样的名词给吓着了，其实就是现有的成熟的框架技术）

我们把所有的数据收集起来，把这个存储数据的地方叫做数据仓库。基于数据仓库我们统计能各种的指标，基于这些指标可以指导我们是否要做一个需求或决策。

比如说：现在我们要对APP的首页改版了，但不知道用户是否能接受这次的改版。于是我们就可以先对一少部分的用户做实验（这一部分的用户看到的是改版后的首页)，我们根据这一部分用户的行为来判断这一次的改版是否有比较好的效果。

• 用户的行为我们都有收集起来。只要将实验用户关联到对应的指标，与现有的指标做一次对比，我们大概就知道这次改版是否真的合理。

这种拿一部分流量做实验，我们也称这种做法为「ABTest」，如果对ABTest感兴趣的同学可以在我的GitHub下搜索关键字「ABTest」来阅读具体的文章哦~

最后

这篇文章简单的说了一下所谓的「大数据」中的数据是从哪里来的，由于数据量很大，所以我们要解决数据的存储和计算的问题。

基于存储和计算问题我们业内就提供了很多现成的技术实现了，下面图中的技术每一种类型我后续都会讲解到，可以关注我，不迷路哦。

参考资料：《从0开始学大数据》–李智慧

• 点赞
• 收藏
• 分享
• 文章举报