大数据中的flume你了解多少?其概念和特点你知道吗?
对于大数据所包含的概念,相信很多人都无法忽略flume,但对于这个大数据中的必不可少的项目,你了解多少呢?关于flume中的概念和特点你知道多少呢?
首先:我们先来了解flume的概念
flume是分布式的日志收集系统,把收集来的数据传送到目的地去。flume里面有个核心概念,叫做agent。agent是一个java进程,运行在日志收集节点。而agent里面包含3个核心组件:source、channel、sink。这些组成部分的集合就组成了完整的flume概念。
其次:flume的功能
Flume的出现还是让数据处理更加的便捷,所以flume的功能就体现在其支持在日志系统中定制各类数据发送方,用于收集数据,另外,Flume 提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。这两大功能,决定了flume有巨大的应用场景。
再次:我们来了解flume的特点(其特点可以分为5个)
1、Flume 可以高效率的将多个网站服务器中收集的日志信息存入 HDFS/HBase 中。
2、使用 Flume,我们可以将从多个服务器中获取的数据迅速的移交给 Hadoop 中。
3、支持各种接入资源数据的类型以及接出数据类型。
4、支持多路径流量,多管道接入流量,多管道接出流量,上下文路由等。
5、可以被水平扩展。
最后:flume的应用场景
比如我们在做一个电子商务网站,然后我们想从消费用户中访问点特定的节点区域来分析消费者的行为戒者购买意图。这样我们就可以更加快速的将他想要的推送到界面上,实现这一点,我们需要将获取到的她访问的页面以及点击的产品数据等日志数据信息收集幵移交给Hadoop平台上去分析。而Flume正是帮我们做到这一点。现在流行的内容推送,比如广告定点投放以及新闻私人定制也是基于次,丌过丌一定是使用FLume,毕竟优秀的产品很多,比如facebook的Scribe,还有Apache新出的另一个明星项目chukwa,还有淘宝Time Tunnel。
Flume作为大数据的一个重要组成部分,在世界500千企业中,乃至在很多小企业中都扮演着重要的角色,因此,无论是企业还是个人,对于flume的了解都应该成为一种必须。
随着大数据发展速度的不断加快,其影响力在不断的上升,相信在未来数据驱动一切的时代,各个行业对于大数据的应用必将越来越深刻,相信,关于大数据中的flume等概念一定会达到更多的重视和关注度。
阅读更多- PPT:大数据时代的设计特点——不了解这个你做不了今天的设计
- 你对于java大数据开源工具了解多少,有哪几种是最适合大数据开发
- 了解Linq之前需要知道的一些概念
- Flume 概念和流程初步了解
- 了解交换机、路由器、网关的概念,并知道各自的用途
- 了解智能家居的概念后 你就会知道它有多么美好
- 大数据时代,关于大数据你知道多少?
- 余额宝您了解吗? 余额宝利息有多少您知道吗?
- 关于 Mesos,你知道多少?13 个问题带你深入了解 Mesos
- sprintf,你知道多少?
- 程序员收入之最--Erlang语言,你了解多少?
- Spring中的@Transactional必须要了解的概念
- 关系你一生的“五险一金”你知道多少?
- NT/XP 下如何知道系统从一开始起动总共运行了多少进程?
- 你知道香港首富李嘉诚对地震灾区捐款额是多少吗?
- div+css 你知道多少?值得一看
- 初一到十五的过年习俗,你知道多少
- oracle体系结构必须先了解的两个基本的概念
- 你真的知道一个HTML及资源是如何load的吗(了解各个部分是何时下载和执行的)