如何构建大数据层级体系，看这一文章就够了

点击查看全文

我先介绍一下自己：

我之前是网易的，负责整个后台，主要是网易新闻。有三亿多的用户量，这么大量的用户肯定会有很多的数据，这些数据怎么去处理、呈现、规划，让它场景化。这就是我之前所做的工作。

今天结合我自己的工作和参考一些人资料做了一些汇总，分享给大家：

下图是我之前做过的东西



第一个是银河统计系统，这是我在网易负责的一个大数据的一个统计系统。不仅是能够统计网易新闻每天的安装量、使用次数，同时也接入了十几个网易研发的产品，做这一套系统是当时比较大的收获。

第二个是网易内容发布，也就是CMS。大家在网易新闻上看到的所有内容都是从这个系统发出。当时运营、编辑给我们的提议就是我们不仅要发的准，也要让大家能够看到最及时的信息，而且要快。所以这一块也是需要一定的数据挖掘和数据处理。

第三个红演圈App。负责整个产品的前端到后端，担任产品总监这样一个职位。

这一次分享的目的是让不同角色的人了解大数据时代用过什么，怎么做。

分享大纲

我个人把公司的创建大数据体系分成6大类，从低到高是逐渐升华的过程，接下来我会介绍每一层级怎么去做，怎么去建立大数据体系。

这是我的分享大纲



第一层，要有基础的平台；

第二层，有了数据之后我们怎么去呈现；

第三层，呈现出数据之后怎么群用；

第四层，在用的过程中怎么分门别类的去细化；

第五层，怎么将我们使用的东西推广到外面去，让别人也可以用；

第六层，也就是公司高层战略决策要用到的。

一、数据基础平台

首先，最基础的数据采集平台，这一块会牵扯到一些技术方面的内容。对于概要的内容大家有一点印象就可以。

其实大家不用知道每一块的含义是什么，如果你想知道的话可以自己去百度。我这里主要讲的是你要有数据采集，数据存储，之后怎么去处理，然后怎么去使用数据，最终让我们搜集的数据和运营出来的数据达到一个循环。

无论阿里也好腾讯也好，最底层的也是使用的这个架构。采集-->存储-->分析--->呈现

这个是腾讯的数据平台



下面是我14年收集的数据，什么叫大数据，从数据的量上就是很大。



接下来是阿里这一块。





阿里和百度有一点不同在于他所需要用到的东西指向商户，包括各种各样的小商家。

所以对于阿里来说，他对数据的应用会更细，偏向于电商领域。阿里数据数量级也是很大的。

接下来是数据基础平台的变迁



过去：

我们只是简单的跑一下技术报表，会一些搜索语句，导出来之后使用办公软件处理。这是最早的处理方法，简单，但是数据存储的成本很高。

现在：

更多的是会用到一些计算，把实体资源虚拟化成数据。

未来：

智能化的数据处理方式，更快、更完善。总之随着技术变迁，数据处理这一块也会不断的发展。

二、数据报表与可视化

这里先给大家一些例子，首先是阿里。



针对数据存储的可视化的界面。

优点：

数据平台结构很清晰，用各种不同的图表去呈现现在的数据资源的存量以及数据变化的情况；其次是个人与数的据关系明确，你可以看到自己所负责的数据处理的一个情况。

缺点：

数据报表太多了，看不过来。其次就是平台访问量不高。

这是阿里数据可视化的一个呈现。具体记录各个表的存储量有多少。



更细一点的话不仅是告诉大家存储的量有多大还要说明具体关系是什么。当我在查询的一个关键词的时候都可以呈现各个表之前的关系，适合于特别大量的数据存储。

再继续，这是针对他每一个表的详细介绍。



下面来说说腾讯

腾讯会把自己的系统分为不同的平台。不同的平台会有不同的用处。



从表中可以看到腾讯对数据重视度很高。他们的数据平台相对于阿里来说简单一些。

接下来说一说第三方的数据平台



如果有不清楚的话大家可以去查一下，一些大公司的话也会去做一些开放的数据平台，比如腾讯云分析、百度统计。阿里无线数独已经关掉了，无论大的平台还是小的都对数据的重视度很高。

三、产品运营与分析

接下来通过可视化的数据运用起来。在这里只是对这一部分工作做一些介绍，点到为止。



现在一般我们运营，包括产品所做的工作都要对用户行为进行分析，通过不同的呈现方式得出不同的点击量来决策我们应该使用哪一种方案。

接下来是漏斗模型。就是走一个流程，从开始到最后用户流失的一个情况，以此来评价我们做的方案决策是否合适。

第三是收入效果的监控分析，主要是付费转化率、渠道效果数据。这会使用在和第三方的合作上，需要检测这个钱在花出去之后有没有用。

第四是业务长期健康分析。从用户流动模型、产品生命周期分析产品成长性和健康性。

最后一个是营销推广的一个实时反馈。运营的同学实在熟悉不过了。我们举办一个活动，最后我们要统计出来这个活动具体带来了多少用户，多少注册量。

接下来介绍一下怎么进行数据分析。



举一个例子，在我们做了一个新功能，怎么去验证这个功能是否合理？

事前要预测好，这个东西在上线之后会带来多少的用户，事先要有一个大概的预估。

事中，需要做到的是采集哪些数据，收集数据。比如检测一个点击按钮，用户点击了多少次，有多少用户点击了。如果检测的点多了就要用到用户的行为分析，通过用户点击的一系类的点，我们大概猜出来用户要实现什么样的功能。

最后，收集了数据之后，我们就要进行分析。用户在什么时候点击了多少次，消耗了多少的流量。通过分析我们有没有得到什么结论，包括用户是不是健康，数据是否安全，流程是否好的。这就是数据收集到之后我们要想的一些问题。

下面是YY的例子



不同的按钮，显示不同的名字可能会有多少人去点击。这个可以在web端和PC端可以很好的去实现。

漏斗模型



如果我们要做漏斗模型的话就要标识出要在哪一个部分得到一个怎么样的数据，对不同的阶段做不同的数据分析。千万不要从漏斗的点到漏斗的顶去分析，这是没有意义的。

用户的运营模型



将我们的数据模型化，通过一定的维度将用户拆分。什么样的数据属于什么样的用户。要将这些数据用来指导我们将来的工作。

这个是腾讯的用户模型分析

点击查看全文