大数据，数据从哪里来？

0、题记

之前自己也做过一个大数据方面的讲座，讲解大数据背景、大数据原理、Hadoop（MapReduce、HDFS、分布式）、NoSql非关系型数据库存储、大数据应用（微博来源追踪、微信jiankong等）。诚然，大型互联网公司早已很早布局云计算、使用大数据。

而中、小企业在大数据的浪潮下，也想分得一碗羹，这就遇到棘手的源头问题：大数据，数据从哪里来？

上下班路上，听过3期东方卫视《头脑风暴》，辩论大数据时代到底有没有到来。企业家站在各自的角度侃侃而谈。大致观点如下：

1）在某些领域，大数据已经切入并得到长足的应用：如打车、网购推荐等。

2）而在一些传统生产领域，数据的搜集、整理、存储都是问题，中、小企业工业4.0还远远没有普及实现。

一句话：大数据两级分化非常严重。

1、项目带来的思考——数据从哪里来？

最近项目可能需要实现类似天眼查的应用，详见官网：http://www.tianyancha.com/

天眼查是搜集网络资料的时候，从知乎偶然搜集到的。是目前为止：不用注册，就能查询想要的企业注册信息（非常快捷、个人观点）。

而我们也想得到企业数据信息，这就面临：数据从哪里来？

思路1：花钱买。

Google一搜一大把。都号称自己拥有全国的数据，良莠不齐。（技术人员鄙视的行为但确实是技术人员干出的活，非技术人员去销售）。

因此，该思路不可行。

思路2： 从工商局网站登记信息爬取，确保数据大而全（完整、真实）。

而工商网站目前支持：

1）企业名称全局检索；

2）企业组织代码全局输入检索；

难点：

1）每次输入都需要验证码验证。难点系数大。

2）不同省都是不同团队开发，验证码不同，网页结构不同。要解析网页需要不同的解析匹配规则。

3）需要结合注册码特点、分析并找到规律，构造出机构码。

网上分析可知，只有有限的几位有规律。

从已有的网上资源分析得知，中间8位左右是没有任何规律的。

这就造成：构造出来的范围会非常大，实际命中率低于万分之一，效率非常低。

思路3：网上爬取企业名称。

难点：

1）没有任何一家网站能覆盖全所有企业信息，即便是多个网站，去重、唯一识别后，信息也不全。

2）像天眼查这种网站，是很难实现爬虫爬取了，做了时间戳登陆、跳转等的限制。

2、从看似没有规律的数据中寻找规律

从已有的数据中提炼、分析数据，自己寻找规律。如：前3位大致的范围就那么10几种，而比自己去写000——999的1000种，精确了近100倍。

这样就能极大提高工作效率。

以上，只是列举一个小思路。

3、大数据如何利用？

首先，最重要的是要原封不动的存起来，并且要有备份存储。

大数据的5V特性的前提是，你得有数据。

数据要针对不同的特点，考虑不同的存储。

关系型考虑——关系型数据库：Mysql/Oracle.

非关系型考虑——非关系型数据库：MongoDB、Elastisearch（非严格意义上数据库，但可以用来存储）。

其次，对数据进行小范围分析，看能否找到规律。

再次，扩展数据到全局分析，寻找、发现规律。（不限于：去重、唯一、按时间、地名、名称等统计）。

4、真正带来价值，而非仅限于炒概念才是王道。

这是我的观点。哪怕数据少点，但确保数据真实。

利用真实的数据分析，逐步积累完善，并循环起来，大数据才能真正指导我们的生活，为客户带来更高价值。

2016-9-9 pm23:46 思于家中床前

作者：铭毅天下

转载请标明出处，原文地址：

http://blog.csdn.net/laoyang360/article/details/52491648

如果感觉本文对您有帮助，请点击‘顶’支持一下，您的支持是我坚持写作最大的动力，谢谢！