大数据时代的新BI系统架构发展趋势

   商业智能（BI，Business Intelligence）。它是一套完整的解决方式，用来将企业中现有的数据进行有效的整合，高速准确的提供报表并提出决策根据。帮助企业做出明智的业务经营决策。商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。眼下，商业智能通常被理解为将企业中现有的数据转化为知识。帮助企业做出明智的业务经营决策的工具。商务智能系统中的数据来自企业其它业务系统。比如商贸型企业，其商务智能系统数据包含业务系统的订单、库存、交易账目、客户和供应商信息等。以及企业所处行业和竞争对手的数据、其它外部环境数据。而这些数据可能来自企业的CRM、SCM等业务系统。

   商业智能能够辅助的业务经营决策，既能够是操作层的。也能够是战术层和战略层的决策。为了将数据转化为知识。须要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它仅仅是数据仓库、OLAP和数据挖掘等技术的综合运用。传统的商业智能系统一般採用下面的系统架构进行构建。



   系统主要由三层构成：各自是1）数据抽取层即传统的ETL。2）数据分析层，即传统的数据仓库；3）数据展示层。即传统的OLAP。
   BI系统是一类提供给使用者对数据进行分析的工具，自然而然其应该具有强大的数据处理和分析能力。随着大数据时代的来临。对于大量数据的高速分析能力的需求成为BI系统的需求之中的一个。因此也给传统的BI分析架构带来了革命性的变革。依据TDWI对48加BI使用企业和生产企业的一份分析报告指出，例如以下图所看到的



国外近80%的企业都正在或准备3年内将大数据分析结合进传统的BI系统中。通过结合大数据分析技术。能够在分析能力和分析类型上对传统的BI系统进行扩展。详细描写叙述例如以下：

   1、分析能力的增强：通过将Hadoop等分布式大数据分析平台结合进BI系统能够增强数据的分布式并行处理能力，从而从底层添加计算能力。为传统的数据挖掘分析带来新奇血液。
   2、分析能力的扩展：结合大数据分析，能够将以往无法分析的非结构化数据或半结构化数据分析结合进BI系统，极大的扩展Bi系统的分析能力。
   3、对专家系统的机器学习补充：传统的BI系统数据仓库和数据集市是由专家知识构建的，这种专家知识可能随着业务的变迁或扩展不再全然准确，因此BI系统假设想真正实现智能化的分析过程，不仅须要专家知识，更须要从与实际业务实时相关的数据中分析出数据的关联性和知识性。因而对于智能化的数据分析与挖掘能力的需求与日俱增。大数据分析能力正好弥补了传统BI系统无法从数据中机器学习和分析的能力的不足。
   针对BI技术的大数据扩展趋势，眼下多家公司都制定了自己的融合软件架构方案。
当中Pentaho作为一家开源的BI开发公司也实现了自己的BI融合Hadoop架构。在著名的开源ETL项目Kettel5.0版本号中已经实现了大数据补丁。提供与大数据分析系统的交互。

其架构例如以下。



清晰可见的hadoop小象。通过其PDI（pentaho date integration）层主要是ETL，实现与传统的关系数据库和hadoop间进行交互。同一时候其也提出了结合hadoop的大数据分析虚拟层。
   眼下国内基本的BI生产商大多还是採用的传统架构作为实现方案。也有不少国内主要BI开发企业正在向或计划实践大数据分析BI系统的改造。在分析工具中而论。下一个时代非常定时大数据分析的时代。（甚至在机器学习，模型学习研究领域也正在採用hadoop或storm此类分布式和实时分析平台构建模型，各类传统的机器模式技术，图像识别、语音识别等也正在向大数据分析转型。

看样以后做机器智能和学习的，没个hadoop都不好做实验了）。