一个数据分析系统的技术架构设计浅析
2011-09-19 18:56
351 查看
一个数据分析系统的技术架构设计浅析
作者:成晓旭
版权保留,严禁转载
本文是曾经参与的一个大型项目的解决方案的技术架构设计的简要总结与阐释,仅仅分析该系统的众多的内部构件之间的逻辑关系,仅供参考。
数据分析系统的主要功能是从众多外部系统中,采集相关的业务数据,集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后,存储到数据仓库的基础库中;然后,通过业务需要进行一系列的数据转换到相应的数据集市,供其他上层数据应用组件进行专题分析。
因此,从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象,将系统内部分为采集层、处理层、应用层、配置层4个逻辑层次。数据分析系统的技术体系架构如下图:
在采集层,主要应用接口适配器、网络文件采集及转换器、ESB总线等技术。接口适配器技术,用于适配各专业系统的数据采集接口,通过接口适配器来屏蔽各专业接口方式的差异性;网络文件采集及转换器,用于从各专业系统的采集文件数据,主要针对特定格式的各类网络数据文件,负责对数据格式进行格式化、规范化等预处理;ESB总线对标准的WebService/JMS接口方式的数据进行采集。
在处理层,主要应用数据持久化、J2EE、BI等技术。关系数据库技术,用于存储系统采集、处理、计算等业务数据,存储系统各类运行参数配置信息,以及其他的运行过程信息;文件服务器,为各类文件型数据提供数据存储和访问服务;J2EE技术,是系统中所有B/S逻辑构件、应用程序、Web服务的容器,为各种B/S组件提供运行环境,并对其生命周期进行管控;BI的元数据管理为各类动态统计分析报表的数据聚合、多维分析、数据加载、数据生产、数据项、计算规则、展示方式等提供配置管理。
在应用层,用于人机交互的主要应用BI、Web等技术。Web技术,提供系统的B/S界面的应用;BI技术,为各类动态统计分析结果提供报表、图形、仪表盘等丰富的展示方式;用于系统交互的ESB总线技术,以数据总线的方式发布WebService调用、或者下发JMS数据,通过统一的数据发布系统为外部系统提供服务数据共享服务。
在配置层,主要应用ETL可视化可配置平台、规则引擎、工作流引擎等技术。ETL可视化配置技术,用于提供可视化、可配置的ETL数据抽取、转换、加载的处理,主要针对数据库数据、FTP标准文件格式的数据或者经过网络文件采集及转换器预处理过的中间数据;规则引擎部分为采集成各类适配及采集器提供配置数据的集中管理,包括提供接口文件的采集目录、文件名规则、数据项约定以及ETL数据抽取规则等的配置管理;工作流引擎,提供从数据采集接口配置、采集数据项、ETL参数配置、指标关联映射、BI参数关联映射等全过程的流程化配置向导。
【声明】
由于本文阐释的技术方案,源自在线生产系统,恕不提供完整而详细的技术方案,更不会提供源代码。
作者:成晓旭
版权保留,严禁转载
本文是曾经参与的一个大型项目的解决方案的技术架构设计的简要总结与阐释,仅仅分析该系统的众多的内部构件之间的逻辑关系,仅供参考。
数据分析系统的主要功能是从众多外部系统中,采集相关的业务数据,集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后,存储到数据仓库的基础库中;然后,通过业务需要进行一系列的数据转换到相应的数据集市,供其他上层数据应用组件进行专题分析。
因此,从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象,将系统内部分为采集层、处理层、应用层、配置层4个逻辑层次。数据分析系统的技术体系架构如下图:
在采集层,主要应用接口适配器、网络文件采集及转换器、ESB总线等技术。接口适配器技术,用于适配各专业系统的数据采集接口,通过接口适配器来屏蔽各专业接口方式的差异性;网络文件采集及转换器,用于从各专业系统的采集文件数据,主要针对特定格式的各类网络数据文件,负责对数据格式进行格式化、规范化等预处理;ESB总线对标准的WebService/JMS接口方式的数据进行采集。
在处理层,主要应用数据持久化、J2EE、BI等技术。关系数据库技术,用于存储系统采集、处理、计算等业务数据,存储系统各类运行参数配置信息,以及其他的运行过程信息;文件服务器,为各类文件型数据提供数据存储和访问服务;J2EE技术,是系统中所有B/S逻辑构件、应用程序、Web服务的容器,为各种B/S组件提供运行环境,并对其生命周期进行管控;BI的元数据管理为各类动态统计分析报表的数据聚合、多维分析、数据加载、数据生产、数据项、计算规则、展示方式等提供配置管理。
在应用层,用于人机交互的主要应用BI、Web等技术。Web技术,提供系统的B/S界面的应用;BI技术,为各类动态统计分析结果提供报表、图形、仪表盘等丰富的展示方式;用于系统交互的ESB总线技术,以数据总线的方式发布WebService调用、或者下发JMS数据,通过统一的数据发布系统为外部系统提供服务数据共享服务。
在配置层,主要应用ETL可视化可配置平台、规则引擎、工作流引擎等技术。ETL可视化配置技术,用于提供可视化、可配置的ETL数据抽取、转换、加载的处理,主要针对数据库数据、FTP标准文件格式的数据或者经过网络文件采集及转换器预处理过的中间数据;规则引擎部分为采集成各类适配及采集器提供配置数据的集中管理,包括提供接口文件的采集目录、文件名规则、数据项约定以及ETL数据抽取规则等的配置管理;工作流引擎,提供从数据采集接口配置、采集数据项、ETL参数配置、指标关联映射、BI参数关联映射等全过程的流程化配置向导。
【声明】
由于本文阐释的技术方案,源自在线生产系统,恕不提供完整而详细的技术方案,更不会提供源代码。
相关文章推荐
- 关于一个大型web系统架构设计和技术选型的讨论摘录
- 【大型web架构】一个大型web系统架构设计和技术选型的讨论摘录
- 【分享】一个通用强大的主数据管理系统(架构设计讲解及源码下载)
- 一个大型web系统架构设计和技术选型的讨论
- K8 系统中省市县数据表的设计可以反映出什么? 通过一个基础业务表的设计品味软件系统的整体架构
- 关于一个大型web系统架构设计和技术选型的讨论摘录
- Flume(NG)架构设计要点及配置实践 Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集
- Tajo--一个分布式数据仓库系统(设计架构)
- 数据仓库系统的技术体系架构设计 推荐
- 【分享】一个通用强大的主数据管理系统(架构设计讲解及源码下载)
- 数据仓库系统的技术体系架构设计
- Tomcat 系统架构与设计模式,第 2 部分: 设计模式分析
- 【《深入解析Java Web技术内幕》学习思维导图】第11章 Tomcat的系统架构与设计模式
- 设计一个图书借阅管理系统需要如何分析
- 一个信息可视化Demo的设计(一):系统架构
- 研读《基于Hadoop的海量业务数据分析平台的设计与实现》----flume的数据收集系统的设计
- 摘要:本篇是本人在做一个大数据项目时,对于系统架构的一点总结,如何在保证存储量的情况下,又能保证数据的检索速度。
- 紫燕主数据系统技术框架简图(后期补充详细设计说明)
- open-iscsi/scst 追踪二 (open-iscsi 用户态管理系统技术架构分析)
- 对于一个管理性的软件来讲,数据主键的产生策略是很关键的一点,这个关系到整个系统的基础架构思想。