复杂事件处理(CEP)的理解(上)
2010-07-02 12:00
363 查看
随着企业信息化的进一步深入,企业产生大量的实时数据(比如证券市场的交易数据,电力行业的探测数据),用关系型数据库处理这些大量的实时数据,已经力不从心了。更重要的是,企业需要从这些大量的实时数据里面,及时发现、挖掘一些有意义的数据,比如证券市场那些交易有违规操作的嫌疑,如果对某些交易存在嫌疑,需要进一步跟踪观察,进而进行人工干预。这样的需求,用关系型数据库去解决,需要将所有的数据导入到库中后,用统计分析工具去分析,虽然也能得到部分有意义的数据,但是无法保证实时性,无法对部分有意义数据的出现做出及时处理。
基于以上的需求,出现了复杂事件处理(
CEP)的概念,随之也出现了不少
CEP的产品,这其中,比较著名的产品有:
Tibco
Business Event,
IBM
CEP,
Oracle
CEP。
CEP认为任何事情的发生可以认为是一个“事件”,事情的发生产生一项数据,那么一项数据也可以认为是一个“事件”,证券市场的一个交易是一个事件,传感器探测一次数据,也是一个事件。这些事件有共同点:数据量特别庞大、流式数据、永不止境。这些事件,多数是我们不关心的,我们认为无意义的。我们需要的是从这些大量的无意义的事件中,找出对我们有意义的单个事件或者事件组合,比如可疑交易数据(和正常交易价格有很大出入的多笔交易),我们理解这些找出的单个事件或者事件组合为有意义事件,认为是事件发生,把发现这个有意义事件为复杂事件处理。
CEP通过规则,从不同的事件源中找出相关的事件组合(发生事件),并对发现的做进一步处理(处理发生事件)。
通常的
CEP,实现方式如下:
![](https://oscdn.geek-share.com/Uploads/Images/Content/202001/29/577db95af2c440579f017dd253783c6a.gif)
大量的实时数据作为事件源接入事件处理总线
,
CEP引擎通过指定的规则,处理这些实时数据和缓存的历史数据(缓存的目的是解决发现一些跨时间的事件,比如分析多次交易看是否可疑)。
基于以上的需求,出现了复杂事件处理(
CEP)的概念,随之也出现了不少
CEP的产品,这其中,比较著名的产品有:
Tibco
Business Event,
IBM
CEP,
Oracle
CEP。
CEP认为任何事情的发生可以认为是一个“事件”,事情的发生产生一项数据,那么一项数据也可以认为是一个“事件”,证券市场的一个交易是一个事件,传感器探测一次数据,也是一个事件。这些事件有共同点:数据量特别庞大、流式数据、永不止境。这些事件,多数是我们不关心的,我们认为无意义的。我们需要的是从这些大量的无意义的事件中,找出对我们有意义的单个事件或者事件组合,比如可疑交易数据(和正常交易价格有很大出入的多笔交易),我们理解这些找出的单个事件或者事件组合为有意义事件,认为是事件发生,把发现这个有意义事件为复杂事件处理。
CEP通过规则,从不同的事件源中找出相关的事件组合(发生事件),并对发现的做进一步处理(处理发生事件)。
通常的
CEP,实现方式如下:
![](https://oscdn.geek-share.com/Uploads/Images/Content/202001/29/577db95af2c440579f017dd253783c6a.gif)
大量的实时数据作为事件源接入事件处理总线
,
CEP引擎通过指定的规则,处理这些实时数据和缓存的历史数据(缓存的目的是解决发现一些跨时间的事件,比如分析多次交易看是否可疑)。
相关文章推荐
- 复杂事件处理(CEP)的理解(下)
- Notes for CEP & Esper Learning(1)——初识复杂事件处理
- 复杂事件处理(Complex Event Processing)--1. 基本概念:事件,事件关系,事件处理的简单抽象理解
- MOQL-复杂事件处理(CEP)
- CEP学习笔记 --- Complex Event Processing复杂事件处理
- cep复杂事件处理
- 大量日志数据复杂事件处理技术(Complex Event Processing 简称CEP)
- 中国CEP(复杂事件处理)发展的春天
- 事件流处理(Esp) 复杂事件处理(CEP)
- 复杂事件处理(CEP)——事件、时序以及因果关系
- 复杂事件处理(CEP)——事件模式,规则及约束
- 复杂事件处理引擎—Esper工作原理
- 从零开始理解JAVA事件处理机制(3)
- 深入理解DOM事件机制系列第二篇——事件处理程序
- 通俗理解Android中View的事件分发机制及滑动冲突处理
- 复杂事件处理——Esper入门(示例程序)
- 理解JavaScript中的事件处理
- 复杂事件处理(Complex Event Process)--0.开篇
- 深入理解在JS中通过四种设置事件处理程序的方法
- 复杂事件处理——Esper入门(示例程序)