Metron学习1_安全大数据分析框架 OpenSOC

OpenSOC：安全大数据分析框架。OpenSOC已经加入Apache工程改名为Apache Metron。

思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC，引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架，它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目 Hadoop，实时索引使用开源项目 ElasticSearch，在线流分析使用著名的开源项目 Storm。OpenSOC
概念性体系架构如下图所示:



OpenSOC 主要功能包括：

可扩展的接收器和分析器能够监视任何Telemetry数据源

是一个扩展性很强的框架，且支持各种Telemetry数据流

支持对Telemetry数据流的异常检测和基于规则实时告警

通过预设时间使用Hadoop存储Telemetry的数据流

支持使用ElasticSearch实现自动化实时索引Telemetry数据流

支持使用Hive利用SQL查询存储在Hadoop中的数据

能够兼容ODBC/JDBC和继承已有的分析工具

具有丰富的分析应用,且能够集成已有的分析工具

支持实时的Telemetry搜索和跨Telemetry的匹配

支持自动生成报告、和异常报警

支持原数据包的抓取、存储、重组

支持数据驱动的安全模型

OpenSOC 官方文档介绍了以下五大优点：

由思科全力支持，适用于内部多用户

免费、开源、基于Apache协议授权

基于高可扩展平台（Hadoop、Kafka、Storm）实现

基于可扩展的插件式设计

具有灵活的部署模式，可在企业内部部署或者云端部署

具有集中化的管理流程、人员和数据

当前，OpenSOC 运行条件包括：

两个网卡（建议使用Napatech的NT20E2-CAP网卡）

Apache Flume 1.4.0 版本及以上

Apache Kafka 0.8.1 版本及以上

Apache Storm 0.9 版本及以上

Apache Hadoop 2.x 系列的任意版本

Apache Hive 12 版本及以上（建议使用13版本）

Apache Hbase 0.94 版本及以上

ElasticSearch 1.1 版本及以上

MySQL 5.6 版本及以上等。

原文来自：https://www.oschina.net/p/opensoc