Sentry 监控 - Snuba 数据中台架构(Data Model 简介)
2021-10-10 12:44
537 查看
系列
- 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本
- 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Maps
- Sentry For React 完整接入详解
- Sentry For Vue 完整接入详解
- Sentry-CLI 使用详解
- Sentry Web 性能监控 - Web Vitals
- Sentry Web 性能监控 - Metrics
- Sentry Web 性能监控 - Trends
- Sentry Web 前端监控 - 最佳实践(官方教程)
- Sentry 后端监控 - 最佳实践(官方教程)
- Sentry 监控 - Discover 大数据查询分析引擎
- Sentry 监控 - Dashboards 数据可视化大屏
- Sentry 监控 - Environments 区分不同部署环境的事件数据
- Sentry 监控 - Security Policy 安全策略报告
- Sentry 监控 - Search 搜索查询实战
- Sentry 监控 - Alerts 告警
- Sentry 监控 - Distributed Tracing 分布式跟踪
- Sentry 监控 - 面向全栈开发人员的分布式跟踪 101 系列教程(一)
- Sentry 监控 - Snuba 数据中台架构简介(Kafka+Clickhouse)
本节介绍数据在
Snuba中的组织方式以及面向用户的数据如何映射到底层数据库(如:
Clickhouse)。
Snuba数据模型横向分为逻辑模型(logical model)和物理模型(physical model)。逻辑数据模型是
Snuba客户端通过
Snuba查询语言可见的。此模型中的元素可能会也可能不会
1:1映射到数据库中的表。相反,物理模型将
1:1映射到数据库概念(如表和视图)。
这种划分背后的原因是,它允许
Snuba通过逻辑数据模型公开一个稳定的接口,并在内部执行复杂的映射,对不同的表(物理模型的一部分)执行查询,以一种对
client透明的方式提高性能。
本节的其余部分概述了组成两个模型的概念以及它们如何相互连接。
下面描述的主要概念是数据集(
dataset)、实体(
entity)和存储(
storage)。
数据集
Dataset是
Snuba数据的命名空间。它提供了自己的
schema,并且在逻辑模型和物理模型方面都独立于其他数据集。
数据集的示例是
discover(发现)、
outcomes(结果)、
sessions(会话)。他们之间没有任何关系。
数据集可以看作是定义其抽象数据模型及其具体数据模型的组件的容器,如下所述。
实体和实体类型
Snuba向客户端公开的逻辑数据模型的基本块(
fundamental block)是实体。在逻辑模型中,实体表示抽象概念(如
transaction或
error)的实例。在实践中,
Entity对应于数据库表中的一行。
Entity Type是实体的类(如 Errors 或 Transactions)。
逻辑数据模型由一组
Entity Types及其
relationships组成。
每个
Entity Type都有一个
schema,该模式由具有相关抽象数据类型的字段列表定义。
Dataset的所有
Entity Types(可以有多个)的
schema组成了对
Snuba client可见的逻辑数据模型,
Snuba查询根据该模型进行验证。 不应该暴露较低级别的概念。
Entity Types明确包含在
Dataset中。一个
Entity Type不能出现在多个数据集中。
实体类型之间的关系
数据集中的实体类型在逻辑上是相关的。支持两种类型的关系:
- 实体集关系(
Entity Set Relationship
)。这模仿了外键。这种关系旨在允许实体类型之间的连接。 目前它只支持一对一
和一对多
的关系。 - 继承关系(
Inheritance Relationship
)。这模仿了名义上的子类型(subtyping
)。 一组实体类型可以共享一个父实体类型。子类型从父类型继承schema
。 从语义上讲,父实体类型必须表示其类型从其继承的所有实体的联合。还必须能够查询父实体类型。这不能仅仅是一种逻辑关系。
实体类型和一致性
Entity Type是
Snuba可以提供一些强大的数据一致性保证的最大单元。具体来说,可以查询期望
Serializable Consistency(可序列化的一致性)的实体类型。这不会扩展到跨越多个实体类型的任何查询,在这种情况下,我们最多将具有最终的一致性。
这也会对订阅查询(
Subscription queries)产生影响。 这些一次只能对一种实体类型起作用,否则,它们将需要实体类型之间的一致性,而我们不支持这种一致性。
请注意!
准确地说,一致性单位(取决于 Entity Type)甚至可以更小,并且取决于数据摄取主题(data ingestion topics)的分区方式(例如 project_id),实体类型是 Snuba 允许的最大值。
存储
Storage表示并定义
Dataset的物理数据模型。每个
Storage表示在物理数据库概念中具体化,如表或具体化视图。因此,每个存储都有一个由字段及其类型定义的
schema,该字段反映了
storage映射到的
DB table/view的物理模式,并且能够提供生成
DDL语句的所有详细信息,以在数据库上构建表。
Storage能够将上面讨论的逻辑模型中的逻辑概念映射到数据库的物理概念,因此每个
Storage都需要与一个
Entity Type相关联。具体来说:
- 每个
Entity Type
必须由至少一个Readable Storage
(我们可以在其上运行查询的Storage
)支持,但可以由多个Storage
(例如预聚合物化视图pre-aggregate materialized view
)支持。每个Entity Type
的多个Storage
旨在允许查询优化。 - 每个
Entity Type
必须由一个且仅一个用于摄取数据和填充数据库表的Writable Storage
支持。 - 每个
Storage
仅支持一种Entity Type
。
示例
本节提供了一些示例,说明
Snuba data model如何表示一些现实世界模型。
这些案例研究不一定反映当前的
Sentry production model,也不一定是同一部署的一部分。它们必须被视为孤立的例子。
单一实体数据集
这看起来像
Sentry使用的
Outcomes数据集。这实际上并没有反映截至 2020 年 4 月的
Outcomes。尽管设计
Outcomes应该朝着这个方向发展。
该
Dataset只有一种
Entity Type,代表数据集摄取的单个
Outcome。查询
raw Outcome非常缓慢,所以我们有两个
Storage。一个是反映我们摄取的数据的
Raw storage和一个计算每小时聚合的
materialized view,查询效率更高。
Query Planner将根据查询是否可以在聚合数据上执行来选择
storage。
多个实体类型数据集
此数据集的典型示例是
Discover数据集。
这具有三种
Entity Type。
Errors、
Transactions并且它们都继承自
Events。 这些形成了逻辑数据模型,因此查询
Events Entity Type给出了
Transactions和
Errors的联合,但它只允许查询中存在两者之间的公共字段。
出于性能原因,
Errors Entity Type由两个
Storage支持。 一个是用于摄取数据的主要
Errors Storage,另一个是
read only view(只读视图),在查询时对 Clickhosue 的负载较少,但提供较低的一致性保证。
Transactions只有一个
storage,并且有一个
Merge Table来为
Events提供服务(本质上是两个表联合的视图)。
连接实体类型
这是一个简单的数据集示例,其中包含可以在查询中连接在一起的多个实体类型。
GroupedMessage和
GroupAssingee可以是带有
Errors的
left join查询的一部分。其余部分与前面示例中讨论的内容类似。
相关文章推荐
- SharePoint 【架构系列】-- SharePoint的数据模型(DataModel)、数据管理(Data Management)与查询(Query System)
- Sharepoint学习笔记—架构系列-- Sharepoint的数据模型(DataModel)、数据管理(Data Management)与查询(Query System)
- Sharepoin学习笔记—架构系列-- Sharepoint的数据模型(DataModel)、数据管理(Data Management)与查询(Query System)
- 大数据技术hadoop入门理论系列之二—HDFS架构简介
- nagios二次开发(四)---nagios监控原理和nagios架构简介
- MetadataType的使用,MVC的Model层数据验证
- MetadataType的使用,MVC的Model层数据验证
- Visual Studio 2008中如何比较二个数据库的架构【Schema】和数据【Data】并同步
- Visual Studio 2008中如何比较二个数据库的架构【Schema】和数据【Data】并同步
- Oracle Data Integrator实时数据集成简介
- Visual Studio 2008中如何比较二个数据库的架构【Schema】和数据【Data】并同步
- Sentry 监控 - Dashboards 事件数据可视化大屏
- Oracle Data Integrator 12c-模型(Model)和 数据存储(DataStore)
- 大数据技术hadoop入门理论系列之二—HDFS架构简介
- DataRabbit 企业级数据访问框架(21)-- DataRabbit 4.0 & DataRabbit 与三层架构融合Demo源码
- HBase之数据模型(DataModel)
- 大数据架构和模式(一)大数据分类和架构简介
- 架构模式数据源模式之:表数据入口(Table Data Gateway)、行数据入口(Row Data Gateway)、活动记录(Active Record)
- Data Model(数据模型)
- Unity应用架构设计(5)——ViewModel之间如何共享数据