什么是操作数据存储?

操作数据存储(ODS)是存储组织当前数据快照的数据存储库。这是一个高度不稳定的数据存储库,非常适合进行实时分析。

ODS有时可以充当事务性数据库和数据仓库之间的中间阶段。ManBetX万博客服

操作数据存储如何工作?

当etl驱动的数据管道提供数据仓库时,摄取过程分为三个阶段:从目标源提取、数据转换和加载ManBetX万博客服到目的地。转换层使用一个staging数据库,该数据库保存来自生产数据库的原始数据。万博max手机网页登录这个staging数据库又小又轻,只保存最近导入的数据值。

操作数据存储的工作方式与ETL过程中的暂存区大致相同。ODS进程将从生产系统导入原始数据并按原样存储。万博max手机网页登录然而,当ETL随后应用转换时,ODS将原始数据提供给商业智能(BI)工具进行分析。

有时,企业可能会将ODS中的复制数据用于BI目的,然后使用ETL流程将ODS数据传输到仓库。这种方法可以减轻提供原始数据的生产数据库的负担。万博max手机网页登录

运营数据存储有哪些应用?

操作数据存储方法支持许多用例,而这些用其他方法并不总是可能实现。这些包括:

  • 整合: ODS方法可以将不同的数据源组合到一个存储库中。它缺乏其他存储库的优点,例如数据的湖泊和数据仓ManBetX万博客服库,但是可操作的数据存储具有快速和轻便的优势。ODS可以整合来自不同来源、不同系统甚至不同位置的数据。
  • 真正的-时间报告:运营数据存储通常保存业务数据的最新版本。结合正确的BI工具,企业可以执行实时BI任务,例如跟踪订单、管理物流和监控客户活动。
  • 故障排除: ODS的当前状态视图使得在发生问题时更容易识别和诊断问题。例如,用户可能在电子商务系统上创建订单,电子商务系统应该在物流系统上创建相应的订单。但是由于集成错误,这可能有错误的细节。ODS将保存两个版本的数据,从而便于在两个系统之间进行比较。自动化流程可以发现这些问题并采取措施。
  • 系统集成:集成需要系统之间持续的数据流,而ODS可以为这种交换提供平台。可以在ODS上构建业务规则,这样一个系统中的数据更改就会在另一个系统上触发相应的操作。

ODS还可以作为ETL流程的目标源,然后ETL流程将数据加载到仓库中进行长期存储。

操作数据存储和数据仓库之间的区别是什么?ManBetX万博客服

ODS和数据仓库有很多共同之处,主要是因为它们都从不同的来源导入和合并数据。然而,两者之间有一些关键的区别。这些包括:

数据的波动

也许两者之间最大的区别是数据的波动性。ODS数据非常不稳定,其值几乎实时变化。ODS的内容可能在不同时刻发生巨大变化,这取决于目标源的性质。

数据ManBetX万博客服仓库要稳定得多。仓库保留历史值,并将其与新的传入值集成。对数据仓库的更新通常以ManBetX万博客服预定的批量进行,因此仓库内容可能每天只更改几次。

Schema-on-Write

ManBetX万博客服数据仓库是写时模式。这意味着传入的数据在进入仓库之前要经过一个集成过程。整合过程清理协调,并根据仓库模式进行组织。

ODS不需要同样的转换。相反,数据保留在其现有的模式中。在这个意义上,ODS更像一个数据湖,它使用写时模式方法,尽管ODS比数据湖小得多(并且只能存储结构化数据)。

BI的目的

ODS和数据仓库ManBetX万博客服都回答了关键的BI问题,但这些问题的性质可能有所不同。ODS保存最近但有限的数据。这使得它适合于关于业务当前状态的操作查询,例如“我们现在有多少登录用户?”或“我们今天处理了多少订单?”

ManBetX万博客服数据仓库并不总是实时更新,但它们确实拥有更大的数据量。这使得他们更适合回答基于长期趋势数据的战略问题,比如“我们在第一季度的表现如何?”和“哪些员工达到了目标?”

数据范围

ODS数据表示数据生命周期中的一个短窗口。新的传入数据将覆盖之前的任何数据。这意味着BI查询只会显示画面的一小部分,这对于关注当前状态的查询是可以接受的。

ManBetX万博客服数据仓库将新数据与仓库的现有内容集成在一起。这将产生一个支持历史查询的更大的存储库。仓库还可以支持需要大量数据的数据分析活动。

增长速度

ODS的增长总是线性的。当新数据到达时,过期的数据将被覆盖或从ODS中删除。增长与事务数据库中数据的增长率有关。这样做的一个结果是,在为ODS扩展可用存储空间方面的压力减小了。

另一方面,数据仓库可以呈指数级增长。ManBetX万博客服新数据和历史数据同时存在,因此仓库的大小可以迅速扩展。这就是为什么大多数数据仓库依赖于云ManBetX万博客服基础设施的原因,云基础设施很容易根据需求扩展。

术语汇编

数据集成技术的命名指南。

Baidu
map