什么是数据筒仓?

数据驱动型公司需要保持数据在整个组织中流动。有时,由于技术原因或组织结构的原因,一些部门或应用程序可能不共享它们的数据。当这种情况发生时,它会创建一个数据竖井。

数据竖井不同于数据集市,提供特定部门的数据视图。集市是整个数据基础设施的一个精心规划的部分;竖井阻碍了数据的均匀流动。

数据竖井是如何产生的?

的核心概念之一数据架构.组织中的每个人或流程都应该能够访问他们需要的所有数据。然而,有时数据可能在网络的某一部分被隔离,原因如下:

文化

数据竖井通常是公司内部组织竖井的结果。当公司没有协作文化时,团队可能不会遵守数据共享政策。在某些情况下,数据所有者可能积极地保留对其部门数据的独占访问权。

技术

竖井也可能出现,因为组织缺乏促进数据共享的基础设施。这可能会给遗留系统或在本地系统和云系统之间共享数据带来问题。与技术相关的竖井通常出现在不使用技术的公司中提取变换负载或者类似的数据集成平台。

兼容性

组织网络中的数据系统可能彼此不兼容。例如,一个经常使用Microsoft Excel工作的团队可能会在集成关系数据库中的数据时遇到麻烦。类似地,关系数据存储库ManBetX万博客服不能处理非组织性数据,例如文本文件和图像。像这样的问题通常是深层的征兆建筑问题。当公司经历了快速增长,其基础设施还没有满足其额外的需求时,就会发生这种情况。

数据仓库的危险

大多数企业都试图避免组织竖井,因为他们知道这种划分会对生产力产生负面影响。万博max手机网页登录数据竖井同样具有破坏性,因为它们会导致如下问题:

数据不一致:当一个部门不能访问记录时,它将从头创建自己的记录。例如,考虑一个不与其他团队共享客户数据的销售部门。如果该客户打电话询问,服务团队将创建一个全新的记录。这两个记录不会彼此一致,这可能会导致错误。

低质量的分析:数据分析需要对整个组织进行360度的观察,需要访问尽可能多的数据。数据竖井表明分析团队缺少了整体拼图的一部分。由此产生的洞察将不那么准确,这将影响数据驱动决策的结果。

安全风险:当人们无法轻松访问所需的数据时,他们可能会设计自己的变通方法。这可能包括通过电子邮件发送文件或将数据复制到u盘,有数据丢失的风险。

数据冗余:即使竖井不会造成问题,它们仍然会导致资源浪费。万博手机登录平台想象一下,一家公司有两个团队使用相同的数据。如果它们不共享公共版本,那么两个团队将需要各自的数据实例。这使得提供数据访问的相关成本增加了一倍。

能见度低:竖井也使人们难以对组织的数据活动进行鸟瞰。这可能会影响数据治理,因为竖井团队可能不遵循组织的指导方针。此外还有合规风险。例如,如果竖井数据库包含个人身份信息(PII),组织可能在遵守被遗忘权请求时遇到麻烦。

数据驱动型组织将所有数据视为单一实体。当数据存在于竖井中时,它是不同实体的一部分,因此组织无法正确使用它。随着时间的推移,这可能会发展成一个严重的问题。

数据筒仓问题的解决方案

即使是最注重数据意识的公司也可能出现数据竖井,这就是数据治理团队必须保持警惕的原因。这可能意味着定期进行数据审计,审查数据基础设施,并就数据可用性与用户进行面谈。

当公司发现数据竖井时,他们可以采取以下步骤来补救问题:

改进数据集成

当基础设施出现根本性问题时,竖井往往会出现。如果将一个系统集成到主数据管道太困难,那么相关的it团队可能会选择不动该系统。解决方案是构建更好的数据基础设施,使用像ETL平台这样的多功能连接器。这允许IT团队建立一系列一对一的连接,并管理位置之间的数据流。

使用基于角色的数据访问策略

数据竖井有时反映内部策略。例如,组织可能会选择将PII或商业敏感数据保存在竖井中,以防止未经授权的访问。从长远来看,这种方法可能会导致问题。更好的解决方案是使用基于角色的数据访问,这样每个用户只能访问与其工作相关的信息。

转换敏感数据

当组织出于遵从性的原因需要对数据保密时,可能会混淆敏感值。数据模糊可能涉及到加密数据,以便授权人员只能解密它。混淆还包括用随机字符替换机密数据。这种方法保留了数据结构,同时消除了任何敏感信息。

挑战文化

数据竖井有时表明存在更大的问题。当公司没有积极合作的文化时,领导者可能会选择隔离与他们部门相关的数据。这是一个需要在文化层面上通过鼓励团队合作和各方信任来解决的问题。技术可以帮助团队更容易地共享数据。

术语汇编

数据集成技术的命名法指南。

Baidu
map