什么是数据管理?

数据管理是组织用于保证数据安全、高效并可用于任何相关业务目的的一种策略。

数据管理包括流程和技术。流程通常由组织的数据治理框架定义,每个流程都使用相关的软件工具实现。

什么是数据管理策略?

数据管理策略涉及公司数据基础设施的所有方面。这包括以下元素:

摄入

数据必须从有信誉的来源获得,例如生产数据库或可信任的第三方。万博max手机网页登录数据沿袭——描述数据全部历史的元数据——对于跟踪信息的来源是必不可少的,特别是在数据可能经过多个服务器的地方。

访问

管理人员必须监督用户角色的创建,并确保每个用户都能获得适当的读访问和写访问。访问是一个组织问题,需要与每个部门协调,以确保每个人都有他们工作所需的权限。

集成

在获取新数据或移动现有数据时,它可能需要通过集成层。通常,这涉及创建一个主模式,然后操作数据以适应。这种转换必须始终保持数据完整性,同时满足目标存储库的需求。

元数据

大数据集需要一个有用的元数据模式,以便分析专家能够执行快速的数据探索。数据管理策略应该有一个收集和索引相关元数据的明确过程,并且在需要时这些元数据是可用的。

合规

有许多影响数据管理策略的遵从性要求。法律就像GDPR和CCPA规定个人信息的处理,而审计规则意味着一些财务信息必须在指定的时间内存档。数据管理政策应反映所有法规要求,并确保组织处于法律正确的一方。

分析

大多数组织现在都高度依赖分析来推动他们的决策。数据管理策略必须支持分析时间的努力,并确保可用数据是及时的、相关的和完整的。他们还必须确保数据保存在正确类型的存储库中——例如,a数据集市用于部门分析。

安全

安全性是数据管理策略的首要和最后一件事。任何用户或系统都不应暴露敏感数据或允许未经授权的数据访问。数据管理员负责揭露安全问题,还负责组织定期审计和测试。

存档

数据通常需要移动到存储库,如数据仓库或ManBetX万博客服数据湖.数据管理策略将推荐首选的解决方案,以便组织对长期数据存储有统一的方法。

效率

数据管理有经济和环境方面的成本。组织应定期审查其数据管理策略,以确定当前的方法是否具有成本效益和可持续性。这意味着决策者需要随时了解新的、可替代的数据解决方案。

扩展

数据量可以迅速增加。例如,物联网(IoT)和网站分析都可以产生大量的数据,需要存储在某个地方。随着业务的增长,这些量可以开始呈指数级增长。数据管理策略应该计划在需要时容易扩展。

实现此策略是数据管理人员的工作。数据经理可以是拥有首席数据官等职位的个人,也可以是一个数据专家团队。数据管理越来越自动化,这意味着策略在更高的级别定义,然后用数据管理系统实现。

什么是数据管理系统?

实际上,数据管理过于复杂,无法手动实现。大多数组织依靠数据管理系统来执行上面列出的大部分任务,特别是:

  • 进口数据
  • 数据转换
  • 数据归档
  • 安全管理
  • 访问管理

两种最常见的解决方案是手动数据管理和低代码数据管理。

手动数据管理

数据团队从头开始创建一个定制的数据管理系统。手动数据管理包括以下任务:

  • 记录整个数据管理结构
  • 为数据转换创建模型和模式
  • 设计最终存储库的体系结构,例如数据仓库ManBetX万博客服
  • 构建数据管道以将数据从源移动到目标,通常使用批处理脚本和Chron作业
  • 将额外的源集成到管道中,尽可能使用API调用
  • 在加载到存储库之前,通过托管在独立数据库上的登台层对数据进行转换
  • 及时向授权用户角色提供数据
  • 数据管理系统的监控、维护和升级
  • 响应安全问题

这种系统可以由软件工程师和数据工程师组成的团队来构建。这是极其资源密集型的,需要工程团队的无限支持。然而,在复杂的环境中,它可能是一个合适的解决方案。

低代码数据管理

低代码数据管理平台适用于不需要定制解决方案的组织。相反,这些平台允许公司实施数据管理策略,而不需要大量的资源投资。万博手机登录平台

典型的低代码解决方案可能具有以下特性:

  • 用于架构设计的拖放界面
  • 自动化数据管道
  • 内置集成,允许平台连接到数据源、数据仓库和分析工具
  • 显示分析结果的仪表板
  • 云托管,包括实时支持和安全监控

在大多数业务用例中,像Xplenty这样的ETL平台可以作为数据处理平台。

低代码数据管理系统还解决了可伸缩性的问题。这些平台通常是云托管的,因此组织不需要在数据需求增长时提供额外的处理能力。

术语汇编

数据集成技术的命名法指南。

Baidu
map