一个解决数据质量问题的框架

[00:00:00]欢迎参加另一场X-Force数据峰会今天我请来了安德里亚·范·坎彭，她在阿姆斯特丹为销售工程师工作。他是那里的顾问。他要讲的是数据质量的框架。我想我们都想听到如何让我们的数据质量更好以及我们的Salesforce语言。

[00:00:32]这是安德烈感谢大家让我在这次峰会上发言。这是非常令人兴奋的。我的第一次虚拟峰会。我将跳过大部分内容，因为这是引言。我有IT方面的背景，在过去的7年里，我一直在Salesforce担任顾问，目前我在阿姆斯特丹为一个咨询合伙人工作。

[00:01:06]你可能认得这个标志。YeurDreamin”。那是我空闲时间做的事。我是一个用户小组领导，也组织社区会议，有点像这样，但要亲自参加。

[00:01:30]所以今天有四大块首先，我有一些数据框架和质量的背景知识。我们引入数据管理员，然后解释为什么数据质量很重要。这将帮助你解释为什么我们在你的公司或团队中这么做。

[00:02:05]然后是真正的五步框架。还有一些更实用的技巧和技巧在这个演讲之后你们可以做的。

[00:02:26]对于第一部分，这些可能是你从用户、经理甚至顾客那里得到的问题。例如，你真的需要在Salesforce中备份数据吗?这甚至不是一个问题，但由于Salesforce是云软件，这实际上经常被遗忘。

[00:03:00]其他问题是，我们是否遵守隐私和数据保存规则?如果没有，我们该如何解决?例如，你可以从你的经理或用户那里获得;为什么我所有的报告都是垃圾，就像，你知道，这是怎么回事?他们会以管理员、架构师、顾问或其他数据管理员的身份来找您。

[00:03:29]这是我们的数据管理员亚历克斯该角色目前负责我们组织中的企业数据，并帮助您完成以下四个主要方面的工作。确定数据管理程序的重点领域。评估业务的数据需求。

评估kpi，然后相应地计划和执行。当然，还要监视所有进程对数据的影响。

[00:04:17]当然，我们说的是数据质量管理。但这是为了展示它与信息策略的其他主要构建模块的契合之处。每个构建模块都有足够的在线内容，可以填满几天的网络研讨会和培训课程。

[00:04:43]今天我们聚焦数据质量管理和一点主数据管理。但我确实鼓励你们单独研究每一个，而不是只关注其中的一个。

[00:05:00]第二部分，为什么数据质量很重要。你在左边看到的，这通常是公司开始的方式。你有自己的运营部门，他们有自己的数据和工具。销售部门必须使用他们自己的工具，还有制造部门等等。

[00:05:28]所以每个部门都是孤立的。随着公司的发展，您将更倾向于企业视图的数据。对于大型企业，主数据管理可以更好地为它们提供服务。一个是平台，而不是单独的工具。

[00:05:59]这个企业工具将成为每个部门的黄金标准，每个部门就像是整个MDM(主数据管理)平台的订阅者。MDM为数据的整合提供了一致的上下文。

[00:06:26]现在，影响数据质量的一个因素是遗留系统。每个公司都有。即使你只有五周大，也已经有一些遗留的东西发生了，通常是以Excel表格的形式。你可以很容易地拥有7个、10个、30个不同的数据源，这当然会导致不同的业务部门……

[00:06:52]销售，他们不是在和市场营销交流，运营部门无法预测需求，因为他们无法从销售团队获得最新的信息。最重要的是它会对你的客户产生影响。你应该问自己，你如何为你的客户提供无缝和个性化的体验?

[00:07:28]如果你的后台没有正确访问信息的权限，你怎么能做到呢?所以这不仅仅是一个内部练习。

[00:07:41]有几个不同的过程会影响你的数据质量。我就不一一列举了。但对于所有这些，你可以一起选择，你的课程，一切，它有多完整?它有多准确?这是我们所有的数据吗?相关度如何?

[00:08:04]你可以得分如果你对整个数据集都这么做，你会得到一个分数。当然，首先是哈佛和基准，你会看到分数会不断变化。因为内部流程在变化，工具也在变化，因为现在，在你的组织中，哪种工具能持续五年以上?

[00:08:41]随着时间的推移，这些过程将有助于决定数据的质量。有时也可能是团队或公司内部缺乏适当的技能。现在我们回到数据质量评分上来。一旦你有了这些，你可以测量它，你可以改进它，你可以在它上面工作。你会这么做的。这是一个迭代的过程。所以你可能会说，好吧，今天我们的质量很差。下周之后，我们会有高质量的数据。它是你随着时间评估的东西。

[00:09:37]当然，最好能把当前对数据影响最大的过程画出来。

[00:09:48]然后是实际框架。这将帮助您不断提高数据质量。正如您所看到的，这可能会使一些人想起PDCA循环——计划、执行、检查和行动。这里有五个步骤。首先是数据分析。所以你可以分析你的数据，这样你就知道你从哪里开始了。

[00:10:22]然后你开始清洗。你在分析过的数据中发现了不同的异常。然后对数据进行标准化和规范化。我将在接下来的几张幻灯片中深入讨论所有这些独立的主题。一旦我们完成了这些，当然，你就可以开始匹配和合并。

[00:10:53]还不止于此我只是继续，监视它。记住你的分数，或者密切关注它。然后重复。

[00:11:10]那就从数据分析开始吧不要试图把海洋煮沸。这是这张幻灯片的主要内容。完美是很难做到的。你只想随着时间的推移而进步。首先，你开始对你的记录样本进行分组，然后找出哪些是好的，哪些是坏的。

[00:11:43]然后开始分组。一旦您做到了这一点，就把重点放在数据入口的预防策略上。当你完成这些任务时，有哪些不同的渠道和工具;记住这一点。

[00:12:17]一旦确定了好的数据和不好的数据，就把重点放在格式问题上。例如，你有你的日期或邮政编码，法律价值。从那些开始做第一次清洁。它们通常是最简单的。

[00:12:50]这是你的数据故事的一部分，Alex扮演了一个相当重要的角色，在业务中参与识别所有这些规则。我们到底把什么分类为坏数据和好数据?制定并遵守这些规则。当然，在下一个循环中你可以改进这些。

[00:13:22]然后标准化。您的客户和业务伙伴的合法名称。公司通常都有名字。在内部它被称为其他东西。如果你看一下商会的详细资料，会发现名字不一样。确保你标准化了简单的事情:网站、名称或国家。

[00:13:57]数据质量好坏并不重要。将其标准化，然后再将其分为好和坏。

[00:14:13]第四步是匹配和合并。这是我们决定谁能在复制人的战斗中幸存的时候。这是一个经常出现的问题，你必须重复记录。哪一个会赢?只是几步而已。识别它们，重复的部分，确定哪些应该合并。

[00:14:47]你有一个账户，商业账户，所有这些字段。第一，父母实际上会参与到巩固过程中然后建立生存规则。这就是谁能活下来的决定。确保你也能自动化这些规则。

[00:15:11]因为如果你有非常复杂的规则，而且只有一个人明白，那就永远不会成功。如果你能把它解释给那些能自动化它的人，比如Salesforce，那就真的很有帮助。不需要解释，只要让系统为你工作就可以了。有一件事经常被忽视，那就是依赖数据。

[00:15:8]所以你有一个公司或一个联系人，一个客户，有电子邮件沟通，有机会，有案例，所有的一切。会发生什么呢?确保他们真的得到了父母的照顾。如果你合并了两家公司，在所有新的情况下，机会，电子邮件都应该给新的赢家。有两种类型的匹配，确定性的和概率的。确定性是理想的。它和所有东西完全吻合。这就是我们的目标。但是有时候你必须去，寻找那些不是百分之百重复的副本。

[00:16:36]记住这一点。根据我的经验，一件东西实际上是复制品的概率小于百分之百。

[00:16:54]然后是监控部分。在开始时创建数据的概要文件，只是为了了解质量的当前状态。然后你采取行动来规范、标准化、匹配和改进它。确保你一直在监控质量。

[00:17:27]这些细节我就不一一赘述了。我想强调的一件事是，确保您的数据管理员不是唯一这样做的人。虽然Alex看起来很有权势，但管理你的整个企业和所有不同的相关公司和利益相关者是不现实的。

[00:17:56]我吓了一跳做一件叫做部落管理的事情。让来自不同部门和领域的人加入你的公司。此流程中涉及的关键业务用户。如果他们没有参与到第一次迭代中，请让他们参与到下一个迭代或之后的迭代中。

[00:18:27]这是五个步骤，但还有一个额外的步骤，备份。但你提到Salesforce并没有为你备份数据，你可以很容易地联系他们，说，“嘿，我删除了这个案例。请把备份发给我。”你自己也要为此负责。对于大型组织或老组织，请确保您有一些时间用于我们的存档策略，这是您的信息策略的一部分。你的业务规则改变了;你的质量规则会随着时间而改变。

[00:19:16]一大块可能是10年、20年，有时甚至是3年以前的数据，可能已经过时了，可能不再相关了。你不需要它，但又不想删除它。把它存档。最后一部分，在你听完这些之后，你打算怎么做?

[00:19:40]第一步可以是建立一个仪表盘。实际上有现成的仪表盘。或者一些可以帮助你的工具。例如，这个仪表板显示的是她的对象，例如，帐户或机会。它显示了这里提到的所有字段，比如您的姓名或地址详细信息。

[00:20:08]到底填了多少次?当然，如果所有的东西都填满了，那就完美了，百分之百，但我们都知道那是乌托邦。一旦你完成了这些，AppExchange上有很多不同的工具可以帮助你进行数据管理。这里有一些链接可以帮助你。

[00:20:48]然后是额外的资源。万博手机登录平台例如，在Trailhead上，它就像一个在线学习平台，你有一些专门关于这个主题的模块。这里有一个成功群体。你可以与Salesforce专家以及其他客户和合作伙伴取得联系。当然，也有面对面或面对面的活动，如用户组在我的社区会议。

[00:21:37]最后一张幻灯片，因为你订阅了这个演讲，我被允许提供一个免费的研讨会，这是我们的虚拟研讨会，在那里我们将帮助你为你最具挑战性的Salesforce问题创建解决方案。这可能是在任何领域。

[00:21:48]例如，设置你的主数据管理策略，为Salesforce实现改进建立一个业务案例或路线图，帮助采用或执行健康检查。诸如此类的事情。该链接将在会话结束后发送给您。他们也会有我的联系方式。我将很高兴深入一些项目的领域，以帮助您。它始于信息战略或缺乏质量管理。在此，我想对大家说声谢谢。

[00:22:37]主持人:谢谢。安德烈。我有几个问题。你用幻灯片回答了大部分问题。你有一张很好的幻灯片介绍了你用来清理数据的不同工具。我知道我熟悉需求工具作为一个例子。你一开始谈到了竖井的问题。

[00:22:55]问:你有没有发现你的很多客户最后都把Salesforce当作唯一的真相来源?因此，他们将MDM工作集中在那里。还是Salesforce还在观望，只是销售系统?

[00:23:17] van Kampen:我看到的是，在很多公司，“好吧，我们现在有Salesforce，让我们在所有的业务部门使用它。”

通常作为第一种工具。通常他们会说，如果不是Salesforce，那就没有发生过，或者根本不存在。我们确实经常看到这种情况。是的。

[00:23:48]问:数据质量仪表盘，我知道Salesforce有内置的仪表盘，但其中一些工具有其他的评分指标，比仅仅填写数据要复杂一些。他们可以做一些事情，比如查找，地址中的缩写是否标准化等等。我想这也是您希望MDM团队做的事情。正确的。运行这些工具可以根据组织中需要清理的数量(除了丢失的数据之外)得到一个指示板。

[00:24:34]范·坎彭:是的，确实如此。我展示的仪表盘实际上只是一个起点。如果你一无所有，这是一个好的开始。这是一个很容易解决的问题。

[00:24:54]有些工具通常与webservices.com进行集成，或者像商会集成那样，你确实可以这样做。假设你开始在Salesforce中输入公司数据或联系人数据，一旦你点击保存，它就会联系数据库，为你做检查，甚至可能提供建议。比如，如果你有一个商会的编号，“是这家公司吗?”然后你就有了一大堆更多的数据。外面有类似的工具。