精益集成是过程工程的一种形式，用于提高效率数据集成．它专注于为客户创造价值，减少浪费，优先考虑长远的想法。
精益集成方法使用精益的原则，这是一种最初为制造业开发的效率方法。精益现在通常与这两者联系在一起敏捷和六西格玛。
精益集成的原则是什么?
精益集成是一个指导日常决策的实践管理系统，也是一个长期战略。
最终，精益可以用这句格言来总结:不断努力为客户提供更好的价值。在数据项目的上下文中，“客户”可以是任何从项目的最终结果中受益的人，无论是内部用户、项目发起者，还是直接与系统交互的外部客户。
在所有情况下，精益集成遵循七个原则:
1)杜绝浪费
浪费是任何不能为客户提供价值的东西。例如，如果项目的目标是提供干净的数据为数据分析团队，那么项目所有者应该确切地知道他们需要提供什么数据。如果项目花费时间清理冗余数据，那么这将被视为浪费。
2)自动化流程
手工工作和返工本质上是一种浪费。这是对人类时间的浪费，最好把时间花在增值任务上。在可能的情况下，项目应该寻求自动化过程，包括测试。这可能需要长期的思考，因为自动化项目可能需要对现有数据工作流进行重大的重组。
3)授权团队
当每个人都觉得有能力按照要求采取行动时，精益方法才能发挥最佳效果。为了感受到授权，团队需要管理层的全力支持。如果他们打破了什么，团队将从错误中吸取教训并快速前进。具有广泛技能的跨职能团队也被授权采取快速行动。
4)持续改进
持续改进是DevOps和其他快速移动环境的核心元素。数据必须驱动所有的改进，这意味着项目领导者需要访问详细的分析。持续改进是形成理论、检验理论、衡量结果和形成新理论的持续循环。这些测试的结果有助于决定如何前进。
5)营造质量氛围
开发者和工程师不应该依赖质量保证来捕捉错误，而应该以高FTT (First Time Through)率为目标。要做到这一点，他们需要适当的时间和项目负责人的支持。
6)为改变做计划
从长远来看，一切都可能改变。例如，如果项目要使用不同的源构建数据集成过程，那么可以假定其中一个源将随着时间的推移而更改。每个精益集成项目都应该向前看，为这些不可避免的变化做计划。精益集成解决方案是使用数据管道建立在提取，转换，加载(ETL)的过程。当其中一个源发生更改时，可以很容易地重新配置ETL。
7)优化整体
数据项目经常被困在实质问题中，承受着交付当前需求的持续压力。精益集成努力超越这一点，转而考虑大局。精益哲学是关于你能做些什么来为客户创造价值，同时减少浪费。这意味着要专注于优化整体，而不是解决个别问题。
精益集成如何应用于数据?
精益的原则起源于制造业。在那种环境下，管理人员在装配线上走来走去，寻找应用这些原则的机会。
在精益集成中，领导者必须在他们的数据基础设施车间中走动。在这样做的时候，他们必须注意以下八种废物:
- 缺陷:数据集成过程会产生错误，或者产生冗余输出。
- 生产过剩万博max手机网页登录:即使没有明显的客户需求，数据也会被移动或复制。
- 等待:数据集成过程在组织的其他地方造成了瓶颈。这方面的一个例子是，团队在执行预定的数据导出之前无法开始工作。
- 未使用的人才:每个人都有一套特定的技能，但他们可能无法使用它们。这是一种浪费，尤其是如果把一个人分配到不同的任务可以更好地利用他们。
- 交通:在制造业中，这指的是任何移动，无论是从仓库到装配线，还是从装配线到客户。在数据中，这指的是数据摄取、复制、跨分布式文件系统的存储，或者任何数据从A移动到B的潜在浪费活动。
- 库存:数据在一定时间后过期，然后需要从所有存储库中获取。有时候，这并不会发生，尤其是像这样的结构数据的湖泊．
- 运动:与交通运输类似，只不过它指的是人的流动而不是数据。如果团队成员必须执行冗长的任务来访问数据或登录到系统中，那么这就是浪费。
- 额外的处理:数据集成过程可能要经过比所需的更多的步骤。例如，ETL中的转换阶段将数据转换为正确的模式。然后将数据加载到存储库中。此时，不需要再次检查新数据是否在正确的模式中。
精益集成通常是对敏捷等其他项目方法的补充，因为这两种方法从根本上都是关于良好的沟通。管理人员可以绘制他们的流程，识别浪费的区域，并设计为客户创造价值的新方法。但要让这些想法成为现实，执行这些过程的人必须了解发生了什么。
精益集成也从反馈中显著受益。管理者对整个过程有一个鸟瞰的视角，但他们经常会错过一些细节。团队成员可以帮助识别导致浪费的更微妙的问题。
