大数据技术-主数据管理MDM

2023-06-14

我目前从事医疗行业，在医疗行业里最典型的主数据就是患者，各个医院里可能存在不同的供应商、不同历史阶段建设的不同的业务系统，其对患者的标识号不可能做到统一，而此时如果想要将各个业务系统的患者信息拉通，就需要建设所谓的患者主索引管理(EMPI)系统。

某种意义上来讲，患者信息对于医院就是主数据，主数据管理系统就是实现主数据的识别、抽取、审核、发布、生成、变更、失效的全生命周期管理。

主数据定义

主数据（Master Data）是指在一个组织内部跨多个系统、应用程序和业务过程中共享、使用和维护的关键业务实体的核心数据。这些数据通常包括客户、产品、供应商、员工和其他重要的业务对象的信息。主数据的目的是确保数据在组织内的一致性、准确性和可靠性。

主数据经常在交互业务中出现，但是其通常是趋于静态，与那些波动较大的交易数据相比，主数据的更新频率相对较低。

主数据可以根据不同的业务领域和实体进行分类。以下是一些主数据类别，具体的公司、具体的业务会定制不同的主数据类别：

（1）客户数据（Customer Data）：包括客户的基本信息、联系方式、交易历史、信用评分等。

（2）产品数据（Product Data）：包括产品的描述、分类、规格、价格、供应商信息等。

（3）供应商数据（Supplier Data）：包括供应商的基本信息、联系方式、合同信息、评价等。

（4）资产数据（Asset Data）：包括组织的固定资产、设备、设施、软件许可等的详细信息。

（5）员工数据（Employee Data）：包括员工的个人信息、职位、履历、培训记录、绩效评估等。

（6）组织数据（Organization Data）：包括公司的部门、地点、业务单元、成本中心等相关信息。

主数据具有一些特定的特征，这些特征使其在组织内具有重要的价值。以下是主数据的三个关键特征：

关键性（Criticality）：主数据包含组织内最关键的业务实体信息，如客户、产品、供应商等。这些数据对业务运营和决策过程至关重要。
共享性（Shareability）：主数据通常需要在组织内的多个部门、系统和业务过程中共享和使用。这要求主数据在不同的应用和业务场景中保持一致性和准确性。
持久性（Persistence）：主数据通常具有较长的生命周期，需要在一定时期内保持稳定。与其他类型的数据（如交易数据）相比，主数据的变更频率较低。

《主数据管理实际白皮书1.0》针对主数据特征给出了五个超越，是对这三个关键特征的完美诠释：

超越部门。主数据不是那种局限于某个具体职能部门的数据库。主数据是满足跨部门业务协同需要的，是各个职能部门在开展业务过程中都需要的数据，是所有职能部门及其业务过程的“最大公约数据”。
超越流程。主数据不依赖于某个具体的业务流程，但却是主要业务流程都需要的。主数据的核心是反映对象的状态属性，它不随某个具体流程而发生改变，而是作为其完整流程的不变要素。
超越主题。与信息工程方法论中通过聚类方法选择主题数据不同，主数据是不依赖于特定业务主题却又服务于所有业务主题的有关业务实体的核心信息。
超越系统。主数据管理系统是信息系统建设的基础，应该保持相对独立，它服务于但是高于其它业务信息系统，因此对主数据的管理要集中化、系统化、规范化。
超越技术。由于主数据要满足跨部门的业务协同，因而必须适应采用不同技术规范的不同业务系统，所以主数据必须应用一种能够为各类异构系统所兼容的技术条件。从这个意义上讲，面向微服务架构为主数据的实施提供了有效的工具。

根据主索引到各业务系统中查找对应的主数据记录ID，然后根据各系统记录ID将主数据信息取回并加以展现，在主数据管理系统中，对唯一实体在不同系统中的记录ID进行映射管理。

将各个业务系统的主数据完全抽取出来，将其全部储存于交易中心型主数据管理系统中，由交易中心型主数据管理系统来维护主数据的唯一拷贝。简言之就是统一提供主数据管理，各业务系统通过接口调用的方式来进行主数据的读取。

前面两种的复合性。主数据的公共属性由服务统一管理，特色属性由各业务系统自行管理。

将不同表结构和数据库中的主数据，通过ETL工具把数据抽取到主数据管理系统中。

由于不同业务系统中的数据标准不统一，比如性别，有些用汉字，有些用编码，通过用ETL或程序的方式将编码统一标准化后，进行存储。

如何将相同的主数据进行匹配，通常有两种方法，确定性匹配和可能性匹配，确定性匹配就是根据固定的规则，比如身份证号进行唯一匹配，相同者匹配成功，不同者失败。

可能性匹配，则是相拟度分析，根据规则来决定是否匹配，或者通过人为来判断。

分为逻辑归并和物理归并，逻辑归并只是通过映射或其他方式认为两条或多条主数据为一个实体对象，物理归并，则将两条信息记录合并为一条信息记录