数据治理需要一个目标,目标由谁来定?
不同的系统,不同的厂商对同一个字典的定义不一样,应该采用谁的?例如同样的字典,性别:有的用1代表男,0代表女,有的用male
、female
。治理的时候采用谁的?
这就是数据标准模块应该解决的问题。
什么是数据标准?
数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,通过这套体系来推广和应用统一的数据定义、数据分类、纪律格式和转换、编码等来对数据的标准化,保障数据定义和使用的一致性、准确性和完整性的规范性约束。
为什么要做数据标准?
长久以来,绝大多数企业的系统建设都是依据业务需求来的,没有一个整体的规划,没有考虑是否与其它系统的功能或数据存在重复的问题,而且各个系统由不同的厂商和产品搭建,所以不同系统之间数据的不一致性难以避免,也造成多种数据问题:
1、数据共享难以实现
数据存储结构不一致,调用多系统的数据时,由于某些数据在不同系统中数据存储结构不同,导致数据无法直接关联,影响不同系统之间的数据共享。
2、数据同名不同义导致错误
数据定义不一致,不同系统对数据的命名、业务含义、取值范围等定义不同,比如同名不同义、同义不同名等。
3、沟通成本增加
数据理解不一致,不同人员对数据的理解不一致,导致在数据使用时浪费很多时间来进行沟通。
4、数据来源不明
数据来源不一致,数据存在多个来源,在使用数据时,不清楚应该取哪个系统的数据。
数据标准的分类
在企业日常管理和业务发展中,一般会从业务、技术、管理这三个维度对数据标准规范进行分类。
一、 业务标准规范。一般包括业务的定义、标准的名称、标准的分类等。对于业务人员而言,数据标准化建设,可以提升业务的规范性,进而提升工作效率;同时,保障了数据含义的一致性也可以降低沟通成本,从而为业务的数据分析、挖掘和信息共享提供便利。
二、 技术标准规范。从技术角度看待数据标准,包括数据的类型、长度、格式、编码规则等。对于技术人员来说,有了数据标准规范,可以大幅度提升工作效率,并降低系统的出错率,有助于数据质量的提升。
三、 管理标准规范。从管理角度,看待数据标准。比如数据标准的管理者是谁、如何增添和删减数据、访问数据的标准条件是什么等。对于管理人员来说,数据标准建设,保证了数据的完整、准确、安全,进而为企业的经营决策提供了支持和保障。
做数据标准的好处有哪些?
上述问题,任何一个的出现都会让人头痛不已,但是通过数据标准的建设,却可以有效消除数据跨系统的非一致性,从根源上解决数据定义和使用的不一致问题,为企业数据建设带来诸多好处:
- 数据标准的统一制定与管理,可保证数据定义和使用的一致性,促进企业级单一数据视图的形成,促进信息资源共享。
- 通过评估已有系统标准建设情况,可及时发现现有系统标准问题,支撑系统改造,减少数据转换,促进系统集成,提高数据质量。
- 数据标准可作为新建系统参考依据,为企业系统建设整体规划打好基础,减少系统建设工作量,保障新建系统完全符合标准。
同时,数据标准建设也为企业各类人员提供了强有力的支撑:
- 对业务人员而言,数据标准建设可提升业务规范性,保障人员对数据业务含义理解一致,支撑业务数据分析、挖掘及信息共享;
- 对技术人员而言,有数据标准作为支撑,可提升系统实施工作效率,保障系统建设符合规范,同时降低出错率,提升数据质量;
- 对管理人员而言,数据标准建设可提供更加完整、准确的数据,更好的支撑经营决策、精细化管理。
如何建设数据标准?
要让数据从下至上、从里到外真正做到高度一致,一定要进行有组织有纪律的规划,再按规划的流程进行实施,定能事半功倍。数据标准建设的实施流程如下:
1、标准规划
从实际情况出发,结合业界经验,收集国家标准、现行标准、新系统需求标准以及行业通行标准等,梳理出数据标准建设的整体范围,定义数据标准体系框架和分类,并制定数据标准的实施计划。不是所有的数据都需要建立数据标准,企业实际数据模型中有上万个字段,有些模型还会经常变换更新,没有必要将这些信息全部纳入到标准体系中,仅需对核心数据建立标准并落地,即可达到预期效果,同时也提升了工作效率。数据标准范围圈定建议如下:
- 共享性高、使用频率高的字段需要入标
- 监管报送或发文涉及到的业务信息需要入标
- 结合数据使用情况,对于关键数据的字段尽量入标
- 数据应用有使用需求的字段需要入标
- 与系统人员沟通其系统内重要信息来辅助入标判断
2、标准编制
数据标准管理办公室根据数据需求展开数据的编制工作、确定数据项,数据标准管理执行组根据所需数据项提供数据属性信息,例如:数据项的名称、编码、类型、长度、业务含义、数据来源、质量规则、安全级别、值域范围等。数据标准管理办公室对这些数据项进行标准化定义形成初稿并提交审核。
3、标准评审发布
数据标准管理委员会对数据标准初稿进行审核,判断数据标准是否符合企业的应用和管理需求,是否符合企业数据战略要求。如数据标准审查不通过,则由数据标准管理办公室进行修订,直到满足企业数据标准的发布要求。
标准通过审查后,由数据标准管理办公室面向全公司进行数据标准的发布。该过程中数据标准管理执行组需要配合进行数据标准发布对现有应用系统、数据模型的影响评估,并做好相应的应对策略。
4、标准落地执行
把已定义的数据标准与业务系统、应用和服务进行映射,标明标准和现状的关系以及可能影响到的应用。该过程中,对于企业新建的系统应当直接应用定义好的数据标准,对于旧系统则建议建立相应的数据映射关系,进行数据转换,逐步进行数据标准的落地。
当然,不是所有的数据标准都能够完全落地,实际工作中可能会存在历史系统无法改造的情况,所以首先确定数据标准落地策略和落地范围,并制定相应的落地方案,然后推动数据标准落地方案的执行,对标准落地情况进行跟踪并评估成效。
5、标准维护增强
数据标准后续可能会随着业务的发展变化、国标行标的变化、以及监管要求的变化需要不断更新和完善。在数据标准维护阶段,需要对标准变更建立相应的管理流程,并做好标准版本管理。