2021年大数据治理体系模板

数据治理体系目录1.范围12.规范性引用文件13.术语、定义和缩略语54.总体说明84.1.概述84.2.目标94.3. 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 95.数据治理体系105.1.总体框架105.2.组织架构115.2.1.组织组成115.2.2.角色职责125.3.系统架构125.3.1.系统功效框架125.3.2.系统模块步骤145.4.系统边界155.4.1.和企业级省大数据平台关系165.4.2.和对外能力开放平台关系165.4.3.和平台运维系统关系166.数据治理关键模块176.1.数据标准管理176.1.1.背景176.1.2.186.1.3.目标及标准196.1.4.业务分类和定义196.1.5.技术功效要求236.1.6.本期建设范围及内容266.1.7.实施要求276.2.元数据管理276.2.1.背景和定义276.2.2.元数据运行模式296.2.3.元模型标准296.2.4.元数据运维336.2.5.本期关键建设内容346.3.数据质量管理346.3.1.和传统经营分析系统区分346.3.2.范围和标准356.3.3.和其它功效模块关系366.3.4.本期数据质量功效需求386.3.5.本期数据质量运维要求396.4.数据资产管理406.4.1.数据资产概述406.4.2.数据资产范围416.4.3.和其它功效模块关系426.4.4.本期数据资产功效需求426.4.5.本期建设内容456.5.数据安全管理456.5.1.数据安全概述456.5.2.建设标准466.5.3.建设内容466.5.4.边界关系466.5.5.技术功效476.5.6.管理要求487.数据治理场景527.1.背景描述527.2.场景一：银行伪卡交易判别527.2.1.背景介绍527.2.2.场景描述537.3.场景二：银行手机贷业务547.3.1.背景介绍547.3.2.场景描述548.附录55附录一：数据标准框架55附录二：数据标准体系定义内容示例56前言本规范制订是为了愈加好地实现中国移动企业级省大数据平台数据治理子系统建设和管理，为省大数据平台上各类基础技术和应用提供支撑，加强省大数据平台上数据管控力度，增强数据治理子系统本身管理能力。本规范关键包含以下几方面内容：总体说明、数据治理体系、数据治理关键模块、数据治理场景等。本规范是中国移动企业级大数据平台系列规范之一。该系列规范结构、名称或估计名称以下：序号标准编号标准名称[1]QB-Y-***-中国移动企业级大数据平台目标架构[2]QB-Y-***-中国移动企业级省大数据平台技术规范总册[3]QB-Y-***-中国移动企业级省大数据平台技术规范分册[4]QB-Y-***-中国移动企业级省大数据平台技术规范技术 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 分册[5]QB-Y-***-中国移动企业级省大数据平台技术规范数据模型分册[6]QB-Y-***-中国移动企业级省大数据平台技术规范外部接口分册[7]QB-Y-***-中国移动企业级省大数据平台技术规范服务开放分册[8]QB-Y-***-中国移动企业级省大数据平台技术规范服务开放技术方案分册[9]QB-Y-***-中国移动企业级省大数据平台技术规范数据治理分册[10]QB-Y-***-中国移动企业级省大数据平台技术规范数据治理技术方案分册[11]QB-Y-***-中国移动企业级省大数据平台技术规范运行维护分册[12]QB-Y-***-中国移动企业级省大数据平台技术规范安全管理技术方案本规范由中移技﹝××﹞××印发。本规范由中国移动通信集团企业业务支撑系统部提出，集团企业技术部归口。本规范起草单位：中国移动通信集团企业业务支撑系统部。本规范关键起草人：段云峰、汪新勇、赵静、周立、、任怡健、王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉。范围本规范要求了中国移动企业级省大数据平台数据治理子系统建设内容，适适用于中国移动各省（直辖市、自治区）企业企业级省大数据平台数据治理子系统建设。规范性引用文件下列文件中条款经过本规范引用而成为本规范条款。通常标注日期引用文件，其随即全部修改单（不包含勘误内容）或修订版均不适适用于本规范。然而，激励依据本规范达成协议各方对是否使用这些文件最新版本进行研究。通常不标注日期引用文件，其最新版本适适用于本规范。[1]《中国移动省级经营分析系统业务规范(v1.0)》中国移动通信[2]《中国移动省级经营分析系统技术规范(v1.0)》中国移动通信[3]QB-J-010-《中国移动省级经营分析系统数据质量管理系统建设方案（v1.5）》中国移动通信[4]QB-J-006-《中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)》中国移动通信[5]QB-J-007-《中国移动省级经营分析系统数据集市业务技术规范(v1.5)》中国移动通信[6]QB-J-008-《中国移动省级经营分析系统和源系统接口规范(v1.5)》中国移动通信[7]QB-J-009-《中国移动省级经营分析系统和BOSS系统互动技术规范(v1.5)》中国移动通信[8]QB-J-003-《中国移动省级经营分析系统业务规范（v1.5）—基础业务分册》中国移动通信[9]QB-J-004-《中国移动省级经营分析系统业务规范（v1.5）—数据业务分册》中国移动通信[10]QB-J-005-《中国移动省级经营分析系统业务规范（v1.5）—集团用户分册》中国移动通信[11]QB-J-001-《中国移动业务运行支撑系统（BOSS）业务技术规范营销资源管理分册（2.0版）》中国移动通信[12]QB-J-001-《中国移动业务运行支撑系统（BOSS）业务技术规范客服信息分册（2.0版）》中国移动通信[13]QB-J-001-《中国移动业务运行支撑系统（BOSS）业务技术规范（2.0版）》中国移动通信[14]QB-J-021-《中国移动省级经营分析系统数据仓库逻辑数据模型规范（v2.0）》中国移动通信[15]QB-J-020-《中国移动省级经营分析系统和源数据接口规范（v2.0）》中国移动通信[16]QB-J-022-《中国移动省级经营分析系统数据集市业务技术规范（v2.0）》中国移动通信[17]QB-J-019-《中国移动省级经营分析系统业务规范渠道运行管理分析监控分册（v1.0）》中国移动通信[18]QB-J-018-《中国移动省级经营分析系统业务规范用户服务分册（v2.0）》中国移动通信[19]QB-J-017-《中国移动省级经营分析系统业务规范集团用户分册（v2.0》中国移动通信[20]QB-J-016-《中国移动省级经营分析系统数据质量管理系统业务技术规范（V2.0)》中国移动通信[21]《中国移动业务支撑网4A安全技术规范》中国移动通信[22]《中国移动省级经营分析系统技术规范总册（v2.0全量版）》中国移动通信[23]《中国移动省级经营分析系统技术规范逻辑模型分册（v2.0全量版）》中国移动通信[24]《中国移动省级经营分析系统技术规范数据集市分册（v2.0全量版）》中国移动通信[25]《中国移动省级经营分析系统技术规范数据质量管理子系统分册（v2.0全量版）》中国移动通信[26]《中国移动省级经营分析系统业务规范（v2.0全量版）》中国移动通信[27]《中国移动省级经营分析系统技术规范源系统接口分册（v2.0全量版）》中国移动通信[28]QB-J-002-《中国移动省级NG1-BASS技术规范总册(v1.0)》中国移动通信集团企业[29]QB-J-003-《中国移动省级NG1-BASS技术规范数据集市分册(v1.0)》中国移动通信集团企业[30]QB-J-004-《中国移动省级NG1-BASS技术规范逻辑模型分册(v1.0)》中国移动通信集团企业[31]QB-J-005-《中国移动省级NG1-BASS技术规范源系统接口分册(v1.0)》中国移动通信集团企业[32]QB-J-006-《中国移动省级NG1-BASS技术规范元数据管理分册(v1.0)》中国移动通信集团企业[33]QB-J-007-《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)》中国移动通信集团企业[34]QB-J-008-《中国移动省级NG1-BASS业务技术规范用户分析及运行分册(v1.0)》中国移动通信集团企业[35]QB-J-001-《中国移动省级NG1-BASS业务规范(v1.0)》中国移动通信集团企业[36]QB-Y-003-《中国移动省级NG1-BASS技术规范总册(v2.0)》中国移动通信集团企业[37]QB-Y-004-《中国移动省级NG1-BASS技术规范数据集市分册(v2.0)》中国移动通信集团企业[38]QB-Y-005-《中国移动省级NG1-BASS技术规范逻辑模型分册(v2.0)》中国移动通信集团企业[39]QB-Y-006-《中国移动省级NG1-BASS技术规范外部接口分册(v2.0)》中国移动通信集团企业[40]QB-Y-007-《中国移动省级NG1-BASS技术规范元数据管理分册(v2.0)》中国移动通信集团企业[41]QB-Y-008-《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)》中国移动通信集团企业[42]QB-Y-002-《中国移动省级NG1-BASS业务规范(v2.0)》中国移动通信集团企业[43]QB-Y-052-《中国移动省级NG2-BASS(v3.0)业务规范》中国移动通信集团企业[44]QB-Y-053-《中国移动省级NG2-BASS(v3.0)技术规范总册》中国移动通信集团企业[45]QB-Y-054-《中国移动省级NG2-BASS(v3.0)技术规范数据集市分册》中国移动通信集团企业[46]QB-Y-055-《中国移动省级NG2-BASS(v3.0)技术规范逻辑模型分册》中国移动通信集团企业[47]QB-Y-056-《中国移动省级NG2-BASS(v3.0)技术规范外部接口分册》中国移动通信集团企业[48]QB-Y-057-《中国移动省级NG2-BASS(v3.0)技术规范元数据管理分册》中国移动通信集团企业[49]QB-Y-058-《中国移动省级NG2-BASS(v3.0)技术规范数据质量管理子系统分册》中国移动通信集团企业[50]QB-Y-059-《中国移动省级NG2-BASS(v3.0)技术规范多OP能力交互分册》中国移动通信集团企业[51]QB-Y-060-《中国移动省级增值业务综合运行平台业务规范(v1.0)》中国移动通信集团企业[52]QB-Y-061-《中国移动省级增值业务综合运行平台技术规范(v1.0)》中国移动通信集团企业[53]QB-Y-062-《中国移动省级增值业务综合运行平台技术规范-数据管理分册(v1.0)》中国移动通信集团企业[54]QB-Y-063-《中国移动省级增值业务综合运行平台接口规范》中国移动通信集团企业[55]QB-Y-039-《中国移动省级NG2-BASS(v3.5)业务规范》中国移动通信集团企业[56]QB-Y-038-《中国移动省级NG2-BASS(v3.5)技术规范总册》中国移动通信集团企业[57]QB-Y-040-《中国移动省级NG2-BASS(v3.5)技术规范数据集市分册》中国移动通信集团企业[58]QB-Y-041-《中国移动省级NG2-BASS(v3.5)技术规范逻辑模型分册》中国移动通信集团企业[59]QB-Y-042-《中国移动省级NG2-BASS(v3.5)技术规范外部接口分册》中国移动通信集团企业[60]QB-Y-043-《中国移动省级NG2-BASS(v3.5)技术规范元数据管理分册》中国移动通信集团企业[61]QB-Y-044-《中国移动省级NG2-BASS(v3.5)技术规范数据质量管理子系统分册》中国移动通信集团企业[62]QB-Y-045-《中国移动省级NG2-BASS(v3.5)技术规范OP能力交互分册》中国移动通信集团企业[63]QB-Y-046-《中国移动省级增值业务综合运行平台业务规范(v1.5)》中国移动通信集团企业[64]QB-Y-047-《中国移动省级增值业务综合运行平台技术规范(v1.5)》中国移动通信集团企业[65]QB-Y-048-《中国移动省级NG2-BASS技术规范系统安全管理分册(v1.5)》中国移动通信集团企业[66]QB-Y-044-《中国移动省级NG2-BASS(v4.0)业务规范》中国移动通信集团企业[67]QB-Y-045-《中国移动省级NG2-BASS(v4.0)技术规范总册》中国移动通信集团企业[68]QB-Y-045.1-《中国移动省级NG2-BASS(v4.0)技术规范数据集市分册》中国移动通信集团企业[69]QB-Y-045.2-《中国移动省级NG2-BASS(v4.0)技术规范逻辑模型分册》中国移动通信集团企业[70]QB-Y-045.3-《中国移动省级NG2-BASS(v4.0)技术规范外部接口分册》中国移动通信集团企业[72]QB-Y-045.4-《中国移动省级NG2-BASS(v4.0)技术规范元数据管理分册》中国移动通信集团企业[73]QB-Y-045.5-《中国移动省级NG2-BASS(v4.0)技术规范数据质量管理子系统分册》中国移动通信集团企业[74]QB-Y-046-《中国移动省级增值业务综合运行平台业务规范V2.0.0》中国移动通信集团企业[75]QB-Y-047-《中国移动省级增值业务综合运行平台技术规范V2.0.0》中国移动通信集团企业[76]QB-Y-047.1-《中国移动省级增值业务综合运行平台技术规范数据管理分册V2.0.0》中国移动通信集团企业[77]QB-Y-044-《中国移动省级NG2-BASS(v4.5)业务规范》中国移动通信集团企业[78]QB-Y-045-《中国移动省级NG2-BASS(v4.5)技术规范总册》中国移动通信集团企业[79]QB-Y-045.1-《中国移动省级NG2-BASS(v4.5)技术规范数据集市分册》中国移动通信集团企业[80]QB-Y-045.2-《中国移动省级NG2-BASS(v4.5)技术规范逻辑模型分册》中国移动通信集团企业[81]QB-Y-045.3-《中国移动省级NG2-BASS(v4.5)技术规范外部接口分册》中国移动通信集团企业[82]QB-Y-045.4-《中国移动省级NG2-BASS(v4.5)技术规范元数据管理分册》中国移动通信集团企业[83]QB-Y-045.5-《中国移动省级NG2-BASS(v4.5)技术规范数据质量管理子系统分册》中国移动通信集团企业[84]QB-Y-045.6-《中国移动省级NG2-BASS(v4.5)技术规范安全管理技术方案》中国移动通信集团企业[85]QB-Y-046-《中国移动省级增值业务综合运行平台业务规范V2.5.0》中国移动通信集团企业[86]QB-Y-047-《中国移动省级增值业务综合运行平台技术规范V2.5.0》中国移动通信集团企业[87]QB-Y-047.1-《中国移动省级增值业务综合运行平台技术规范数据管理分册V2.5.0》中国移动通信集团企业术语、定义和缩略语下列术语、定义适适用于本规范：字母名词解释CCWMCWM标准是OMG组织定义数据仓库和相关系统国际元数据标准，给出了多种元数据结构标准定义。CWM标准目标在于：使数据仓库和商业智能软件元数据在异构数据分析工具、数据仓库平台、元数据存放库等系统之间进行交互。EETL特指从数据源系统到大数据平台数据抽取、转换和加载。G管理元数据描述大数据平台中管理领域相关概念、关系、规则数据，关键包含人员角色、岗位职责、管理步骤等信息。H关键元模型大数据平台关键元模型是以CWM为基础扩展形成，针对大数据平台物理模型、逻辑模型、数据处理过程、接口单元、指标和维度编码等关键实体进行正确定义，并要求各省大数据平台统一遵照元模型。定义关键元模型目标是建立大数据平台统一元数据管理标准，为元数据管理功效层和应用层解耦、为企业级总部大数据平台和企业级省大数据平台元数据交换和相互了解提供统一语义基础。H关键元模型参考表关键元模型参考表是对关键元模型中枚举类型属性进行枚举值定义编码表。参考表为枚举类型属性每个枚举值定义了唯一编码，并明确该编码语义，是关键元模型标准化定义关键组成部分。J技术元数据描述大数据平台中技术领域相关概念、关系、规则数据。关键包含对数据结构、数据处理方面特征描述，覆盖大数据平台数据源接口、数据仓库、ETL、OLAP、数据挖掘、前端展现等全部数据处理步骤。S数据处理过程数据从数据源系统到大数据平台前端使用整个处理过程，包含大数据平台数据仓库内部数据抽取、转换和加载。S数据采集点覆盖大数据平台数据处理步骤、获取每个步骤运行状态实体。该实体能够是程序实体也能够是任务实体S数据质量汇报数据质量汇报是对数据质量日常监控和质量评定等过程累积多种信息进行汇总、梳理、统计和分析，形成统计汇报S数据质量监控经过获取大数据平台各步骤数据质量监控信息，结合元数据库中相关检验规则，对各个步骤数据质量情况进行判定，并立即向数据质量监控人员汇报。S数据质量规则库数据质量规则库是对数据质量管理活动所用到多种判定及校验规则进行归类和存放存放结构，存放内容包含采集规则、监控规则、告警规则和审计规则等S数据质量信息库数据质量管理子系统存放层上存放结构，用于存放数据质量信息采集程序采集数据质量信息、质量评定信息、问题处理方案和问题处理步骤信息等S省企业中国移动通信集团各省（直辖市、自治区）移动通信。SSQL脚本自动解析SQL脚本自动解析指经过对SQL脚本词法、语法和语义进行分析，自动生成满足CWM规范要求数据处理过程技术元数据功效。Y业务元数据描述大数据平台中业务领域相关概念、关系、规则数据。关键包含业务术语、信息分类、指标定义（指标口径）、业务规则等信息。Y元模型元模型是描述元数据基础模型结构，用于说明元数据对象多种属性、结构和关系。Y元数据元数据是描述数据间关系数据。大数据平台中元数据泛指描述数据概念（Concepts）、数据间关系（Roles）、数据处理规则（Rules）数据，其中，领域语义（Semantics）和知识（Knowledge）也属于元数据范围。D数据标准指在中国移动台企业级省大数据平台下为了使企业内外部使用和交换数据是一致和正确，经协商一致制订并由大数据治理委员会主管机构同意，含有行业特点且共同使用和反复使用一个规范性约束。D数据标准体系指数据标准根据中国移动企业级省大数据平台需求对数据进行标准化划分归类。D数据标准内容根据数据标准体系划分要求分别给出各数据标准制订规范内容。D行业参考模型实体中国移动规范中原定义或新增加逻辑数据模型LDM实体。D公共代码标准需要引用外部公共标准机构标准。如：世界各国和地域名称代码等。下列略缩语适适用于本规范：缩写英文描述汉字描述ASTAbstractSyntaxTree抽象语法树BOSSBusinessOperationSupportSystem业务运行支撑系统CWMCommonWarehouseMetamodel公共仓库元模型ETLExtractionTransformationLoading抽取、转换和加载OLAPOn-lineAnalysisProcess在线分析处理XMIXMLMetadataInterchangeXML元数据交换BIBusinessIntelligence商务智能RESTRepresentationalStateTransfer表述性状态转移总体说明概述本规范用于指导企业级省大数据平台数据治理子系统建设，要求了省大数据平台数据治理范围和要求，明确了数据治理子系统体系结构，制订了数据治理子系统功效和处理步骤。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等功效模块。本方案借鉴资产管理方法理论来管理数据，将数据作为一个特殊资产，对进入平台数据进行标准化规范约束，并以元数据作为驱动，连接数据标准管理、数据质量管理、数据数据安全管理各个阶段，形成统一、完善数据治理体系，以处理实际业务问题为导向，增强数据治理子系统对业务发展支撑能力。目标数据治理子系统建设为数据治理工作提供强有力系统支撑。本期规范建设目标是以元数据为驱动，建立省大数据平台完整数据治理体系。从组织架构、系统功效等方面增强数据宏观管控，并实现精细化管理，具体包含：数据治理组织架构管理：定义数据治理所需人员组织上岗位和职责，从管理角度支撑数据治理工作落地和实施。数据标准管理：建立企业级省大数据平台数据标准体系，并制订数据标准运维管控制度和步骤。元数据管理：降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运行维护当中。数据质量管理：为内、外部用户提供平台化数据质量监控；经过扩充和优化公共规则库、确保数据完整性、一致性、正确性、立即性、正当性，提升用户使用感知；并提供数据质量应用满足个性化需求。数据资产管理：关键建设从 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 、注册、运维到注销全步骤管理体系，使数据资产管理系统化、可视化。数据安全管理：建立体系化数据安全管控策略，经过用户安全管理、数据安全管理实现全方位数据安全管控机制，经过技术手段和管理方法相结合方法落实数据安全，做到事前可管、事中可控、事后可查。标准企业级省大数据平台数据治理子系统建设应遵照以下基础标准： 有效性标准表现大数据平台数据治理过程中数据标准、质量、价值、管控有效性、高效性。价值化标准表现数据治理过程中以数据资产为价值关键，最大化大数据平台数据价值。 统一性标准表现大数据平台架构统一、标准统一、元数据统一、质量步骤统一、资产价值统一一体化管控平台体系。开放性标准表现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。产品化标准表现大数据平台数据治理能力显性化，经过产品化互联网思维服务大数据平台数据生态圈用户。安全性标准表现安全关键性、必需性，保障大数据平台数据安全和数据治理过程中数据安全可控。数据治理体系总体框架数据治理总体框架包含组织架构、数据治理模块、数据运维三部分。经过组织架构建立管理措施，制订工作步骤，确定角色职责。数据治理模块关键包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理，各模块协同运行，确保大数据平台数据一致、安全、有效。数据运维贯穿整个数据治理体系步骤中，实现平台化运维管理思绪。数据治理总体框架如图51所表示：图51数据治理体系框架组织架构Commentby汪新勇:是否模糊化，简明说一下数据治理需要由专员、专职负责，不明说建立专业机构。数据治理组织构建意在经过建立数据治理组织架构明确各级角色和职责，保障数据治理各项管理措施、工作步骤实施，推送数据治理工作有序开展。组织组成数据治理组织架构关键由数据治理委员会、数据治理中心和各业务部门组成。组织架构划分和角色设定如图52所表示：图52数据治理组织架构图角色职责组织责任体系是数据治理责任落地保障，数据治理组织架构经过明确各角色职责，实施认责制度，让数据治理工作愈加好融入到数据日常使用和相关工作中，从而推进数据运维自治实现，如表5-1。表5-1数据治理组织架构角色职责定义内容组织结构角色角色描述角色关键职责数据治理委员会数据管理决议者由企业主管领导和各业务部门领导组成负责牵头数据治理工作；制订数据治理政策、标准、规则、步骤，协调认责冲突；对数据事实治理，确保数据质量和隐私；在数据出现质量问题时负责仲裁工作。数据治理中心数据平台运行者数据管理中心机构平台运行人员负责提交数据标准要求及数据质量规则和业务规范，解释数据业务规则和含义；监督各项数据规则和规范约束落实情况；负责数据治理平台中整体数据管控步骤制订和平台功效系统支撑实施；负责平台整体运行、组织、协调。各业务部门数据提供者相关数据开发提供人员负责数据及相关系统开发，有责任实施数据标准和数据质量内容；负责从技术角度处理数据质量问题；作为数据出现质量问题时关键责任者。数据维护者数据维护人员制订相关数据标准、数据制度和规则；遵守和实施数据标准管控相关步骤，依据数据标准要求提供相关数据规范；作为数据出现质量问题时次要责任者。数据消费者数据使用人员，包含内部用户和外部用户作为数据治理平台数据管控步骤最终参与使用者；是数据资产价值获益人；作为数据治理平台数据闭环步骤提议人。系统架构系统功效框架数据治理功效框架明确了数据治理在企业级省大数据平台中定位，并以合理功效层次划分指导数据治理系统相关功效建设。系统功效框架如图53所表示。图53数据治理功效框架图企业级省大数据平台门户：企业级省大数据平台统一访问接口，供企业内、外部用户、第三方独立开发者访问及使用数据治理相关产品或功效，并负责统一访问认证及日志统计。能力开放平台：企业级省大数据平台统一对外服务层，数据治理相关产品及应用均经过这个层次进行注册、公布，并对内、外部开放。数据治理系统：数据标准：在数据标准管理组织架构推进和指导下，遵照协商一致制订数据标准规范，借助标准化管控步骤得以实施数据标准化整个过程。元数据：采取集中式管理模式进行元数据管理，全企业元数据逻辑集中，即元数据管理模块作为企业元数据统一公布源，集中管理元数据，提供元数据集中创建、维护、查询功效。数据质量：对数据从计划、获取、存放、共享、维护、应用、消亡生命周期每个阶段里可能引发各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并经过改善和提升组织管理水平使得数据质量取得深入提升。数据资产：计划、控制、提供数据及信息资产一组业务职能，包含开发、实施和监督相关数据计划、政策、方案、项目、步骤、方法和程序，从而控制、保护、提升数据资产价值。数据安全：经过计划、制订、实施数据安全政策和安全策略方法，为企业级大数据平台数据和信息提供行之有效认证、授权、访问和审计。数据运维：包含数据资产运维、数据质量运维，借鉴互联网思维，经过产品化运维工具来整体提升企业级大数据平台数据运维效率。Commentby汪新勇:在左侧目录里缺乏一个模块企业级省大数据平台：大数据基础平台，负责数据接入、存放、管理、应用及相关基础功效支撑。系统模块步骤图54数据治理系统功效各模块关系图如图54所表示，数据治理系统各模块之间，依据数据操作步骤产生相互关联，各模块业务步骤关系说明以下：L1：数据标准管理模块将标准定义映射到元数据信息上，实现数据标准规范要求落地。L2：元数据管理模块为数据资产管理模块提供存放模型、属性信息查询服务。L3：元数据管理模块为数据质量管理模块提供元数据相关属性信息。L4：用户经过元数据定义大数据平台数据结构。L5：数据质量管理模块依据采集需求从大数据平台采集数据。L6：数据质量管理模块将数据质量问题反馈给大数据平台。L7：数据质量管理模块向资产模块提交数据质量评定结果。L8：元数据管理模块为数据安全管理模块提供隐私等级定义服务。L9：数据资产管理模块提议资产访问申请，由数据安全管理模块控制用户访问权限，控制数据资产增加、删除、变更操作权限，对访问数据内容、数据属性等操作进行管控。L10：数据安全管理模块为大数据平台提供数据访问权限策略。系统边界企业级省大数据平台数据治理子系统和其它子系统之间存在数据交互、功效调用、步骤穿插等关联。数据治理子系统和大数据平台系统内其它子系统关系示意如图55所表示：图55数据治理子系统和各子系统边界图和企业级省大数据平台关系企业级省大数据平台上数据资产是数据治理关键对象；数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据安全等方面全方面支撑，使大数据平台上数据资产清楚、有序、安全、可控。和对外能力开放平台关系数据治理为对外能力开放平台提供元数据查询、数据安全管理支持；对外能力开放平台为数据治理提供统一数据治理产品及功效注册、公布、使用服务。和平台运维系统关系数据治理子系统支撑大数据平台数据管控步骤，并和平台运维交互协调，共同支撑大数据平台整体安全运维、数据运维和管理运维。数据治理关键模块数据标准管理背景中国移动企业级省大数据平台数据标准是在经营分析系统数据管控要求基础之上，借鉴互联网企业数据治理经验而提出。数据标准是指在中国移动企业级省大数据平台下，保障企业内外部使用和交换数据一致性和正确性，含有行业特点且共同使用一个规范性约束。数据标准是企业级省大数据平台数据治理基础性工作，是数据治理建设中首要步骤。首先，数据标准为企业级省大数据平台提供统一数据标准定义和平台逻辑模型。其次，数据标准是企业级省大数据平台进行数据治理依据和根本。再次，数据标准是衡量企业级省大数据平台数据资产运行和管理评定依据。最终，中国移动经过数据标准管理实施，实现对企业级省大数据平台全网数据统一运行管理。企业级省大数据平台数据治理体系中数据标准管理如图61所表示，包含制订数据标准规范性文件、进行数据标准化管控及数据标准管理组织。图61数据标准管理内容企业级省大数据平台数据标准管理和原经营分析系统数据管控区分以下表61所表示：表61企业级省大数据平台数据标准管理和原经营分析系统数据管控区分企业级省大数据平台数据标准管理原经营分析系统数据管控数据范围包含企业内外部数据运行相关数据，包含BOM三域数据、外部数据。数据仅限于市场经营活动B域和部分O,M域数据。业务应用模式以数据标准为基础数据治理体系，实现数据资产化，贯穿整个数据运行全步骤，形成以中国移动大数据平台为关键大数据生态圈，服务于企业内外部用户。以支撑企业内部经营分析为主。服务对象服务于整个大数据生态圈。原经营分析系统使用人员。目标及标准数据标准管理总体目标：经过统一数据标准制订和公布，结合制度约束、系统控制等手段，实现中国移动企业级省大数据平台数据完整性、有效性、一致性、规范性、开放性和共享性管理，提升企业级省大数据平台数据治理水平。数据标准制订标准：开放性：标准制订人人参与。共享性：数据标准化信息在大数据生态圈共享使用。完整性：涵盖用户、产品、服务、帐务、资源、网络等全部关键数据信息。有效性：信息正确度高、了解上不存在歧义。一致性：做到“五统一”,定义统一、口径统一、名称统一、起源统一、参考统一。规范性：制度规范、步骤控制、系统管理等。业务分类和定义数据标准体系分类数据标准制订如图62所表示，包含数据标准体系划分和数据标准内容制订，数据标准体系可分为基础类数据标准和指标类数据标准。图62数据标准体系划分数据标准内容制订数据标准内容制订根据数据标准体系分类要求分别给出数据标准制订规范要求。1、基础类数据标准基础类数据标准是经过多种业务处理产生或各类渠道采集基础性数据，在全国范围内必需是唯一定义，如“用户品牌”、“归属地市”。基础类数据标准分为行业参考模型实体标准和公共代码标准。行业参考模型实体标准指根据行业需求和中国移动省级数据逻辑模型实体规范要求，继承以往数据逻辑模型实体规范，将各域逻辑模型实体定义抽象为模型实体标准要求。行业参考模型实体数据标准体系定义内容如表62所表示。表62行业参考模型实体数据标准体系定义内容行业参考模型实体标准标准体系属性说明数据标准编码依据数据标准编码命名规则进行编写。标准专题数据标准归属专题标准子类数据标准归属类型汉字名称数据标准汉字名称。英文名称数据标准英文名称。实体编号依据行业参考模型实体编号命名规则进行编写。实体名称依据行业参考模型实体名称命名规则进行编写。数据版本该数据标准版本信息。数据体系分类依据数据分类规则对数据进行分类，以确保数据体系易用性，和符适用户查找习惯。关键等级集团规范定义数据为一级，省企业定义数据为二级，其它常见数据为三级。数据提供部门该数据标准定义数据提供部门。数据提供部门责任人该数据标准定义数据提供责任人。数据维护部门该数据标准定义数据维护部门。数据维护部门责任人该数据标准定义数据维护责任人。业务主管部门该数据标准定义数据业务主管部门，该部门对数据口径、编码取值和相关专业术语有决定权。业务主管部门责任人该数据标准定义数据业务责任人。数据起源系统如：BOSS,CRM,ERP等关键依据相关指标解释和描述文件。如集团规范、省企业规范、业务部门制订等等。业务定义指标业务描述口径，通常由业务部门使用业务语言制订。具体行业参考模型实体数据标准体系定义内容示例参见《附录二：数据标准体系定义内容示例》。公共代码标准，指对于部分共享程度较高、内容相对比较稳定编码，通常能够组织力量一次性地编制出来，其中有部分需要引用外部公共标准机构标准，比如：世界各国和地域名称代码等。公共代码标准体系定义内容如表63所表示。表63公共代码标准体系定义内容公共代码标准标准体系属性说明数据标准编码依据数据标准编码命名规则进行编写。公共标准号引入外部公共标准号汉字标准名称数据标准汉字名称英文标准名称数据标准英文名称。标准状态该标准状态，如现行、停止。公共标准机构名称引入该公共标准机构名称。数据标准体系依据数据分类规则对数据进行分类，以确保数据体系易用性，和符适用户查找习惯。关键等级集团规范定义数据为一级，省企业定义数据为二级，其它常见数据为三级。数据标准引入部门该数据标准引入和维护部门。数据标准引入部门责任人该数据标准引入和数据维护责任人。数据上报系统最终对数据进行计算和公布系统，也是各部门唯一获取指标数据起源系统。具体行业参考模型实体数据标准体系定义内容示例参见《附录二：数据标准体系定义内容示例》。2、指标类数据标准指标类数据标准是数据基础上根据一定业务规则加工汇总数据，如KPI指标数据。指标类数据又可分为基础指标和计算指标。基础指标通常不含维度信息，且含有特定业务和经济含义。计算指标通常由两个以上基础指标计算出。指标类数据标准体系定义内容如表64所表示。表64指标类数据标准体系定义内容指标类标准说明基础属性数据标准编码依据数据标准编码命名规则进行编写。汉字名称数据标准汉字名称。英文名称数据标准英文名称。应用场景该指标适适用于什么场景。数据版本该数据标准版本信息。数据体系分类依据数据分类规则对数据进行分类，以确保数据体系易用性，和符适用户查找习惯。关键等级集团规范定义数据为一级，省企业定义数据为二级，其它常见数据为三级。管理属性数据提供部门该数据标准定义数据提供部门。数据提供部门责任人该数据标准定义数据提供责任人。数据维护部门该数据标准定义数据维护部门。数据维护部门责任人该数据标准定义数据维护责任人。业务主管部门该数据标准定义数据业务主管部门，该部门对数据口径、编码取值和相关专业术语有决定权。业务主管部门责任人该数据标准定义数据业务责任人。数据上报系统最终对数据进行计算和公布系统，也是各部门唯一获取指标数据起源系统。数据生成系统生成数据所需数据所在起源系统，如BOSS系统。数据上游系统数据生成后上报给哪个系统，如ERP系统。业务属性关键依据相关指标解释和描述文件。如集团规范、省企业规范、业务部门制订等等。业务定义指标业务描述口径，通常由业务部门使用业务语言制订。计算步骤/算法用来描述指标具体计算过程。指标类型依据管理需要能够将指标分为基础指标、计算指标两类。计算指标 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 用于描述相关指标间平衡关系，可用于指标数据审核过程中，能有效地确保指标数据质量。技术属性计量单位数据使用单位如：“户”、“分钟”、“MB”、“元”、“次”、“%”等等。统计精度指标统计数值正确到小数还是整数。数据值域数据合理取值范围。统计周期数据统计周期如“日”、“周”、“月”、“季度”、“六个月”、“年”等等。统计粒度数据统计粒度如：“用户级”、“区县级”、“地市级”等。统计维度数据统计维度如：“地域”、“品牌”、“在网时长”、“用户等级”等。指标出数表指标数据起源于哪张物理表。指标出数代码指标数据起源于物理表哪个。具体行业参考模型实体数据标准体系定义内容示例参见《附录二：数据标准体系定义内容示例》。技术功效要求数据标准制订数据标准制订根据本册中数据标准管理业务分类和定义规范指导要求，基于各企业级省大数据平台数据管控需求进行数据标准规范制订。其制订数据标准规范内容在全省进行公布和通知，要求企业级省大数据平台系统根据该标准规范进行统一数据管理。数据标准制订包含数据标准编制、数据标准审查、数据标准公布。数据标准化管理组织将数据标准以正式发文方法在全企业范围内进行公布，并在公布后将数据标准、版本说明保留立案。最终将公布数据标准更新至数据标准管理模块中，如图63所表示。图63数据标准管理编制、审查、公布步骤图Commentby汪新勇:改为图6-4数据标准编制、审查和公布经过数据标准管理模块开发实现，其步骤如图63示：1、数据标准管理组织协调者组织数据提供者和实施者参与数据标准属性搜集和整理工作，并根据协商一致标准形成数据标准初稿。2、数据标准初稿进行数次讨论和丰富后，形成数据标准送审稿提交给数据标准管理决议者。3、经过数据标准管理决议者讨论审核后，由数据标准管理组织协调者再次进行数据标准修改完善，并完成数据标准公布。数据标准实施数省企业和各部门、分企业统一根据所制订数据标准实施数据标准管理，数据标准实施步骤如图64所表示。图64数据标准管理实施步骤图数据标准实施步骤步骤以下：1、数据标准制订公布后，将数据标准录入到数据标准管理模块。2、数据标准管理实施者根据公布数据标准，制订和公布数据标准接口。3、数据标准管理模块将标准要求提供给数据质量管理依据已录入系统数据标准形成稽查规则，对数据标准管理实施者制订和公布数据标准接口中内容进行相关标准稽核监控。4、将标准稽核结果发送给数据标准管理模块，并反馈给数据标准管理决议者和数据标准管理实施者。数据标准维护数据标准维护指数据标准建立后，依据业务需求发展改变或外部数据标准要求不一致时，对数据标准内容进行变更和版本管理，如图65所表示。图65数据标准管理变更步骤图数据标准管理变更经过数据标准管理系统开发实现落地，其步骤如图65所表示：1、对实施相关数据标准进行变更请求申请，组织该数据标准相关实施层和各数据运维者进行讨论和变更需求汇总。2、由数据标准管理组织协调机构进行标准变更审核。3、讨论审议数据标准项变更内容，并形成标准变更需求审批表提交给数据标准管理决议层进行审批。4、决议层将审批结果反馈给标准管理组织协调者，并由其进行数据标准公布及版本维护。数据标准监控数据标准监控实现对数据标准实施过程监控，包含对数据标准实施、效果、问题进行监控管理，为后期数据标准维护管理提供依据。数据标准监控经过数据标准管理和元数据管理、数据质量管理协同实现落地，监控步骤如图66所表示：图66数据标准管理监控步骤图数据标准管理监控步骤以下：数据管理者录入数据标准和元数据信息。依据数据标准制订数据标准接口。依据数据标准生成稽核规则，进行前向稽核,稽核正常进行下一步骤，稽核非正常返回错误文件统计给数据管理者做数据标准更新。数据提供者将数据提交到企业级大数据平台，而且完成对元数据采集。对数据提供者数据进行后向稽核，稽核正常则数据可提供数据消费者正常使用，稽核非正常返回错误信息统计给数据提供者做数据修订。本期建设范围及内容本期数据标准管理建设范围要求包含企业级省大数据平台中数据标准内容，但不在全集团范围内强制统一数据标准规范。本期具体建设内容包含：1、数据标准规范内容涵盖：行业参考模型实体标准指标数据标准公共代码标准2、数据标准化管控内容涵盖：建立数据标准化管理组织架构。搭建数据标准管理模块。实现数据标准管理步骤功效系统化，并衔接元数据管理、数据质量管理和数据资产管理形成数据治理闭环运维。提供具数据标准产品，如数据标准查询APP等。实施要求数据标准管理实施要求包含：1、数据标准统一计划。根据企业级省大数据平台数据治理要求，结合数据标准规范指导内容，构建适应企业级省大数据平台数据标准体系，并制订数据标准实施方案。2、建立数据标准管理支撑体系。要求包含数据标准管理组织架构、数据标准管理措施和制度步骤，和数据标准管理支撑工具。3、实现中国移动企业级省大数据平台中数据业务口径和技术口径有效协同统一。4、支撑中国移动企业级省大数据平台平台化、产品化和数据资产运行需求。5、支撑新增企业级省大数据平台数据接口内容标准化定义。6、满足原有数据可逐步进行数据标准规范迁移和统一。元数据管理背景元数据管理模块是大数据平台数据治理体系关键组成部分。IT研究和顾问咨询企业Gartner公布《十大战略性技术趋势》中对于企业战略性大数据描述以下：将多个系统，包含内容管理、数据仓库、数据集市和专门文件系统等和数据服务和元数据相互结合，组合为“逻辑”企业数据仓库。经过对这个“逻辑数据仓库”有效治理，为企业后续数据资产运行、增值和数据服务提供有效支撑。中国移动企业级省大数据平台是这种逻辑企业数据仓库一个具体落地实现，元数据管理建设将贯穿大数据平台建设、使用、运行、维护全过程，并发挥以下作用：提供企业级数据字典，便于内外部用户愈加好地了解企业数据概况；提供全局元数据查询检索，便于用户快速定位元数据；提供元数据具体描述，使用户了解数据组成、结构及数据流向；提供血缘/影响分析功效，便于用户进行分析判定、问题定位；提供元数据接口服务，便于其它系统或模块使用元数据服务；提供元数据应用，方便终端用户使用元数据;提供统一基于元数据描述API管理产品，集中管理平台开放内外部API。大数据平台元数据管理方面，和传统经分相比，关键有以下不一样点：管理范围不一样：新增集群NameNode节点管理元数据；新增集群DataNode节点业务/技术元数据；新增大数据平台内部和其和DW、MPP等跨工具/产品复杂数据流元数据。 管理制度 档案管理制度下载食品安全管理制度下载三类维修管理制度下载财务管理制度免费下载安全设施管理制度下载 方面：管理步骤：新增跨部门、跨系统多层次交互式元数据注册、维护、管理、使用步骤，同时需要针对不一样用户提供有针对性元数据产品支持。角色权限：管理上愈加细致分工，不一样部门需新增对应元数据查询、管理、维护角色；工具支撑方面：需支持大数据平台新增元数据范围地获取、存放和管理；需支持大数据平台海量元数据获取、存放、管理及应用；需提供标准化定义，并支持管理集群节点快速获取分节点运行元数据信息；需对大数据平台文件、语音、图片等非结构化数据标识元数据，即大数据相关词库元数据进行管理，并提供检索查询等应用支持；需经过元数据对大数据平台新增数据进行敏感定义及标识；需为终端用户提供简单易用元数据产品，降低使用成本。元数据运行模式本期规范要求，在提升元数据用户使用体验同时，着重改善元数据管理运行模式，关键建设前向元数据管控机制，并逐步探索集中大数据平台元数据管理方法。本期规范中，除元数据基础功效外，对元数据管理运行维护提出以下要求：对于集团统一标准规范元数据，严格根据集团提供元数据标准落地；对于大数据平台集群NameNode、文件目录等部分元数据，经过互通机制订时按集团要求格式上报。元模型标准相关元数据标准元模型部分，将在经分规范关键元模型基础上，依据大数据平台新增数据结构特点进行扩充，以满足这部分元数据获取、存放、管理及应用要求。关键包含集群节点namenode元数据及Hadoop文件/目录元数据。本期规范需要上报元数据信息，关键包含集群NameNode元数据，包含集群运行监控信息及文件/目录元数据。图67总部集群和省集群节点元数据上报关系示意图67为集团总控节点和省集群节点元数据上报关系示意图。集群节点定时上报其本身NameNode阶段运行信息及数据节点数据信息，供集团了解省分节点运行、存放情况，为后续统一管控提供基础支撑。集群监控类对于集群NameNode节点运行监控类元数据，属于ApacheHadoop私有定义，暂无法使用或在CWM规范基础上扩充。故直接引用ApacheHadoop相关定义，并对其进行合适规范。本期对NameNode节点元数据上报信息要求以下：英文名汉字名类型备注ConfiguredCapacity配置容量doublePresentCapacity目前总容量doubleDFSRemaining剩下容量doubleDFSUsed已用容量doubleDFSUsed%使用率double小数点后4位Underreplicatedblocks待复制数据块doubleBlockswithcorruptreplicas中止复制数据块doubleMissingblocks丢失数据块doubleDatanodesavailable可用节点数doubleDatanodesNonavailable不可用节点数double需要上报作业监控信息以下：英文名汉字名类型备注Name名称textDescription描述textLastModified更新时间dateSteps步骤doubleStatus状态textOwner拥有些人textDatanode节点需要上报元数据信息以下：英文名汉字名类型备注Name节点名称textHostname主机名textRack所属机架textDecommissionStatus可用状态textConfiguredCapacity配置容量doubleDFSUsed已用容量doubleNonDFSUsed非DFS使用容量doubleDFSRemaining剩下容量doubleDFSUsed%已用容量double小数点后4位DFSRemaining%使用率double小数点后4位ConfiguredCacheCapacity配置缓存容量doubleCacheUsed缓存使用量doubleCacheRemaining缓存剩下量doubleCacheUsed%缓存使用率double小数点后4位CacheRemaining%缓存剩下率double小数点后4位Lastcontact最近检验时间date数据节点类为支持大数据平台下文件、目录、Hbase、Hive相关元数据集中存放，本期规范将CWM关键元模型Table、Column、View类进行扩展，同时新增model.hadoop.hdfs模型包，里边包含目录（Directory）和文件（File）两个实体及相关属性。相关经分系统关键元模型及参考表，元模型标准CWM相关定义，请参考《中国移动省级NG2-BASS(v5.0)技术规范关键元模型规范》中相关章节描述。修订内容以下：1、需要修改元模型包含：Table类增加以下属性：location:String说明：存放大数据平台上该表对应HDFS文件目录信息。createTime:String说明：该表创建时间。creator:String说明：该表创建人。Column类增加以下属性：partitionColumnId:String说明：Hive表对应分区字段编号。View类增加以下属性：createTime:String说明：该视图创建时间。creator:String说明：该视图创建人。2、需要增加元模型包含：ColumnFamily类有以下属性：name:String说明：Hbase对应列簇名称。File类有以下属性：name:String说明：文件名称。path:String说明：文件路径信息。compressorType:String说明：压缩类型。size:String说明：文件大小。type:String说明：文件类型。permission:String说明：权限。owner:String说明：全部者。group:String说明：所属用户组。Directory类有以下属性：name:String说明：目录名称。path:String说明：路径信息。permission:String说明：权限。owner:String说明：全部者。group:String说明：所属用户组。3、需要增加元模型关系包含：添加TableToDirectory关系；添加ColumnFamilyToDirecitry关系。元数据运维在前期元数据运行维护要求基础上，满足本期大数据平台数据治理要求，对元数据维护提出以下补充要求：强化元数据管理制度要求，每个元数据均需将所属部门、责任人信息补充完整；为加强数据安全及隐私保护，每个元数据需提供对应数据隐私等级信息；细化元数据分类，在前期技术、业务、管理大分类基础上，增加从系统所属部门、系统及模块角度标识每个元数据；严控元数据版本，对于每次变更需具体统计变更原因、时间、人员等关键信息；细化元数据权限，对于不一样部门、人员、角色，仅授予工作所需最小权限，对于权限改变要严格审批。本期关键建设内容