空间数据的质量控制

第七章空间数据的质量控制GeographicDatabaseQueryandAnalysisSpatialDataInputandManagementOutput:DisplayHelpPrevent“Garbagein，Garbageout！”GIS一、空间数据质量1.空间数据质量的定义空间数据质量是指数据适用于不同应用的能力空间位置、专 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 特性以及时间是 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达现实世界空间变化的三个基本要素。数据质量则是空间数据在表达这三个基本要素时,所能够达到的准确性、一致性、完整性以及它们三者之间统一性的程度。完整性:能否完全地表达要描述的给定目标空间数据质量的好坏是一个相对概念2.数据质量的描述框架导致数据质量问题的十大原因：多重数据源数据生产中主观的判断与技术过松或过严的输入规则大量的数据分布式异构系统复杂的数据表达，如文本和图像不同功能领域的编码数据客户改变数据需求安全与可访问性的权限有限的计算资源数据质量主要侧重问题：数据的可信度，这是在数据生产过程中形成的质量，为本征质量数据的可用度，从用户或数据共享的角度出发描述数据质量，将用户要求的满意程度作为衡量数据质量的重要指标，此时的数据质量表现为满足使用要求的相对状态（1）数据可信度精确性完整性一致性有效性唯一性精确性数据的准确度:被定义为结果、计算值或估计值与真实值或者大家公认的真值的接近程度。即一个记录值(测量或观察值)与它的真实值之间的接近程度。它可用误差来衡量。数据的精密度：数据表示的精密程度,用数据的有效位数来表示,它表现了测量值本身的离散程度。数据的精确度：精密度的实质在于它对数据准确度的影响,同时在很多情况下,它可以通过准确度而得到体现,故常把二者结合在一起称为精确度,简称精度,即对现象描述的详细程度。精度低的数据并不一定准确度也低.完整性指地理数据在范围、 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 和结构等方面满足所有要求的完整程度，包括数据范围、空间实体类型、空间关系分类、属性特征分类等方面的完整性。一致性：指地理数据关系上的可靠性，包括数据结构、数据内容，以及拓扑性质上的内在一致性有效性：数据是否具有实际意义唯一性：数据记录与特征信息是否存在一一对应关系（2）数据可用度时间性：数据的现势性，稳定性可得性：来源、版权、使用期限满意度：是否满意、是否清晰易懂、能否动态扩充3.影响空间数据质量的原因（1）空间现象自身的不稳定性（2）空间数据生产中的误差系统误差：在相同的测量条件下的测量值序列中数值、符号保持不变或按某确定规律变化的测量误差随机误差：在实际相同条件下，多次测量同一量值时，其绝对值和符号无法预计的测量误差粗差：在相同的测量条件下的测量值序列中，超过三倍中误差的测量误差常见空间数据误差分析逻辑误差：数据的不完整性是通过上述四类误差反映出来的。事实上检查逻辑误差,有助于发现不完整的数据和其他三类误差。对数据进行质量控制或质量保证或质量评价,一般先从数据的逻辑性检查人手。(2)几何误差。由于地图是以二维平面坐标表示位置,在二维平面上的几何误差主要反映在点和线上。a.点误差。关于某点的点误差即为测量位置(x,y)与其真实位置(x0,y0)的差异。坐标误差定义为: Δx=x-x0Δy=y-y0为了衡量整个数据采集区域或制图区域内的点误差,一般采用抽样测算(Δx,Δy)。抽样点应随机分布于数据采集区内,并具有代表性。这样抽样点越多,所测的误差分布就越接近于点误差的真实分布。b.线误差。线在系统数据库中既可表示线性现象,又可以通过连成的多边形表示面状现象。第一类：线在真实世界中是可以找到的,如道路、河流、行政界线等,这类线性特征的误差主要产生于测量和对数据的后处理;第二类：现实世界中找不到的,如按数学投影定义的经纬线、等高线、气候区划线和土壤类型界限等,这类线性特征的线误差,被称为解译误差。解译误差与属性误差直接相关,若没有属性误差,则可以认为那些类型界线是准确的,因而解译误差为零。数据质量的描述通常分为不同层次，但目前尚未形成用于表示这种层次性的统一术语确保空间数据质量难度较大：不同的数据来源、数据源的专业性和独立性在统一的地理框架下建立跨系统、跨部门的统一用户视图，清理、合并数据对数据质量解决方案的实施至关重要遥感数据获取误差是获取数据的过程中受自然条件及卫星的成图成像系统影响所造成的误差处理误差是利用地面控制点对原始数据进行几何校正、图像增强和分类等引起的误差转换误差一般是在矢量与栅格数据转换过程中形成的人工判读误差：解析和判读时产生（3）空间数据处理中的误差投影变换地图数字化和扫描后的矢量化处理数据格式转换数据抽象建立拓扑关系与主控数据层的匹配数据叠加操作和更新数据集成处理数据的可视化表达数据处理过程中误差的传递和扩散（4）数据组织时产生的质量问题数据组织时的质量问题可能出在单个或多个数据集合中与数据记录本身相关的质量问题，称为实例相关问题；与数据组织关系有关的质量问题，称为模式相关问题数据组织中产生的质量问题主要是由于缺乏合适的数据模型或满足特定应用的完整性约束而引起的典型的实例相关问题空缺值拼写问题内嵌数据属性依赖冲突数据重复二、质量控制体系1.质量管理体系2.质量 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 体系空间数据质量标准是生产、使用和评价空间数据的依据。目前,世界上已建立了一些数据质量标准,如美国FGDC的质量标准等。空间数据质量标准的建立必须考虑数据产生的全过程。空间数据分类标准(1)原则：1）遵循已有的国家标准，以利于全国范围内的数据共享。2）遵循国务院有关部委以及军队正在使用的数据标准。3）遵循各领域中普遍使用和认同的数据标准。4）当各种数据标准相互矛盾时，应遵循由上而下的原则进行处理。5）制定新的数据标准时，应尽可能参考同类标准。(2)目前我国已有的与GIS有关的关于空间数据分类的国家标准：GB2260-95《中华人民共和国行政区划代码》GB13923-92《国土基础信息数据分类与代码》GB11708-89《公路桥梁命名和编码规则》GB14804-93《1：500、1：1000、1：2000地形要素分类与代码》等等。空间数据交换标准(1)外部数据交换标准特点：自动化程度不高，速度较慢等，但它可解决不同GIS之间的数据转换问题。它仍然是实现数据共享的主流方式。(2)空间数据互操作协议特点：比外部数据交换标准方便，但由于各种软件存储和处理空间数据的方式不同，空间数据的互操作函数又不可能很庞大，因此往往不能解决所有问题。服务器存放空间数据，采用客户机/服务器体系结构，各种GIS通过一个公共的平台在服务器存取所有数据，以避免数据的不一致性。特点：思路较好，但现有的GIS软件各有自己的底层，要统一平台目前难以实现(3)空间数据共享平台在对空间数据模型有共同理解的基础上，各系统开发专门的双向转换程序，将本系统的内部数据结构转换成统一数据库的接口。特点：这种方式的前提，首先要求对现实世界进行统一的面向对象的数据理解，这不易实现的目前：外部数据交换标准仍是实现数据共享的主流方式。(4)统一数据库接口空间数据质量标准的要素及内容(1)数据情况说明：对地理数据的来源、内容及处理过程等做出准确、全面和详尽的说明。(2)位置精度：为空间实体的坐标数据及实体真实位置的接近程度,常表现为空间三维坐标数据精度。它包括数学基础精度、平面精度、高程精度、接边精度、形状再现精度(形状保真度)、像元定位精度(图像分辨率)等。(3)属性精度：指空间实体的属性值与其真值相符的程度。通常取决于地理数据的类型,且常常与位置精度有关,包括要素分类与代码的正确性、要素属性值的准确性及其名称的正确性等。(4)时间精度：要素时间属性和时间关系的准确度(5)逻辑一致性：指地理数据关系上的可靠性，包括数据结构、数据内容(如毛面积、净面积和扣除面积的关系),以及拓扑性质上的内在一致性。(6)数据完整性。指地理数据在范围、内容及结构等方面满足所有要求的完整程度,包括数据范围、空间实体类型、空间关系分类、属性特征分类（如土地利用分类编码能否涵盖所有现象）等方面的完整性。(7)表达形式的合理性。主要指数据抽象、数据表达与真实地理世界的吻合性,包括空间特征、专题特征和时间特征表达的合理性等。3.质量控制措施质量控制传统的手工方法元数据方法地理相关法将数字化数据与数据源进行比较，图形部分的检查包括目视方法、绘制到透明图上与原图叠加比较，属性部分的检查采用与原属性逐个对比或其他比较方法。数据集的元数据中包含了大量的有关数据质量的信息，通过它可以检查数据质量，了解数据质量的状况和变化。用空间数据的地理特征要素自身的相关性来分析数据的质量。（1）总体技术方案的控制与评价用户需求分析及联合设计数据源制图综合数据生产时间引用标准数学基础要素分类编码数据格式技术路线与技术性实验（2）数据源质量控制（3）数据生产质量控制（4）数据加工处理质量控制（5）数据质量控制策略数据清洗生产组织管理建立质量保障体系建立“二级检查、一级验收” 制度 关于办公室下班关闭电源制度矿山事故隐患举报和奖励制度制度下载人事管理制度doc盘点制度下载 区分数据清理的优先级监理机构设定三、质量评价体系1.质量评价模式最小质量标准模式，是规定阈值的评价模式元数据标准模式，是真实标记模式市场标准模式，是真实标记和信息反馈结合的模式空间数据质量评价矩阵表数据描述数据要素空间特征时间特征专题特征世系(继承性)位置精度属性精度逻辑一致性完整性表现形式准确性2.质量评价方法（1）直接评价法1）用计算机程序自动检测某些类型的错误可以用计算机软件自动发现，数据中不符合要求的数据项的百分率或平均质量等级也可由计算机软件算出。此外，还可检测文件格式是否符合规范、编码是否正确、数据是否超出范围等。2）随机抽样检测在确定抽样方案时，应考虑数据的空间相关性。（2）间接评价法-----（地理相关法和元数据法）指通过外部知识或信息进行推理来确定空间数据的质量的方法。用于推理的外部知识或信息如用途、数据历史记录、数据源的质量、数据生产的方法、误差传递模型等。（3）综合评价方法通过对数据质量的各组成部分的评价结果进行的综合分析来确定数据的总体质量的方法。数字化的误差评价和质量控制1）自动回归法由于跟踪数字化不仅是一个随机序列，而且是一个时间序列，因此可用数理统计中的时间序列分析法来确定数字化的误差。2）ε－Band法该方法适用于任何类型的GIS数据，关键是如何给出合理的ε值。评价数字化误差的方法3）对比法把数字化后的数据，用绘图机绘出，与原图叠合，选择明显地物点进行量测，以确定误差。除了几何精度外，属性精度、完整性、逻辑一致性等也可用对比法进行对照检查。ε－Band数字化过程中的质量控制1）数字化预处理工作包括对原始地图、表格等的整理、清绘。2）数字化设备的选用根据手扶数字化仪、扫描仪等设备的分辨率和精度等有关参数的进行挑选，这些参数不应低于设计的数据精度要求。3）数字化对点精度（准确性）数字化时数据采集点与原始点的重合程度，一般要求对点误差小于0.1mm。4）数字化限差包括：采点密度（0.2mm）、接边误差（0.02mm）、接合距离(0.02mm)、悬挂距离(0.007mm)等。5）数据的精度检查输出图与原始图之间的点位误差，一般要求对直线地物和独立地物，误差小于0.2mm，对曲线地物和水系，误差小于0.3mm，对边界模糊的要素应小于0.5mm。四、空间数据共享中的质量控制1.空间数据共享的法制建设问题2.基于元数据的空间数据共享质量控制Metadata可译成元数据,是描述数据的数据在地理空间数据中,元数据说明数据的内容、质量、状况和其他有关特征的背景信息。它主要反映数据集自身的特征规律,以便于用户对数据集的准确、高效与充分的开发与利用不同领域的数据库,其元数据的内容会有很大差异。用来组织和管理空间信息，并挖掘空间信息资源。帮助数据使用者查询所需空间信息。组织和维护一个机构对的投资。用来建立空间信息的数据目录和数据交换中心。提供数据转换方面的信息。元数据作用空间元数据的分类1）高层元数据（数据集系列Metadata），描述整个数据集的元数据，包括数据集区域采样原则，数据库的有效期，数据的时间跨度、分辨率以及方法等。是用户用于概括性查询数据集的主要内容。2）中层元数据（数据集Metadata），既可以作为数据集系列Metadata的组成部分，也可以作为后面数据集属性以及要素等内容的父Metadata数据集系列。全面反映数据集的内容。3）底层元数据（要素、属性的类型和实例Metadata），包括最近更新日期，位置纲量，存在问题标识（如数据的丢失原因），数据处理过程等。是元数据体系中详细描述现实世界的重要部分。空间元数据的内容对空间元数据所要描述的一般内容进行层次化和范式化，指定出可供参考与遵循的空间元数据标准的内容框架。第一层是目录层，主要用于对数据集信息进行宏观描述，适合在数字地球的国家级空间信息交换中心或区域以及全球范围内管理和查询空间信息时使用。第二层是空间元数据标准的主体，由八个基本内容部分和四个引用部分组成。元数据的获取数据收集后，根据需要产生的，包括数据处理过程描述、数据的利用情况、数据质量评估、数据集大小、数据存放路径等。数据收集前，得到的是根据要建设的数据库的内容而设计的元数据，包括数据类型、数据覆盖范围、使用仪器说明、数据变量表示、数据收集方法、数据时间、数据潜在利用等。1）三阶段：数据收集中，随数据的形成同步产生的元数据，例如在测量海洋要素数据时，测点的水平和垂直位置、深度、温度等是同时得到的。2）获取方法键盘输入关联法测量法计算法推理法现有的空间元数据标准元数据标准名称建立标准的组织GSDGM地理空间数据元数据内容标准FGDC，美国联邦地理数据委员会GDDD数据集描述方法MEGRIN，欧洲地图事务所CGSB空间数据集描述CSC，加拿大标准委员会CEN地学信息––数据描述––元数据CEN/TC287DIF目录交换格式美国宇航局(NASA)和全球变化数据管理国际工作组(IWGDMGC)ISO地理信息ISO/TC211ArcGIS-ArcCatalog--metadata空间数据质量—元数据实例描述1 主表数据集编号：11002000001数据集类型：数据库数据集专业类型：地理数据集名称：国家基础地理信息系统全国1:25万地形数据库数据集版本：1.0数据集语言：中文有效性：授权使用数据集摘要：全国1:25万数据库,是国家基础地理信息系统三个全国性空间数据库之一。它由地形数据库、数字高程模型(DEM)数据库、地名数据库三部分构成。地形数据库:以矢量方式存储管理1:25万地形图上的境界、水系、交通、居民地、地貌等要素。数据库管理系统采用ARC/ANF07.1版。覆盖范围：全国1:25万数据库在空间上包含816幅1:25万地形图数据,覆盖整个国土范围。国外部分沿国界外延25公里采集数据。全国816幅分布情况详见1:25万图幅接合表。数据量：1:25万地形数据库，4.5GB。数据库质量：全国1:25万数据库通过国家级验收,其数据完整性、逻辑一致性、位置精度、属性精度、接边精度、现势性均符合国家测绘局制定的有关技术规定和标准的要求,质量优良可靠。适用范围：全国1:25万数据库是国家空间数据基础设施的重要组成部分,为国民经济信息化提供数字化空间平台,为国家和省级各部门进行区域规划、灾害监测、防洪抢险、环境保护、宏观决策等提供信息服务。数据源说明：中华人民共和国国家测绘局编制的中国1:25万地形图。共816幅图,覆盖整个国土范围。按照经纬度划分图幅,每幅图的纬差为1度,经差为1.5度。数据源生产开始时间：数据源完成结束时间：97-12-30数据质量说明：全国1:25万数据库通过国家级验收,其数据完整性、逻辑一致性、位置精度、属性精度、接边精度、现势性均符合国家测绘局制定的有关技术规定和标准的要求,质量优良可靠。空间数据质量—元数据实例描述2数据集编号:11002000001子集编号:11002000001001子集名称:恩和哈达幅1:25万地形数据库子集文件名:\\dbase_server\gisdata25\tiles\N51\N5109数据摘要:图层数:10,图层名:bount,respt,roalk,hydnt,hydlk,terlk,ternt,atnlk,ggdln,quapy数据格式:Coverge图幅名称:恩和哈达图幅编号:N51C003001左下角经度:120/00/00左下角纬度:53/00/00右上角经度:121/30/00右上角纬度:54/00/00比例尺:250000空间参照信息:坐标系统:采用1954北京坐标系。高程基准:采用1956黄海高程系。地图投影:采用经纬度坐标——以度为单位。数据单位:十进制度数据录入单位:国家基础地理信息中心数字化方法:水系、等高线采用扫描矢量化方式采集数据,居民地、境界、交通等其它要素主要采用手扶数字化方式采集数据。URL位置:联系单位:主要地名:乌捷斯纳亚,恩和哈达,乌斯契斯特列尔卡,热各多契,西口子,木奇坎,奇雅河,前场,狼狈,卡腊甘,尼基京,八道卡,阿里亚金厂空间数据质量—元数据实例描述3