GIS-3 第五章 GIS中的数据

null第五章 GIS中的数据第五章 GIS中的数据地理信息系统 ——原理、方法和应用学习目标学习目标了解空间数据的来源及其基本特征 理解空间数据质量及其相关概念 了解空间数据质量评价的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 ，并分析造成数据质量问题的来源 说明控制空间数据质量的措施 理解元数据的概念，了解空间数据元数据所用到的概念 了解空间数据元数据的分类和标准 了解空间数据元数据的获取方法 弄清为什么在地理信息系统中使用元数据 说明空间数据元数据的应用1 数据涵义与数据类型1 数据涵义与数据类型一、GIS中的空间数据来源 空间数据是代表着现实世界地理实体或现象在信息世界中的映射，其来源包括：①地图数据：来源于各种类型的普通地图和专题地图。 ②影像数据：来源于航空航天遥感，数据类型丰富，包括多平台、多时相、多光谱、多分辨率的遥感影象数据。 ③地形数据：来源于地形等高线图，已建立的数字高程模型和其他实测的地形数据。 ④属性数据：来源于各类调查报告、实测数据、文献资料、解译信息。 ⑤元数据：“meta”是一希腊语词根，意思是“改变”，“Metadata“一词的原意是关于数据变化的描述，即数据的数据。1 数据涵义与数据类型1 数据涵义与数据类型专题地图1 数据涵义与数据类型1 数据涵义与数据类型专题地图1 数据涵义与数据类型1 数据涵义与数据类型南京地区彩色红外照片1 数据涵义与数据类型1 数据涵义与数据类型中国遥感卫星镶嵌图1 数据涵义与数据类型1 数据涵义与数据类型下面以一幅交通图为例，来了解空间数据都有哪些特征?二、空间数据基本特征空间特征 定位信息：C1、C2、C3三条道路在不同的空间位置。 关联关系：主干道与次干道在结点N2处相联接，主干道的结点N1和N2相邻接，结点N2分别与三条路段C1、C2和C3相关联等，这些统称为拓扑关系；C3在C6的左边，称为方位关系；道路有一定的长度，称为度量关系。属性特征：道路分别具有不同的等级 时间特征：随着时间的推移，道路还将发生变化。 1 数据涵义与数据类型1 数据涵义与数据类型1 数据涵义与数据类型1 数据涵义与数据类型空间特征是指空间对象的位置及与相邻对象的空间关系或拓扑关系；空间特征示意：空间对象的位置、形状和大小等几何特征及相邻对象的空间拓扑关系1 数据涵义与数据类型1 数据涵义与数据类型三、空间数据的类型 按照空间数据的基本特征相应的空间数据的类型可分为： 空间特征数据 专题特征数据 时间特征数据 一般地，空间数据还可以分为 类型数据、面域数据、网络数据、样本数据、曲面数据、文本数据、符号数据。2 数据的测量尺度2 数据的测量尺度 测量的尺度分为四个层次：命名、次序、间隔、比例 属性数据根据测量的尺度分为四类： 命名（nominal ）量 次序（ordinal ）量 间隔（interval ）量 比例（ratio ）量这类数据以文字或字符表示地理实体的类型等质量特征。在GIS中，命名量常以数字代码表示地理实体的类别表示地理实体按某种特性排列的次序或等级。在GIS中常以数字表示等级 根据一个相对的基点以连续的量表示地理实体的数量特征，即间隔尺度数据可根据不同的零点和不同的度量单位测量。根据一个绝对的基点以连续的量表示地理实体的数量特征，它具有一定的绝对零点间隔测量尺度与比例测量尺度相似，但是间隔尺度的测量值无真的零值2 数据的测量尺度2 数据的测量尺度根据测度标准划分的属性数据类型比例数据或间隔数据可以比较容易的转变成次序或命名数据，而命名数据 则很难转化成次序、间隔或比例数据3、地理信息系统的数据质量3、地理信息系统的数据质量一、空间数据质量的概念 空间特征、属性特征和时间特征是空间数据的三个基本要素。而空间数据质量则是空间数据在表达这三个基本要素时，所能够达到的准确性、一致性和完整性。与数据质量相关的几个概念 （1）准确性：测量值与真值之间的接近程度，可用误差来衡量。 （2）精度：对现象描述的详细程度。数据的精度是指数据表示的有效位数。 （3）空间分辨率：是两个可测量数值之间最小的可辨识的差异。可以看作是记录变化的最小距离。 （4）比例尺：是地图上一个记录的距离和它所表现的“真实世界的”距离之间的一个比例。3、地理信息系统的数据质量3、地理信息系统的数据质量（5）误差：数据与真值之间的差异。是一种常用的衡量数据准确性的表达方式。 （6）不确定性：当某现象不能精确测得，当真值不可测或无法知道时，我们就无法确定误差，因而用不确定性取代误差。不确定性是关于空间过程和特征不能准确确定的程度，是自然界各种空间现象自身固有的属性。在 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 上以真值为中心的一个范围，这个范围越大，数据的不确定性也就越大。 包括空间位置的不确定性，属性不确定性，时域不确定性、逻辑上的不一致性和数据不完整性。3、地理信息系统的数据质量3、地理信息系统的数据质量二、空间数据质量问题的来源 根据空间数据自身存在的规律性，从几个方面阐述空间数据质量问题的来源： 空间现象自身存在的不稳定性（空间位置、时间及属性上的不确定性） 空间现象的表达（测量方法和测量精度 对数据误差的影响） 空间数据处理中的误差（各种处理） 空间数据使用中的误差（1对数据的解释过程，2缺少文档，如元数据 ） 3、地理信息系统的数据质量3、地理信息系统的数据质量三、空间数据误差分析 误差可分为随机和系统误差 GIS中数据的误差主要有四大类： 逻辑误差：有助于发现不完整数据和其它三类误差，一般的质量控制都从这块下手 几何误差：点误差和线误差；线误差的分布模式： 折线误差分布模式（骨头型和车链型），曲线的误差分布（串肠型） 属性误差 时间误差 （一）、误差的类型 GIS中的误差是指GIS中数据表示与其现实世界本身的差别。 3、地理信息系统的数据质量3、地理信息系统的数据质量1 地图数据质量 地图数据是现有地图经过数字化或扫描后生成的数据。在地图数据质量问题中，不仅含有地图固有的误差，还包括图纸变形、图形数字化等误差。 指用于数字化的地图本身所带有的误差，包括控制点误差、投影误差等。由于这些误差间的关系很难确定，所以很难对综合误差做出准确评价。 (1)地图固有误差（二 ）、主要空间数据的质量分析：3、地理信息系统的数据质量3、地理信息系统的数据质量(2)材料变形产生的误差 这类误差是由于图纸的大小受湿度和温度变化的影响而产生的。温度不变的情况下，若湿度由o％增至25％，则纸的尺寸可能改变1.6％；纸的膨胀率和收缩度并不相同，即使温度又恢复到原来的大小，图纸也不能恢复原有的尺寸。基于聚脂薄膜的底图与纸质地图相比，材料变形产生的误差相对较小。 3、地理信息系统的数据质量3、地理信息系统的数据质量 跟踪数字化时由于数字化操作人员技术与经验不同，常引入不同量的数字化误差。这主要表现在最佳采点点位的选择、十字丝与目标重叠程度的判断能力等方面。另外，数字化操作人员的疲劳程度和数字化的速度也会影响数字化的质量。 数字化仪操作中采点方式和采点密度等也会影响到数字化数据的质量。 数字化仪分辨率和精度对数字化的质量产生影响。通常，数字化仪的实际分辨率和精度比标称的分辨率和精度都要低一些。 扫描数字化时影响扫描数字化数字质量的因素包括原图质量(如清晰度)、扫描精度、扫描分辨率、配准精度、校正精度等。(3)图形数字化误差和要素对象•作业员•数字化仪 有关3、地理信息系统的数据质量3、地理信息系统的数据质量 遥感数据的质量问题，一部分来自遥感仪的观测过程，另一部分来自遥感图像处理和解译过程。遥感观测过程本身存在着精确度和准确度，其产生的误差主要表现为空间分辨率、几何畸变和辐射误差，这些误差将影响遥感数据的位置和属性精度。 遥感数据的误差积累过程可以分为： 数据获取误差 数据预处理误差 人工判读误差2．遥感数据的质量3、地理信息系统的数据质量3、地理信息系统的数据质量测量数据主要指使用大地测量、GPS、城市测量、摄影测量和其他一些测量方法直接量测所得到的测量对象的空间位置信息。这部分数据质量问题，主要是空间数据的位置误差。通常考虑的是系统误差、操作误差和偶然误差。 3．测量数据的质量(1)系统误差 系统误差的发生与一个确定的系统有关，它受环境因素(如温度、湿度和气压等)、仪器结构与性能以及操作人员技能等方面的因素影响。系统误差不能通过重复观测加以检查或消除，只能用数字模型模拟和估计。 3、地理信息系统的数据质量3、地理信息系统的数据质量(2) 操作误差 是操作人员在使用设备、读数或记录观测值时，因粗心或操作不当而产生的。应采用各种方法检查和消除操作误差。一般地，操作误差可通过简单的几何关系或代数检查验证其一致性，或通过重复观测检查并消除操作误差。 (3) 偶然误差 是一种随机的误差，由一些不可预料和不可控制的因素引入。这种误差具有一定的特征，如正负误差出现频率相同、大误差少、小误差多等。偶然误差可采用随机模型进行估计和处理。3、地理信息系统的数据质量3、地理信息系统的数据质量四、空间数据质量评价和控制 空间数据质量标准是生产、使用和评价空间数据的依据，数据质量是数据整体性能的综合体现。空间数据质量标准的建立必须考虑空间过程和现象的认知、表达、处理、再现等全过程。（1）、 空间数据质量标准要素及其内容 ①数据情况说明 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 对数据的来源、数据内容及其处理 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 等作出准确、全面和详尽的说明。3、地理信息系统的数据质量3、地理信息系统的数据质量②位置精度或称为定位精度 为空间实体的坐标数据与实体真实位置的接近程度，常常表现为空间三维坐标数据精度。包括数学基础精度、平面精度、形状保真度、像元定位精度（图像分辨率）。平面精度和高程精度又可分为相对精度和绝对精度。 ③属性精度 指空间实体的属性值与其真值相符程度。通常取决于地理数据的类型，且常常与位置精度有关，包括要素分类与代码正确性，要素属性值的准确性及其名称的正确性。 ④时间精度 指数据的现实性。可以通过数据更新的时间和频度来表现。3、地理信息系统的数据质量3、地理信息系统的数据质量⑤逻辑一致性 指地理数据关系上的可靠性，包括数据结构、数据内容（包括空间特征、专题特征和时间特征），以及拓扑性质。 ⑥数据完整性 指地理数据在范围、内容及结构方面的满足所有要求的完整程度，包括数据范围、空间实体类型、空间关系分类、属性特征分类等方面的完整性。 ⑦表达形式的合理性 主要指数据抽象、数据表达与真实地理世界的吻合性，包括空间特征、专题特征和时间特征表达的合理性。3、地理信息系统的数据质量3、地理信息系统的数据质量（2） 空间数据质量评价 就是用空间数据质量标准对数据所描述的空间特征、专题属性特征和时间特征进行评价。 具体可采用空间数据质量评价矩阵来进行空间数据描述空间数据要素3、地理信息系统的数据质量3、地理信息系统的数据质量（3） 空间数据质量控制 数据质量控制是个复杂的过程，要控制数据质量应从数据质量产生和扩散的所有过程和环节人手，以减少误差。①质量控制的人工方法 主要是将数字化数据与数据源进行比较。通常图形部分的检查包括目视方法、绘制到透明图上与原图叠加比较；属性部分的检查采用与原属性逐个对比或其他比较方法。(1)空间数据质量控制常见的方法3、地理信息系统的数据质量3、地理信息系统的数据质量②元数据方法 数据集的元数据中包含了大量的有关数据质量的信息．通过它可以检查数据质量，同时元数据也记录了数据处理过程中质量的变化。通过跟踪元数据可以了解数据质量的状况和变化。 ③地理相关法用空间数据的地理特征要素自身的相关性来分析数据的质量。例如，从自然特征的分布分析，发现山区河流在山脊线上，则说明必有数据存在质量问题。为帮助分析，可建立有关地理特征要素相关关系的知识库，以便对地理特征要素进行相关分析。3、地理信息系统的数据质量3、地理信息系统的数据质量五、空间数据的元数据 信息社会的发展，导致社会各行各业对翔实、准确的各种数据的需求量迅速增加以及数据库的大量出现。对不同类型数据，要求数据的内容、格式、说明等符合一定的规范和标准，以利于数据的交换、更新、检索、数据库集成以及数据的二次开发利用等，而这一切都离不开元数据(Metadata)。对空间数据的有效生产和利用，要求空间数据的规范化和标准化。例如，各应用领域的数据库不但要提供空间和属性数据，还应该包括大量的引导信息以及由纯数据得到的推理、分析和总结等，这些都是由空间数据的元数据系统实现的。 3、地理信息系统的数据质量3、地理信息系统的数据质量1 元数据标准概述 空间数据的复杂性带来了空间数据元数据标准建立的复杂性。并且由于种种原因，某些数据组织或数据用户开发出来的空间数据元数据标准很难为各部门广泛接受。但空间数据元数据标准的建立是空间数据标准化的前提和保证，只有建立起规范的空间数据元数据才能有效利用空间数据。因此，目前已形成了一些区域性或部门性的元数据标准。3、地理信息系统的数据质量3、地理信息系统的数据质量 现有的空间数据元数据标准 3、地理信息系统的数据质量3、地理信息系统的数据质量 美国联邦空间数据委员会(FGDC)的空间数据元数据标准影响较大，它确定了地学空间数据集的元数据内容。该标准于1992年7月开始起草，于1994年7月8日正式确认。它将地学领域中应用的空间数据元数据分为7个部分，它们是数据标识信息、数据质量信息、空间数据生产者描述信息、数据空间参考消息、地理实体及属性信息、数据传播及共享信息和元数据参考信息。3、地理信息系统的数据质量3、地理信息系统的数据质量2 空间数据元数据的概念(1)元数据概念 简要地说元数据就是关于数据的数据，是一种说明性数据，在地理空间信息中用于描述地理数据采集的内容、质量、状况、表示方式、空间参考、管理方式及其他特征。通过建立空间数据的元数据库并进行有效管理，使数据获取更加容易，这已成为信息资源实现有效管理和应用的重要手段。空间数据的元数据是实现地理空间信息共享的核心标准之一。 3、地理信息系统的数据质量3、地理信息系统的数据质量(2) 元数据的类型 通常，不同性质、不同领域的数据所需要的元数据内容会有差异，即使同一领域不同应用目的的元数据内容也会有很大的差异。进行元数据分类研究的目的在于充分了解和更好地使用元数据。分类的原则不同，元数据的分类体系和内容将会有很大的差异。 1)根据元数据的体系分类 ①科研型元数据 其主要目标是帮助用户获取各种来源的数据及其相关信息，它不仅包括诸如数据源名称、作者、主体内容等传统的、图书管理式的元数据，还包括数据拓扑关系等。这类元数据的任务是帮助科研工作者高效获取所需数据。 3、地理信息系统的数据质量3、地理信息系统的数据质量②评估型元数据 主要服务于数据利用的评价，内容包括数据最初收集情况、收集数据所用的仪器、数据获取的方法和依据、数据处理过程和算法、数据质量控制、采样方法、数据精度、数据的可信度、数据潜在应用领域等。 用于描述数据模型的元数据与描述数据的元数据在结构上大致相同，其内容包括模型名称、模型类型、建模过程、模型参数、边界条件、作者、引用模型描述、建模型使用软件、模型输出等。③模型元数据3、地理信息系统的数据质量3、地理信息系统的数据质量(1)数据层元数据 指描述数据集中每个数据的元数据，内容包括日期邮戳(指最近更新日期)、位置戳(指示实体的物理地址)、量纲、注释(如关于某项的说明见附录)、误差标识(可通过计算机消除)、缩略标识、存在问题标识(如数据缺失原因)、数据处理过程等。 包括为表达数据及其含义所建的数据字典、数据处理规则(协议)，如采样说明、数据传输线路及代数编码等。 2)根据元数据描述对象分类(2)属性元数据3、地理信息系统的数据质量3、地理信息系统的数据质量(3)实体元数据 描述整个数据集的元数据，内容包括数据集区域采样原则、数据库的有效期、数据时间跨度等。3)根据元数据在系统中的作用分类(1)系统级别元数据 用于实现文件系统特征或管理文件系统中数据的信息，如访问数据的时间、数据的大小等。3、地理信息系统的数据质量3、地理信息系统的数据质量(2)应用层元数据 有助于用户查找、评估、访问和管理数据等与数据用户有关的信息，如文本文件内容的摘要信息。4)根据元数据的作用分类(1)说明元数据 为用户使用数据服务的元数据。(2)控制元数据 用于计算机操作流程控制的元数据3、地理信息系统的数据质量3、地理信息系统的数据质量 目前，很多GIS开发商都提供空间元数据管理工具或提供一些一般性的空间元数据管理系统，如ArcGIS8.X中Arc Catalog直接支待多种常用的元数据，并提供了输入元数据存储方案的编辑器和浏览功能。但对空间元数据的表达大都采用文本性描述语言。它实际上相当于建立了空间数据的索引信息。 3．空间元数据的表达(1)文本性描述3、地理信息系统的数据质量3、地理信息系统的数据质量 文本性描述语言宋描述空间元数据具有通谷易懂、便于编辑等优点。但存在一些缺点：如元数据描述文本和被描述数据联系不够紧密、表达方式不够简洁、易产生语义上分歧、不利于空间元数据的标准化管理等。 因此出现了基于XML的空间元数据表达方式及其元语言标准(RDF)。克服了文本性描述语言的缺点，使不同元数据标准描述的空间元数据交换和集成成为可能。 (2)元语言标准3、地理信息系统的数据质量3、地理信息系统的数据质量 通过元数据，用户可对空间数据库进行浏览、检索和研究等。一个完整的地学 数据库除提供空间数据和属性数据外，还应提供丰富的引导信息以及由纯数据得 到的分析、综述和索引等。通过这些信息用户可以明白“这些数据是什么数据?”， “这个数据库对我有用吗?”，“这是我需要的数据吗?”等一系列问题。 4 空间数据元数据的应用(1) 帮助用户获取数据3、地理信息系统的数据质量3、地理信息系统的数据质量空间数据存在数据精度问题，空间数据精度主要受源数据的精度和数据加工 处理工程中精度质量的控制。空间数据质量控制内容包括： (2) 空间数据质量控制中的应用②保证数据逻辑科学地集成，如植被数据库中不同亚类的区域组合成大类区，这要求数据按一定逻辑关系有效地组合；①准确定义的数据字典，以说明数据的组成、各部分的名称、表征的内容等； 3、地理信息系统的数据质量3、地理信息系统的数据质量③有足够的说明数据来源、数据的加工处理工程、数据释译的信息。这些要求可通过元数据来实现，这类元数据的获取往往由专业和计算机领域的工作者来完成。 数据逻辑关系在数据中的表达要由专业工作者来 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 ，空间数据库的编码要求一定的专业基础，数据质量的控制和提高要有数据输入、数据查错、数据处理专业背景知识的工作人员，而数据再生产要由计算机基础较好的人员来实现。所有这方面的元数据，按一定的组织结构集成到数据库中构成数据库的元数据来实现上述功能。3、地理信息系统的数据质量3、地理信息系统的数据质量 数据集层次的元数据记录了数据格式、空间坐标体系、数据的表达形式、数据类型等信息。系统层次和应用层次的元数据则记录了数据使用软硬件环境、数据使用规范、数据标准等信息。 这些信息在数据集成的一系列处理中，如数据空间匹配、属性一致化处理、数据在各平台之间的转换使用等是必需的。这些信息能够使系统有效地控制系统中的数据流。 (3) 在数据集成中的应用3、地理信息系统的数据质量3、地理信息系统的数据质量 元数据系统用于数据库的管理，可以避免数据的重复存储，通过元数据建立的逻辑数据索引可以高效查询检索分布式数据库中任何物理存储的数据。减少数据用户查询数据库及获取数据的时间，从而降低数据库的费用。 数据库的建设和管理费用是数据库整体性能的反映，通过元数据可以实现数据库的设计和系统资源的利用方面开支的合理分配，数据库许多功能(如数据库检索、数据转换、数据分析等)的实现是靠系统资源的开发来实现的，因而这类元数据的开发和利用将大大增强数据库的功能并降低数据库的建设费用。(4) 数据存储和功能实现中的应用3、地理信息系统的数据质量3、地理信息系统的数据质量 （1）完整性：面向对象的地理信息系统和空间数据库的目标之一，就是把事物的有关数据都表示为类的形式，而这些类也包括类自身，即复杂的“类的类”结构。这就要求支持类与类之间相互印证和操作的机制，而元数据可以帮助这个机制的实现。5 在GIS中使用元数据的原因（2）可扩展性：有意地延伸一种计算机语言或者数据库特征的语义是很有用途的，如把跟踪或引擎信息的生成结果添加到操作请求中， 通过动态变化元数据信息可以实现这种功能。 （3）特殊化：继承机制是靠动态连接操作请求和操作体来实现的，语言集数据若以结构化和语义信息的关联文件方式把操作请求传递给操作体，而这些信息可以通过元数据表达。3、地理信息系统的数据质量3、地理信息系统的数据质量 （4）安全性：分类完好的语言和数据库都支持动态类型检测，类的信息表示为元数据，这样在系统运行时，可以被类检测者访问。（5）查错功能：在查错时使用元数据信息，有助于检测可运行应用系统的解释和修改状态。（6）浏览功能：为数据的控制开发浏览器时，为显示数据，要求能解译数据的结构，而这些信息是以元数据来表达的。（7）程序生成：如果允许访问元数据，则可以利用关于结构的信息自动生成程序。如数据库查询的优化处理和远程过程调用残体生成。3、地理信息系统的数据质量3、地理信息系统的数据质量三个阶段：第一阶段，根据要建设的数据库的内容而设计的元数据；第二阶段，元数据随数据的形成同步产生；第三阶段，元数据是在上述数据收集后，根据需要产生的。 获取方法五种：键盘输入、关联表、测量法、计算法、推理法。 元数据的管理是通过建立在不同数据领域基础上的元数据信息系统实现的。6 元数据的获取和管理3、地理信息系统的数据质量3、地理信息系统的数据质量通常采用元数据库的方式管理元数据。