高性能遥感图像处理与空间信息网格建模_马伟锋

283 高性能遥感图像处理与空间信息网格建模 马伟锋 1，岑 岗 1，李 君 2，沈占锋 3 (1. 浙江科技学院信息与电子工程学院，杭州 310023；2. 浙江科技学院求是应用技术学院，杭州 310023； 3. 中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室，北京 100101) 摘 要：将空间信息网格技术(SIG)应用于遥感图像处理中，就是利用网格计算的特点，来解决遥感图像数据以及处理算法资源的共享、海 量遥感图像数据的实时快速处理等问题。文章以此为主线，在分析高性能遥感图像处理问题的基础上，探讨了在网格环境下构造高性能遥 感图像处理系统的可行性及相关关键技术的实现，提出了基于开放网格服务体系结构的系统模型，并实现了原型系统。实验表明，SIG 应 用于遥感图像处理是可行的，并取得了一定的成果。 关键词：遥感图像处理；空间信息网格；网格计算；分布式系统 Analysis on High-powered Remote Sensing Image Processing and Spatial Information Grid Modeling MA Weifeng1, CEN Gang1, LI Jun2, SHEN Zhanfeng3 (1. School of Information and Electronic Engineering, Zhejiang University of Science and Technology, Hangzhou 310023; 2. School of Qiushi Application Technology, Zhejiang University of Science and Technology, Hangzhou 310023; 3. National Key Laboratory for Natural Resources and Environment Information System, Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences, Beijing 100101) 【Abstract】This paper focuses on remote sensing image processing using grid computing. It analyzes the problems in high-powered remote sensing image processing firstly, then presents a spatial information grid(SIG) model to solve the key problems on sharing of distributed data and algorithms, processing and transferring of tremendous data. Moreover, it gives out the implementation of a prototype system making use of Globus toolkit 3 based on open grid service architecture(OGSA). The experimental results show the real value of the application of grid computing on remote sensing image processing. 【Key words】Remote sensing image processing; Spatial information grid (SIG); Grid computing; Distributed system 计 算 机 工 程 Computer Engineering 第 32 卷 第 5 期 Vol.32 № 5 2006 年 3 月 March 2006 ·开发研究与 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 技术· 文章编号：1000—3428(2006)05—0283—03 文献标识码：A 中图分类号：TP391.41 遥感技术和对地观测技术经过近 30 年的发展，取得了 巨大的进步。然而，为取得成绩欣喜的同时，面对现实中的 “怪现象”，我们又陷入了另外的困惑：一方面，人们正在不 断努力提高、改进对地观测技术和测量技术，希望得到越来 越多遥感影像数据，而且已经或正在获取海量的对地观测数 据；另一方面，由于缺少有效、即时的共享和处理手段，那 些科学研究人员、工程技术人员真正需要的资源，却寥寥无 几，有的甚至远藏深闺，形成了“信息孤岛”。究其原因，主 要是对这些海量遥感影像数据的有效存储、管理、分发，高 效即时的处理、分析以及相互之间的共享、互操作等缺少有 效的手段和方法。传统的集中式单机模式已成为遥感图像处 理的一个“瓶颈”，无法适应未来遥感图像处理技术发展的需 要。因此，遥感图像数据的快速网络化处理技术就显得异常 重要。 网络技术的不断发展，网格计算技术逐渐成为当前研究 热点。准确地讲，它是计算机研究人员为解决当前网络资源 分配与利用不均而提出的一种先进的网络资源共享模型。网 格计算模型与空间信息处理技术相结合，形成了空间信息网 格技术（SIG）。它的出现为在现有分布式环境中有效解决大 容量空间数据的各种底层处理功能，并为建立上层的各种空 间数据应用提供了框架性的指导。而空间信息网格技术应用 在遥感图像处理中，就是要实现遥感栅格数据在分布式环境 中的有效存储、快速高效计算以及异地资源共享等底层技术 处理，使其可以简便灵活地为构筑各种上层空间数据应用提 供支持。 1 高性能遥感图像处理问题分析 下面从遥感图像数据、遥感图象处理算法以及处理系统 的处理模式等方面出发，对目前遥感图像处理系统所面对的 一些问题进行分析。 (1)海量数据的处理与存储管理 现代空间遥感技术的不断发展，使可获得的遥感图像数 据量大幅增加，随之对计算机处理与存储能力的要求也越来 越高。例如在卫星图像处理中，人造卫星平均每秒向地面发 送大约 100 万个像素，每个像素要求 100~1 000 次操作，故 要求相应的系统每秒能完成 1 亿~100 亿次运算，才能满足要 求[4]。而海量数据的积累对集中式的遥感图像数据存储管理 带来了挑战。虽然计算机技术日新月异，但还是无法满足海 量遥感数据的处理、数据存储管理以及分发的需要。 (2)图像数据资源的分布性 基金项目：国家“863” 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 基金资助项目(2002AA135230)；中国科 学院地理科学与资源所知识创新工程领域前沿项目(CXIOG-D02- 1)； 浙科院启动基金资助项目“分布式遥感图像地学计算模型研究” 作者简介：马伟锋(1979—)，男，硕士生、讲师，主研方向：分布式 地学图像处理，GIS，智能计算等；岑 岗，副教授；李 君，助教； 沈占锋，博士生 收稿日期：2005-06-10 E-mail：tomma@21cn.com 284 对地观测技术的不断进步，使可以获得的对地观测遥感 数据每天在以 TB 级的速度飞快增长，但是这些数据并不是集 中存储在某个地方，而是分布在地理区域不同的组织内。同 时，在传统的遥感图像处理模型下，由于遥感数据资源的分 布性，使得大量宝贵的遥感数据资源无法得到及时有效的处 理、分析与存储，成为“信息孤岛”。因此使用者在进行各种 应用时往往发现真正有价值的参考信息却寥寥无几。图像数 据资源存储的分散性需要分布式处理环境。 (3)图像处理算法的针对性 图像处理算法的使用一般都具有一定的针对性，特别是 一些高层的图像理解问题。如某些遥感图像特征提取算法只 对遥感图像中金属体提取有效，而对其中提取建筑物效果很 差，反之依然。而想找到对各类地物目标提取均有效的算法 几乎是不可能的。在目前的应用环境下，建立一个集中所有 类型图像处理算法的软件系统在技术上是不可行的，在应用 上也是不必要的。网络分布式处理技术为解决这一问题提供 了可行的途径。 (4)遥感图像理解的协同性 对于很多实际的空间信息应用，完全的计算密集型处理 并不能解决遥感图像信息处理的全部问题，比如在图像特征 信息提取基础上的各种环境分析、协同决策，需要引进分布 式处理、智能化的方法。其中，这里的智能化方法更偏重于 知识处理的层次。通过利用分散在网络环境中的各种类型的 领域知识，为各种复杂决策、推理等上层应用提供支持。 2 网格环境下系统模型设计 开放网格服务体系结构是网格计算与 Web Services 技术 融合的结果，并扩展了 Web Services 的一些基本功能，包括 生命周期管理、工厂机制、消息 通知 关于发布提成方案的通知关于xx通知关于成立公司筹建组的通知关于红头文件的使用公开通知关于计发全勤奖的通知 机制等，是目前最新的 一种网格体系结构。以服务为中心的思想就是将网络上的一 切资源，抽象为一个服务并发布到网上，人们按需组合使用。 网格计算及其服务模式的特点，能够有效地解决目前遥感图 像处理在技术上遇到的问题（如上）。根据开放网格服务体系 结构，我们提出了适合该体系结构的高性能遥感图像处理系 统五层模型，具体如图 1 所示。 图 1 处理系统逻辑框架 从图 1 可以看出，客户机、服务器等主机和硬件设备通 过高速传输网络相互连接、通信，为整个系统提供物理上的 运行平台。在该平台上提供各类资源，包括算法资源、计算 资源、存储资源、知识资源等，并通过网格服务化，将这些 服务资源注册到网格环境下的注册中心。使用者查询注册中 心，并调用自己所需要的服务资源。在此基础上，我们构建 了遥感图像处理系统的各个逻辑功能模块，主要包括遥感图 像的预处理、图像分析、结果显示等几部分。 遥感图像的预处理主要是一些基本的图像处理操作，并 对需要进行图像分析的图像作适当的优化和预处理，包括图 像纠正、增强等。 图像分析部分主要由图像分割、图像分类以及目标的表 达与分析几部分组成。由于系统中要集成大量的图像分割算 法，而图像分割部分是系统中耗时的一个瓶颈，所以在实现 图像分割时，对部分复杂又比较耗时的分割算法，我们采用 了并行计算的处理方法，以提高系统处理的速度。通过图像 分割，系统将原始的遥感图像数据转变为用于下一步目标识 别的特征，并通过特征和知识库中的先验知识，对目标进行 识别。然后，对目标识别所得的各种地物目标进行分析，并 基于目标对象的视觉知识、目标地物周围的环境知识，以及 目标地物间的协同知识对已识别的目标地物进行正确性的判 定，提供上层决策使用。最后，将目标识别的结果及其各种 特征存放到特征数据库中。 最后是显示模块，显示处理得到的图像结果，而对于地 物特征主要是通过虚拟地理环境、虚拟现实等手段进行显示。 本次实验，主要将遥感影像处理算法进行网格服务化以 及某些复杂算法的并行化处理为主，构建一个原型处理系统。 3 原型系统实现 3.1 网格服务支撑环境 网格服务环境整个系统的支撑环境，其核心就是服务器 节点和服务注册中心的建设。在我们的系统中，安装了 Globus Toolkit 3 作为网格服务支撑环境。这个网格软件已被业界作 为 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 。同时，在服务器节点和服务注册中心上，又安装了 Tomcat 4.1.24 作为服务器软件，以及 SQL Server 2000 数据 库软件用来管理和存储遥感影像数据、特征和知识信息、网 格服务的注册信息等。 3.2 并行化处理策略 由于遥感图像处理系统所要处理的图像数据量大，一般 都在几兆、几百兆甚至上千兆字节，而且某些处理算法计算 相当复杂、耗时多，同时在现有网格服务模型下没有一个明 确的并行机制，而基于广域网环境下的并行计算由于目前网 络设施的限制，收到的效果并不理想。因此我们对某些复杂 的处理算法，在算法提供的服务器端采用了本地并行化计算 的策略，主要采用了基于 MPI 的 MPICH 并行计算环境。 基本思想是采用了数据划分的策略，如图 2。首先由主 进程主机将待处理的图像数据划分成若干个子区，每个子区 作为一个单独的处理对象分配到不同主机上，每个主机运行 相同代码，最后将每个主机处理的结果汇总，得到最终结果。 A D C B 待处理图像 图 2 并行处理策略 最后，归结和设计了 4 类图像并行处理的数据划分策略： 基于规则均匀划分；基于不规则的局部划分；基于影像窗口 空间以及基于空间多尺度的数据划分。 3.3 空间特征信息的表示与通信 GML（Geography Markup Language）即是 XML 语言在 空间地理信息领域的扩展，它是由 OpenGIS 联盟（Open GIS Consortium, Inc.）于 2000 年 5 月最先发布的，其目的在于描 述、说明地理信息，可以很容易地表现空间信息的结构和内 空 间 信 息 网 格 支 撑 环 境 结果 显示主机： 客户机、 服务器 以及 并行处 理机群 高 速 传 输 网 络 网格服务 （算法资源、计算资源、存储资源、知识资源等） 图像预处理、特征提取、目标识别、目标分析 特征、知识库遥感影像数据库 285 容，并能实现开放式的空间信息交换和管理。 在我们的系统设计中，采用 GML 对特征和信息提取后 的地理特征进行描述，并能对网络地理信息系统的各功能部 件之间的空间信息的传输、通信提供强有力的技术支撑。例 如对一座水平位置的桥梁特征提取如下： 60 100 12-08-1995 20.01, 56.34 3.4 海量遥感数据的快速传输 网络分布式环境下，大数据量的传输极大地影响着分布 式系统处理能力和处理速度，因此分布式的遥感图像处理需 要海量数据的快速传输。目前文件的传输主要有两种方式： 基于 HTTP 协议和 FTP 协议实现。FTP 协议是 Internet 上用 来传送文件的标准协议，传输速度和效果较 HTTP 协议要好， 故在我们系统中采用了该方式。Globus GT3 则提供了 GridFTP 服务包来支持网格计算环境下的文件传输问题。 4 算法网格服务化实例 基于灰度的简单自动阈值图像分割算法是特征提取模块 里的其中一种方法，称为 SThrold 算法。根据系统的设计方 案，将该图像分割算法进行网格服务化并部署到服务器节点 上，供客户使用。图 3 描述了该算法的网格服务化以及在系 统中的具体实现。 图 3 SThrold 算法服务实现 其过程为：首先使用 Java 语言定义 SThrold 分割算法的 接口，并利用 GLOBUS TOOKIT 3 工具包将该接口转化为 WSDL 服务描述文件以及一系列的 STUB 文件，最后打包成 可以部署的 GAR 文件。考虑到代码的效率问题，接口实现采 用了 Java 的 JNI 本地方法，利用 C++语言编写一个动态链接 库文件，实现 SThrold 分割算法的具体功能。然后，将 SThrold 算法网格服务的 GAR 文件部署到网格服务容器内，查询服务 注册中心，得到该服务的 URI。最后，客户通过该 URI 创建 服务的实例，使用该服务。 图 4 是根据该 设计方案 关于薪酬设计方案通用技术作品设计方案停车场设计方案多媒体教室设计方案农贸市场设计方案 所建立的实验原型系统，调用 SThrold 图像分割网格服务对一幅交通卫星图进行分割处理 后的结果示意图。 图 4 图像分割网格服务运行结果 5 结束语 利用网格计算、Web 服务等网络技术来设计和构造高性 能遥感图像处理系统，是对遥感图像处理的一个新尝试。而 本次实验就是以此为指导，结合遥感图像处理的具体研究工 作，研究和设计了基于网格服务的高性能遥感图像处理系统 模型，并进行了实验。结果表明，网格计算与遥感图像处理 的结合是可行的，并且能够发挥网格计算资源共享的优点， 有效地整合了分散的遥感图像数据、处理算法和计算机的处 理能力，改变了集中式的处理模式。 实验系统是我们研究的阶段成果，继续研究空间信息网 格环境下高性能遥感图像处理系统的模型以及改进和完善实 验系统将是我们下一步的研究工作。 参考文献 1 Foster I, Kesselman C. The Grid: Blueprint for a New Computing Infrastructure[M]. San Francisco, CA: Morgan Kaufmann Publishers, 1999. 2 Tuecke S, Czajkowski K. Grid Service Specification[J/OL]. http: //www.gridforum.org/ogsi-wg, 2002. 3 马伟锋, 王卫红, 蔡家楣等. 基于网格的图像处理系统设计与实现 [J]. 计算机工程与应用, 2004, 40(24): 134-136. 4 李 军, 李德仁. 分布式遥感图像处理中的若干关键技术[J]. 武 汉测绘科技大学学报, 1999, 24(1): 293-298. 5 都志辉, 陈 渝, 刘 鹏. 网格计算[M]. 北京: 清华大学出版社, 2002. ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ （上接第 217 页） 参考文献 1 AMD. The Alchemy Au1100TM from AMD Internet Edge Processor Data Book[Z]. 2002-04. 2 Baharudin B, Jiang J. Optimization of 16 Bit Fix-point Multiplication in Fast DCT Implemented on TMS320C2000 DSP[C]. IEEE 4th EURASIP Conference Focused on Video/Image Processing and Multimedia Communications, 2003, 7(1): 287-292. 3 Jia Hongjun, Zhang Li. A New Cross Diamond Search Algorithm for Block Motion Estimation[C]. IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004, 5(3): 357-360. 4 Yao Wang, Jörn Ostermann, Zhang Yaqin. Video Processing and Communications[M]. Prentice Hall, 2003. 5 AMD. AMD Alchemy™ Solutions Au1100™ Processor LCD Per- formance[Z]. 2003-04. SThrold (GAR) 网格服务 URI( SThrold 服务容器 ) 客户端 public static boolean ImageSegmentation(byte [] inC, byte[] outC, String t ) { return ImageSegmentationVc(in C,outC,t );} private static native boo lean ImageSegmentationVc( byte [] inC, byte[] outC, String t ); // JAVA 本地方法，c++ 实现 SThrold 接口 public b oolean SThroldProcess(byte [] inC, byte[] outC, String t ); 注册中心 第 5 期封三