网络地理信息系统中的栅格数据集群缓存

网络地理信息系统中的栅格数据集群缓存 1a ,21b1a 1a 曾 王 武浩徐正全潘少明 (1 武汉大学 a 测绘遥感信息工程国家重点实验室 ; b 电子信息学院 ,湖北 武汉 430079 ; )2 武汉工业学院 电气信息工程系 , 湖北 武汉 430023 摘要 : 为提高网络地理信息系统 Glo be SI Ght 的栅格数据的服务质量 ,将协作式缓存引入应用服务器集群 . 实 现了基于服务器端日志的轨迹驱动实验 ,找出了栅格数据集群缓存关于缓存服务器个数 、缓存空间大小 、缓存 置换门限以及缓存置换算法的最优参数值组合 ,验证了集群缓存可以节省大量栅格数据源 I/ O 带宽 . Glo be2 SI Ght 系统测试结果表明 ,集群缓存可以快速响应瓦片请求 . 关 键 词 : 地理信息系统 ; 服务质量 ; 协作式缓存 ; 缓存置换算法 ; I/ O 性能 () 文章编号 : 167124512 20090920037203 中图分类号 : T P393 文献标识码 : A Ra ster data cl uster cache in net work GIS 1a , 21 b1a1aZe n g W u H ao X u Z he n g q u a n P a n S h aom i n g W a n g (1 a State Key L abo rato r y of Info r matio n Engineering in Surveying , Mapping a nd Remo t e Sensing ; b School of Elect ro nic Info r matio n , Wuhan U niver sit y , Wuha n 430079 , China ; 2 Dep art ment )of Elect ric Info r matio n Engineering , Wuhan Polytechnic U niver sit y , Wuha n 430023 , China Abstract : Coop erative cache wa s i nt ro duce d i nto t he ra st e r app licatio n ser ve r cl u st er to i mp ro ve t he Qo S of ra st er dat a i n Glo be SI Ght . The t race2drive n si mulatio n ba se d o n ser ver lo gs wa s p erfo r med. The op ti mal co mbi natio n of n umber of app licatio n se r ver s , cac he size , cache rep lace me nt t hre shol d a nd al go rit h m wa s fi gured o ut , w hich p ro ve d t hat cl u st er cache ca n la r gel y sa ve t he I/ O ba ndwidt h f ro m dat a sto ra ge . The t e st re sult s of Glo be SI Ght sho w t hat cl u st er cac he ca n quic kl y re spo n se t he tile reque st s. ( ) Key words : geo grap hic i nfo r matio n syst e ms ; qualit y of ser vice Qo S; coop erative cac he ; cache re2 p lace me nt al go rit h m s ; I/ O p e rfo r ma nce [ 9 , 10 ] 大规模用户的高强度漫游访问请求给网络地 下, 以上关于空间数据缓存的研究 , 却没有涉 [ 1 , 2 ] 理信息系统中的栅格数据服务器端的处理能 及多服务器集群缓存及其协作式缓存 .力和 数 据 存 储 读 取 能 力 提 出 了 巨 大 挑 战. 例 如 集群缓存的难点之一在于如何部署和配置集 群缓存中服务器个数 、缓存空间大小 、缓存置换门 N A SA Wo rl d Wi nd 的 数 据 请 求 数 在 2006 年 就 限以及缓存置换算法 达到了每 天 650 万 , 所 涉 及 的 空 间 数 据 量 超 过 , 以获得最优的系统性能 . 本 [ 3 ] [ 11 ] 155 Gbyt e. 文献 [ 4 ] 提出了地理空间信息服务 文在 Glo be SI Ght 原型系 统中 部署 集 群缓 存 , 质量的概念 , 指出研究适合于地理信息服务质量 设计集群缓存的协作式工作流程和定量化的性能 控制的服务器端空间数据的组织存储方式和缓存改善实验 , 目的在于探讨集群缓存在数字地球等机制是重要课题 , 空间数据缓存在文献 [ 5 ,8 ] 中 系统中的应用 , 找出集群缓存的最优参数组合 , 为 也有大量相关研究. 然而 , 在多服务器集群技术广 解决数字地球数据存储 I/ O 带 宽瓶 颈以 及 缩短 泛应 用 于 数 字 地 球 系 统 的 服 务 器 端 的 背 景 漫游响应时间提供技术手段 . 收稿日期 : 2009203205 . () 作者简介 : 曾 武 19702,男 ,博士研究生 , E2mail :zengw ude @ya hoo . co m. cn. ( ) 基金项 目 : 国 家 重 点 基 础 研 究 发 展 计 划 资 助 项 目 2004CB318206 ; 国 家 高 技 术 研 究 发 展 计 划 资 助 项 目 () 2007A A12 Z214. 单元 , 集群缓存存在以下优点 :首先 , 缓存可以最 Glo be SI Ght 在服务端采用双重集群 架构 酒店人事架构图下载公司架构图下载企业应用架构模式pdf监理组织架构图免费下载银行管理与it架构pdf , 分 大程度地 节 省 对 象 存 储 空 间 数 据 源 集 群 的 I/ O [ 12 ] 别为空间应用服务器集群和基于对象存储设 带宽 , 多个集群服务器缓存了大量的用户已请求 ( ) 数据 , 重用缓存数据可以减少针对 O SD 的数据读 备 O SD的栅格数据存储集群 , 如图 1 所示 . 图 1 中 , 虚线箭头代表瓦片请求流向 , 实线箭头代表响取请求和通信负载 ,提高数据获取效率 ; 其次 ,集 应请求的空间数据流向 . 2 个集群系统通过栅格 群缓存彼此间通力协作 ,可以将栅格数据在应用 [ 11 ] 元数据服务器与高速网络接口进行通信, 系统 服务器上最大程度地本地化 ,从而节省 O SD 的 I/ O 带宽 ; 最后 ,集群缓存位于服务器端 ,缓存的栅 中单个或多个瓦片以对象的形式存储于 O SD 中. 格数据可以为大规模用户所共享 ,降低用户漫游 的响应时间 ,提高系统的交互性和服务质量 . 11 2 集群缓存的关键因素 集群缓存高效工作需依靠几个关键因素 , 包 括工作流程 b 中的负载均衡算法 、d 中的邻居服 务器选择策略 、h 中的缓存空间大小以及置换门 限和置换算法等 . 负载均衡算法包括随机算法 、轮 [ 10 ] 询算法 、最小连接数算法等. 为简化问题和实 验 , 集群缓存中的负载均衡算法采用常用的轮询 算法 , 记为 lo a d_ bala nci ng = { ro und2ro nbi n | ra n2 do m , ro und2ro bi n , lea st co nnectio n } . 邻 居 服 务器选择策略 ,选择与负载均衡算法等同的选择 策略 ,记为 neigh bo r _ selectio n = lo a d _ bala nci ng. 图 1 带集群缓存的 Glo be SI Ght 集群缓存总空间大小记为 cache _ size , 以数据集 11 1 集群缓存协作工作流程 总数据 容 量 的 百 分 比 表 示 . 置 换 门 限 记 为 re2 Glo beSI Ght 客户端基于 H T TP 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 与服务器 p lace me nt _t hre shol d. 缓存置换算法记为 rep lace2 端通信 ,以 U RL = http : ?Glo beSI Ght_ Server_A d2 me nt _ al go rit h m , 包 括 L RU , L FU , L FU2A V , dre ss/ tile . a sp x ? DA TA S E T = dat a set &L = l & X = t x & Y = t y & 的形式向服务器请求瓦片 ,其 SIZE 和 GD2SIZE. ( ) 中 dat a set 为瓦片所属的数据集 ,l 和 t x ,t y是瓦 片的层号与坐标. 集群缓存的协作工作流程如下 : 2 实验设计及结果 a1 负载均衡器收到用户瓦片请求 ; b1 负载均衡器根据特定负载均衡算法将瓦 21 1 实验设计 片请求转发给集群缓存中的某个服务器 ; 实验 分 为 2 个 阶 段 : 第 1 阶 段 , 在 Glo be2 c1 该源服务器处理请求 , 在其缓存中查询瓦SI Ght 服务器端的负载均衡器上详细记录来自所 片 , 若已缓存 , 则称之为本地命中 , 转 h ;有用户的高分辨率栅格数据的请求信息 , 并以日 d1 源服 务 器 未 缓 存 该 瓦 片 , 称 之 为 本 地 缺 志形式保存为轨迹驱动仿真实验的输入 , 仿真实 失 , 按特定的选择策略选择邻居服务器并转发瓦 验以节省 O SD 的 I/ O 带宽为目标 ,找出系统全局 片请求至该邻居服务器 ;最优的缓存置换算法 、缓存大小 、置换门限和服务 e1 某邻居服务器缓存中找到该瓦片 , 称之为 器个数的参数组合 ;第 2 阶段 ,将仿真实验中得到 集群命中 , 将瓦片复制到源服务器 , 转 h ; 的 全 局 最 优 的 集 群 缓 存 参 数 组 合 实 际 运 用 到 f1 若所有邻居服务器均无该瓦片 , 则称之为Glo be SI Ght 服务器端 , 在真实网络环境下测试系 集群缺失 , 源服务器向 OB S 集群请求瓦片 ;统性能 , 得到用户地理漫游时的数据请求响应时 g1 OB S 集群文 件系 统访 问该 瓦 片 所 属 的 存 间分区统计表 . 储对象 , 向源服务器返回该瓦片 ; 21 2 实验结果和分析h1 源服务器更新该瓦片索引属性信息 , 返回 重点 考 察 集 群 缺 失 字 节 数 这 一 指 标 , 记 为空间数据 , 检查服务器缓存空间大小是否超过置 cl u st er_ mi ss_ byt e , 其含 义 为集 群缓 存中 无 所请 求栅格数据而需要从 O SD 上获取的字节总数. 实 I/ O 带宽 . 实际系统测试结果证明了集群缓存的 验将找到 cl u st er_ mi ss_ byt e 最小的参数组合.高效性 , 对服务器集群部署和性能提升具有一定 表 1 是各缓存置换算法的局部最优时的集群 的实际指导意义 . 未来工作包括集群缓存的参数 优化选择问题的理论建模和分析. 缺失字节数比较. 对比实验日志所涉及的空间数 据总容量 , 经过分析可知 , L FU ,L RU ,L FU2A V , 参 考 文 献 SIZE 和 GD2S IZE 分别节省了 721 24 % ,711 72 % , [ 1 ] Declan B . Virt ual glo bes : t he web2wide wo rld [ J ] . 711 52 % ,621 50 %和 611 43 %的 O SD 集群 I/ O 带 Nat ure , 2006 , 439 : 7762778 . 宽 . 因此 , 在既定的仿真参数范围内 , 仿真实验得 [ 2 ] 郭达志 , 杜培军 , 盛业华 . 数字地球与 3 维地理信息 到了集群缓存全局最优参数组合为 {loa d_ bala n2 () 系统研究 [J ] . 测绘学报 ,2000 , 29 3: 2502256 . ci ng = nei gh bo r _ selectio n = ro und2ro n bi n , cache _ [ 3 ] Bell D G , Kuehnel F , Ma xwell C , et al . N A SA size = 40 % , cache _ se r ver _ numbe r = 2 , rep lace2 wo rl d wind : openso urce GIS fo r mi ssio n operatio ns me nt _t h re shol d = 95 % , rep lace me nt _al go rit h m = [ C ] ? Aero space Co nf erence. Pi sscat way : IE E E , L FU } . 2007 : 6032615 . 表 1 不同参数下的集群缺失字节数对比 ( ) [ 4 ] Qo GIS: 吴华意 , 章汉武 . 地理信息服务质量 概念 和研究框架 [J ] . 武汉大学学报 : 信息科学版 , 2007 , 缓存置换 服务器 缓存大 缺失字节 算法 个数 小/ % 数/ Gbyte () 32 5: 3852388 . 31 512 135 L RU 2 40 [ 5 ] Yang C H , Wo ng D W , Ya ng R X , et al . Perfo r m2 31 446 912 L FU 2 40 a nce2imp ro ving t echnique s in web2ba sed GIS [J ] . In2 31 537 168 2A V ERA GE 2 40 L FUter natio nal J o ur nal of Geo grap hical Info r matio n Sci2 SIZE 3 40 41 656 783 () ence , 2005 , 19 3: 3192342 . GD2SIZE 2 40 41 790 168 [ 6 ] 李浩松 , 朱欣焰 , 李京伟 , 等 . Web GIS 空间数据分 布式缓存 技 术 研 究 [ J ] . 武 汉 大 学 学 报 : 信 息 科 学 将表 1 中仿真实验得到的集群缓存的最佳参 () 版 , 2005 , 30 12: 1 09221 095 . 数组合 运用 到 Glo be SI Ght 系 统 后 , 当客 户 端 作 [ 7 ] 罗英伟 , 汪小林 , 许卓群 . 层次化 Web GIS 构件系统 地形漫游时 , 测量瓦片响应时间 ; 同时 , 也记录了 ( ) 的设计与实现 [ J ] . 计算机学报 , 2004 , 27 2: 1772 无集群缓存时系统的瓦片响应时间 , 以作对比. 经185 . 统计分析结果表明 , 当有集群缓存时 , 瓦片响应时 [ 8 ] 罗益辉 , 谢长生 . 对象存储系统的合作缓存 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 [J ] . () 华中科技大学学报 : 自然科学版 , 2008 , 36 11: 672 ) ) ) 间在区间 [ 0 , 01 5s , [ 01 5 , 11 0s , [ 11 0 , 11 5s , 70 . ) ) ) [ 11 5 ,21 0s , [ 21 0 ,21 5s , [ 21 5 ,31 0s 和 [ 31 0 , [ 9 ] Ba r ro so L , Dea n J , Holzle U . Web search fo r a plan2 ) + ?s 的瓦片请求比例分别为 81 76 % ,321 23 % ,et : t he goo gle cl uster architect ure [ J ] . IE E E Micro , 211 41 % , 101 76 % , 81 20 % , 81 73 % 和 91 90 % ; 而 () 2003 , 23 2: 22228 . 当无集 群 缓 存 时 , 对 应 的 比 例 分 别 为 61 63 % , 281 06 % , 211 25 % , 121 35 % , 101 73 % , 91 76 % 和[ 10 ] Zha ng Z J , Fa n W G. Web server load balancing : a 111 21 %. 因 此 , 集 群 缓 存 可 以 使 Glo be SI Ght 系 queueing a nalysi s [ J ] . Europea n J o ur nal of Op era2 () tio nal Re search , 2008 , 186 2:6812693 . 统的瓦片请求响应时间得到较大幅度地降低 ,使 [ 11 ] 喻占武 , 郑 胜 , 李忠民 , 等 . 基于对象存储的海 短响应时间的瓦片请求所占总请求的比例变大 .量空间数据存储与管理 [J ] . 武汉大学学报 : 信息科 集群 缓 存 性 能 优 势 较 为 明 显 , 集 群 缓 存 改 善 了() 学版 , 2008 , 33 5: 5282532 . Glo be SI Ght 漫游时的实时交互性 .[ 12 ] 冯 丹 , 史 伟 , 覃灵军 . 基于对象存储系统的对 象文件系统设计 [J ] . 华中科技大学学报 : 自然科学 () 版 , 2006 , 34 12: 47249 . 本文在 Glo be SI Ght 的空间应用服务器集群 中部署缓存 ,将栅格数据本地化 ,以节省 O SD 的