首页 智慧政务云计算中心-存储资源池建设方案

智慧政务云计算中心-存储资源池建设方案

举报
开通vip

智慧政务云计算中心-存储资源池建设方案智慧政务云计算中心存储资源池建设方案1目录1.项目概述 11.1“十三五”期间我市电子政务重点建设目标 11.1.1建设市政府云计算中心 11.1.2继续推进政务外网统一平台建设 21.1.3搭建一套政务资源整合平台 21.1.4完善政策规章、健全体制机制 21.2项目名称 31.3编制依据 32.项目建设方案 52.1建设目标、规模与内容 52.2标准规范建设内容 62.3存储资源池建设方案 62.3.1设计原则 62.3.2存储资源池设计方案 72.3.3存储网络设计 132.3.4存储...

智慧政务云计算中心-存储资源池建设方案
智慧政务云计算中心存储资源池建设 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 1目录1.项目概述 11.1“十三五”期间我市电子政务重点建设目标 11.1.1建设市政府云计算中心 11.1.2继续推进政务外网统一平台建设 21.1.3搭建一套政务资源整合平台 21.1.4完善政策规章、健全体制机制 21.2项目名称 31.3编制依据 32.项目建设方案 52.1建设目标、规模与内容 52.2标准规范建设内容 62.3存储资源池建设方案 62.3.1设计原则 62.3.2存储资源池设计方案 72.3.3存储网络设计 132.3.4存储资源池建设方案 152.3.5并行存储系统建设 153.附件: 193.1可研 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 编制依据,有关的政策、技术、经济资料 19项目概述电子政务作为电子信息技术与管理的有机结合,成为当代信息化的最重要的领域之一。所谓电子政务,就是应用现代信息和通信技术,将管理和服务通过网络技术进行集成,在互联网上实现组织结构和工作流程的优化重组,超越时间和空间及部门之间的分隔限制,向社会提供优质和全方位的、规范而透明的、符合国际水准的管理和服务。市电子政务网络由政务内网和政务外网组成。政务内网是党政机关办公业务网络,与互联网物理隔离,主要满足各级政务部门内部办公、管理、协调、监督以及决策需要,同时满足有关政务部门特殊办公需要。政务外网是党政机关公共业务网络,主要满足各级政务部门进行社会管理、公共服务等面向社会服务的需要。目前,市政务内网已经建成并运行良好,政务外网一期也已经完成,二期正在规划建设。因地制宜,统筹电子政务基础设施建设,建成统一的市政府云计算中心,提升电子政务资源利用效率和安全水平,市委、市政府各部门和有关单位的业务应用系统,都要基于全市统一的政务网络资源,按需要分别在政务内网和政务外网部署。“十三五”期间我市电子政务重点建设目标建设市政府云计算中心高起点建设新一代的政府数据中心——市政府云计算中心。该项目已与市公共资源交易中心大楼建设一并立项,云计算中心位于拟于2018年年末竣工的公共资源交易中心大楼六层,建筑面积为7596平米,机房总市电容量为2.6MW,配置标准设备机柜446台,设计运算次数超过500万亿次,承载各类业务超过1000个。该中心采用多项节能技术,预计可将机房总PUE值控制在1.36以下,处于国内领先水平。政府云计算中心建成后,市政府拟出台全市政务数据中心整合的 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 和实施方案,将全市现有部门的十几个数据中心整合并入,预计可减少近75%的能源消耗,节省80%的设备和运维开销。全市所有的电子政务系统将采用“统规、统建、统管”的原则,集中部署到政府云计算中心。新建及升级改造电子政务项目将直接部署到该中心,原有的系统也将在今后几年内逐步迁移、整合,避免分散投资,重复建设,各自为政。继续推进政务外网统一平台建设根据国家电子政务外网管理中心 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 、结合市政府和各部门外网业务发展需要,纵向延伸政务外网接入范围扩大覆盖面,力争2018年底完成144个街道(乡、镇)和1687个社区(村)的接入,确保国家、省、市各级外网业务系统的正常开展。利用国家外网管理中心已有的安全认证体系实现政务外网的接入授权和认证,年底前完成10000个授权终端的发放,强化我市外网的安全管理,保证财政、编委办、计生、农委等各应用业务系统的安全有效运行。搭建一套政务资源整合平台按照我市电子政务“十三五”规划的要求,根据全市政务数据资源共享目录系统的业务需求设计和建设统一的共享与交换平台,利用统一的网络资源实现各地区、各部门政务数据资源的整合、交换、共享和安全。同时,根据“‘十三五’国家政务信息化工程建设工程规划”的总体要求,以统一的网络平台为基础进行资源整合,重点抓好以社会民生、公共服务为重点跨部门的电子政务信息系统建设,确保政府效能和公共服务水平的整体提升,提高资金使用效率和信息资源整合水平。完善政策规章、健全体制机制根据“‘十三五’国家政务信息化工程建设规划”和“进一步加强国家电子政务网络建设和应用工作”的要求,结合我市电子政务建设和应用实际,协调发改、公安、财政、保密和机要等相关部门,制定出台我市电子政务工程建设和应用的具体要求,进一步规范电子政务工程项目的组织、规划、审批、管理、实施和评测。根据国家发改委要求,抓好我市政务外网组织体系建设,组织市本级、各区市县级政务外网机构加挂牌子。拟在网站管理中心加挂“市电子政务外网管理中心”,负责协调我市电子政务外网的建设和应用,实现政务外网统一的运维服务和管理监测,保证中央、省和市内各项工作要求得到及时响应、有效执行。项目名称项目名称:市政府云计算中心建设项目编制依据1国家信息化领导小组关于我国电子政务建设指导意见(中办发[2002]17号)2国家信息化领导小组关于推进国家电子政务网络建设的意见(中办发[2006]15号)3国家信息化领导小组关于加强信息安全保障工作的意见(中办发[2003]27号)4国家发展改革委关于印发“十三五”国家政务信息化工程建设规划的 通知 关于发布提成方案的通知关于xx通知关于成立公司筹建组的通知关于红头文件的使用公开通知关于计发全勤奖的通知 (发改高技[2012]1202号)5工业和信息化部关于印发《国家电子政务“十三五”规划》的通知(工信部规[2011]567号)62006—2020年国家信息化发展战略(中办发[2006]11号)7关于信息安全等级保护工作的实施意见8关于网络信任体系建设的若干意见9信息安全等级保护管理办法10中共市委办公厅、市人民政府办公厅转发《中共辽宁省委办公厅、辽宁省人民政府办公厅关于加强全省电子政务外网建设的通知》的通知(大委办发[2008]6号)11关于加快全市电子政务外网建设和应用工作的通知(大政办发[2008]91)12电子政务标准化指南(第二版)13电子政务信息安全等级保护实施指南14电子政务网络技术和管理规范15市政府系统政务外网2007—2020年建设发展总体方案16市电子政务工程建设项目管理暂行办法(大发改高技字[2008]623)17市电子政务外网技术规范(征求意见稿)18市电子政务外网平台应用指南(征求意见稿)19原邮电部、原信息产业部、工信部已经颁发的相关标准规范,和ITUT、IETF等制定的相关标准20国家发展改革委、财政部关于加快推进国家电子政务外网建设工作的通知(发改高技[2009]988号)21主任在加快推进国家电子政务外网建设与应用工作会上的讲话22主任在全国省级政务外网建设运维单位工作会上的讲话23副主任在国家政务外网省级建设运维单位工作会议上的总结讲话24国家政务外网近期情况及做好下一步工作的几点意见25关于印发《国家电子政务外网2021年工作思路和重点工作》的通知(政务外网[2011]1号)26副主任在国家政务外网工作会议暨技术专家委员会会议上的讲话27市“十三五”国民经济和社会信息化发展规划28国务院关于“十三五”国家政务信息化工程建设规划的批复(国函〔2012〕36号)29省政府网站群建设规划(辽政办发[2013]1号)30国家发展改革委关于加强和完善国家电子政务工程建设管理的意见(发改高技[2013]266号)项目建设方案市政府云计算中心机房内部部署架构图如下所示:图项目建设拓扑架构图建设目标、规模与内容云计算中心是集公共服务、企业创新和公共计算等多种功能于一体的复合型数据中心,既是政务信息系统和公共服务系统的支撑平台,又是智慧城市的支撑平台,可以为新形势下本地创业型企业提供孵化基地,促进科技创新水平和各制造业发展。市政府云计算中心机房,应该是一个安全可靠、舒适实用、节能高效和具有扩充性的一体化解决方案机房,机房年PUE设计目标低于1.36。市政府云计算中心为各类应用系统,提供统一的数据存储、数据备份、数据处理、网络信息安全和系统管理等服务。标准规范建设内容在此项工程建设过程中需要标准规范来保障系统有序稳定的建设和今后持续化的运行。相关标准规范研究工作主要包括:云计算中心规划标准、机房子系统建设标准、网络子系统建设标准、存储资源池建设标准、信息资源与数据库建设标准、计算资源池建设标准、云安全中心建设标准、云资源管理平台建设标准、容灾备份子系统建设标准,以及相关子系统建设所对应的技术标准和管理标准等,其主要目的是提高市政府云计算中心管理水平、保证政务云运行稳定和工程建设质量,进一步巩固和完善市电子政务外网统一平台示范工程所取得的各项成果。具体将包括(包括但不仅限于以下所列内容):·市政府云计算中心技术规范——包括但不限于网络架构、IP地址规划、域名规划、单位接入、各级网络结构、路由体系、运行管理等;·市政府云计算中心应用指南;·市政府云计算中心项目编制规范。存储资源池建设方案设计原则由于市政府云计算中心存储了所有相关的业务数据、统计数据等重要数据,存储系统作为数据存储的设备,对于它的可靠性要求很高。存储资源池必须满足以下需求:·必须具有高性能、高可靠性和足够的容错特性,提供多种信息保护、共享、管理方案,以保证信息的高可用性;·必须拥有足够的系统扩充性,以支持目前的数据容量,同时还要考虑未来业务的发展;·具备多平台、企业级的连接能力,以便于主机的选型和系统的整合;·满足作数据远程镜像备份(容灾)的要求。存储资源池设计方案要达到存储系统独立的数据管理目标,对存储系统的特性则有如下几个方面的要求,按照重要性排列分别是:(1)可靠性数据集中到存储系统中,必然对系统设备的可靠性提出更高的要求。同时需要建立数据备份、容灾系统进行配合,提高数据安全性。(2)可扩展性网络时代业务发展的不确定性和数据的高速膨胀,对独立于计算系统之外的存储系统,必然提出高可扩展性的要求。这种扩展性并非是简单的容量扩展,同时还必须包括数据处理能力、数据交换带宽和数据管理功能的扩展。(3)兼容性虽然存储系统已分离于计算系统之外,但今天主机系统对数据的使用方式,仍旧以文件系统,数据库系统为主要手段。存储系统要适应各种主机系统的数据I/O要求,就必须要能够兼容各种操作系统、文件系统、数据库系统等各种传统数据管理手段。(4)可管理性支持各种主流的管理协议和管理架构,能够与网络、计算机等各种设备统一管理和集中管理,能够在各种复杂的环境中实现方便统一的设备和数据管理功能。(5)性能能够根据不同应用类型要求提供带宽、IOPS(IOPerSecond,每秒IO操作数)、OPS(OperationsPerSecond,每秒并发操作数)、ORT(OverallResponseTime,总响应时间)等不同指标侧重点的性能服务。高端系统还应能够对系统性能进行动态的扩展和调整。(6)功能各种数据迁移、数据分发、数据版本管理、数据复制、在线扩容等数据管理功能。传统存储面临的困境现有数据中心采用的存储设备种类繁多:·存储介质包括磁盘、磁带、SSD(固态硬盘)、光盘等,其接口类型包括FC、SAS、SATA、SCSI、IDE/ATA等;·海量存储设备包括磁盘阵列、磁带库、光盘塔等,其接口类型又包括FC、IP、IB、SAS、SCSI等;·磁盘存储设备按照使用模式又可以分为块设备、网络文件系统(NAS)等;·存储网络类型则包括FC-SAN、IP-SAN、IB-SAN等。然而,随着存储系统容量需求从GB、TB发展到现在的PB级,磁盘从MB、GB发展到TB级,传统存储系统由于先天的技术限制,在发展上产生诸多问题:1数据安全性恶化传统存储设备保护数据最常用的手段就是引入RAID技术,尤其是RAID5,可以在数据安全性和容量利用率之间获得较好的平衡,并且具有良好的性能。RAID的数据安全性的基础是数据异或(XOR)校验运算,因此数据恢复过程要产生较高的存储I/O,会对系统性能产生一定影响,然而RAID技术产生时磁盘容量较小(MB、GB级),因此RAID尤其是RAID5的数据恢复过程较短,对数据校验所带来的数据安全性产生的影响很小,对于性能的影响也在可接受的范围,因此被广泛使用。然而,现在磁盘容量已经达到TB级别(可达2TB),因此RAID5的数据恢复过程大幅提高,从而大幅度提高了数据恢复过程产生次生破坏的可能性,进而使数据安全性恶化。因而,传统存储的安全性和性能都面临巨大的挑战。2单系统纵向扩展(scale-in)能力有限传统存储设备只具有局部的纵向扩展(scale-in)能力,即通过增加磁盘扩展存储设备的容量,通过增加控制器的cache扩展存储设备的性能。这种纵向扩展是有局限性的,受存储设备的扩展能力的制约,而且性能扩展的影响很小,并不足以满足高速发展的应用系统对存储性能的需求。而且这种性能扩展对应用系统有较大影响,因为扩展过程是需要存储设备离线的,在扩展过程中,应用系统不能使用存储设备。3负载不平衡造成的性能瓶颈为了获得更好的存储性能,可以通过增加存储设备(如另一台磁盘阵列)的方式来扩展汇聚带宽。但是在存储设备中,特定数据被存放在指定的LUN中,且只能通过指定的控制器访问到,因此即使扩展了存储设备,并不能提高特定数据的访问速度。4存储空间利用率低据统计,在实际使用中,存储设备的空间利用率不到50%。这是因为:·首先,在选择存储设备的容量,或者从现有存储设备中申请存储空间时,其容量需求都是来自于对应用系统的预估,因此存在着较大误差,而存储设备所提供的存储空间(LUNs)一旦分配给某个应用系统或用户,就处于独占状态,未来即使该存储空间有空闲容量,其它的应用系统或用户不能使用,造成较大的浪费。·其次,由于存储系统多采用RAID5技术,为了获得最佳的读写性能,RAID卷组的配置为7D+1P,即每个RAID卷组有相当于1块磁盘的空间用于存储XOR校验数据,则实际容量利用率只有7/8,同样会造成一定的浪费。云存储平台的技术特征与优势云存储平台为了满足众多云端应用的需求,要求采用可大规模扩展、海量的高性能存储,并且能够实现弹性调整不同应用系统或用户的存储空间,提高存储系统的利用率、获得最佳的存储性能、优秀的数据安全性、和简单有效的运维管理能力。传统存储技术越来越难满足云存储对性能、数据安全性、使用灵活性的需要。云存储平台应该在性能、数据安全性、使用灵活性、易维护性、经济性等方面寻求新的平衡点。1存储虚拟化存储虚拟化实际上是一种存储管理技术,通过将底层存储设备抽象化统一管理,向服务器屏蔽存储设备的硬件特性,而只保留其统一的逻辑特性,展现单一存储视图,从而实现存储系统集中、统一、便捷的管理。存储虚拟化技术并非是唯一的、也非最早的存储虚拟化技术。其实诸如磁盘分区、RAID技术、卷管理等都是存储虚拟化技术,其特点就是将多个具有不同硬件特性的存储设备形成具有相同物理特性的统一的存储池,实现存储容量的灵活、动态地分配。虚拟存储是将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统。具体的说就是把多个存储介质(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储介质在一个存储池(StoragePool)中得到统一管理,从服务器和工作站的角度,看到就不是多个硬盘或存储卷,而是一个分区或者卷,就像是一个超大容量的硬盘。存储虚拟化技术简化了云存储平台的管理、提高了云存储平台的空间利用率,方便应用系统或用户使用。2二维扩展技术在海量存储环境下,容量的大幅增加已经开始带来性能扩展的需求,而通过扩展多个相互独立的存储设备,可以提高存储系统的汇聚带宽,但是对特定数据的访问性能并无帮助,而且增加了存储使用和管理的复杂性。在云存储环境下,单纯在存储设备内进行纵向扩展(Scale-in),无论是对于存储容量,还是存储性能都是有限的,已经不能满足云计算中心的存储需求。云存储平台应该使用具有二维扩展能力的存储系统,即在原有纵向扩展的基础上,在保持存储系统单一映像的条件下,能够通过扩展存储设备(如磁盘阵列)实现横向扩展(Scale-in),实现对存储系统的容量和性能的同步扩展。3多副本数据保护技术(数据安全性)数据是云计算中心的关键,如果数据被损坏,那么云中的应用将无法正常工作,影响云服务的质量,有时数据损坏对于云计算中心来说甚至是致命的。因此云计算中心应该具有更优秀的数据安全性。传统数据保护多采用RAID等数据校验手段来保证数据的安全性,允许存储部件的部分损坏,但是对于云计算中心所需的PB级的海量存储系统而言,由于容量的大幅提高,使得传统数据保护手段的有效性大幅下降,已经不能满足云计算中心对存储的需求。云存储平台应该采用更好的数据保护技术。数据多副本技术建立在允许任何部件出现问题的基础上,将数据的多个副本存放在不同的存储设备上,在整个存储系统中,任何一个或多个部件出现损坏,都不会影响到存储系统的正常使用,也不会出现数据不可访问的现象,使云存储平台获得前所未有的数据安全性。4高性能的并行存储云计算中心具有更高的存储访问密度,并且具有更高的发展速度,因此对于云存储平台的性能提出了更高的要求。高性能的并行存储系统性能超越了所有SAN存储,面向大数据量进行了I/O优化,带宽可达几十GB/s甚至几百GB/s。并行存储系统的体系结构类似于SAN,每个节点都可以直接访问它的存储设备,又不同于SAN,没有SAN结构中RAID控制器的瓶颈问题,当客户端(计算节点)的规模增大时,该优势非常明显。此外,并行存储系统可以自动优化数据的分布,并允许客户端(计算节点)向多个I/O节点并行读写,最大化单个客户端(计算节点)的吞吐率。并行存储系统专门针对大数据量的传输做了优化,可以为云计算中心提供高性能的吞吐率和全局数据共享环境,特别是在网络带宽足够的情况下,多进程和多客户端更有利于体现并行存储系统超强的聚合I/O能力。5共享存储云计算中心所要面对的应用和用户的规模将远大于现有数据中心,由此所带来的问题就是存储的规模也是十分巨大的,如果采用磁盘阵列这样的传统存储设备,那么设备的数量也是极其庞大的,而且不同的应用系统或用户需要使用不同的LUNs,面对数量庞大的LUNs,将极大地增加存储运维管理的难度,因此在云计算中心,这种LUNs独占模式是不可取的。云计算中心应该采用能够实现多应用系统或用户共享海量数据的存储系统,更有效地提高存储的利用率、易用性和易管理性。云存储平台架构1分布式存储系统为保证高可用、高可靠和经济性,“云”采用分布式存储的方式来存储数据,分布式存储系统本身采用数据冗余的方式来保证存储数据的安全性,即为同一份数据存储多个副本。云存储与传统的存储设备相比不仅仅是一个硬件,而是一个存储设备、网络设备、文件系统和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。“云”存储系统的结构模型由4层组成。图分布式存储系统示意图·存储设备层包括多种存储设备,例如磁盘阵列、存储服务器等,是云存储的基础。·存储网络层采用万兆以太网连接存储设备和计算设备,是云存储平台的通讯子系统。·(分布式)文件系统包括控制单元、存储单元、管理单元,是云存储平台实现存储虚拟化、存储共享、高性能、数据安全性的关键环节。·用户层通过文件系统用户接口实现应用软件对云存储的访问。2云存储管理系统云存储服务管理是保证云存储服务能够正常提供给用户的核心,可以管理整个云计算数据中心的所有云存储资源,包括所有的软硬件、云存储的相关服务、平台上的所有用户、用户对服务的购买,以及所有业务流程。一个优秀的云存储支撑管理平台可以让少数几个人去维护上万台设备组成的庞大数据中心,其核心在于它可以提升云存储平台的管理效率,可以大大改善服务质量。我们需要一个成熟、易用、面向云存储服务的管理平台。存储网络设计市政府云计算中心的数据主要包括静态数据和动态数据,在本项目存储系统设计时采用两种存储模式来对上述需求分析数据提供高效的数据存储。FC存储模式:所有服务器通过FC网络连接到FC存储系统,FC存储系统向所有服务器提供块设备级共享存储系统。同时为了保证系统的可靠性,存储网(FC网络)采用双路径设计。如下图所示:图采用FC存储模式的业务区域目前,业界的FCSAN存储网络通常有两种组网方案:·采用大型的FCSAN交换设备,可提供8Gps的全双工光纤端口的线速互联,但是价格极其昂贵。·采用业务区域的方法,根据业务特点划分物理资源池。业务区域内配置2台48端口以内的SAN交换机,实现服务器与SAN存储设备的8Gbps端到端互联;业务区域之间采用级联的方式实现弱连接(非线速互联),业务资源池之间实现松耦合。这样可以大大降低云平台构建成本。并行存储模式:采用存储服务器,通过并行存储区的汇聚交换机万兆上链至核心交换机,实现与业务网段的互联互通,供各个业务分区访问。并行存储系统对外提供万兆以太网接口,用于存储访问。并行存储系统可以通过万兆上联的方式连接到业务网核心交换机,服务器通过业务网络,以NFS、CIFS、私有协议的方式访问并行存储系统。并行存储系统向所有服务器提供文件级高性能共享存储系统。如下图所示:图采用并行存储模式的业务区域根据存储对象的不同特性,将存储系统集中并分离为结构化数据存储和非结构化数据(包括照片、视频等数据)存储两大模块,每个模块采用高性能、虚拟化、扩展性能强的独立存储系统进行支持。存储资源池建设方案在市政府云计算中心的业务类型中,对于存储的需求基本属于两类,一类是数据库信息,一类是照片及视频数据等非结构化数据。存储资源池采用元数据与实际数据相分离的方式,通过分布式存储技术,将多台物理设备中的存储空间聚合成一个虚拟存储池,既能充分发挥存储系统的性能和磁盘利用率,又能为用户提供文件系统的共享功能,是一个完全开放的、共享的、跨平台的系统,具有高性能、高可靠性、使用维护简单、性能和容量可线性扩展的高端存储系统。·数据库存储:主要采用FCSAN存储模式,通过数据库集群技术构建集中存储模式,按照不同的数据库实例的构建,FCSAN通过划分不同的LAN来支撑不同业务数据的存储;·海量非结构化数据存储:为了保证海量非结构化数据(图片、视频等)高效存储和实时的查询需求,该部分数据采用并行存储思想构建,通过并行存储网络的架设和建立数据存储的索引信息来提高数据的查询速度。·备份数据存储:备份数据包括结构化和非结构化数据。·虚拟机镜像数据存储:与非结构化数据共用一个存储空间,也采用并行存储系统构建,为虚机迁移提供支持。具体存储空间需根据虚拟机的个数和操作系统来划分。并行存储系统建设并行存储系统主要解决用户文件数据存储共享以及视频等非结构化数据存储问题,是大规模云环境下最为理想的存储解决方案。并行存储系统基于一种开放式的存储架构,采用并行文件系统,将多台物理存储设备(这些物理设备可以是磁盘阵列,也可以是通用的存储服务器)的存储空间虚拟成一个具有统一访问接口和管理界面的存储池(也叫统一命名空间)。应用服务器通过统一访问接口获得所需得存储资源。用户的数据按照一定的负载均衡策略,条带化的分布到后台的多套存储设备上,从而能够实现数据的并行读写以获得更高的并发访问性能,充分利用多台存储设备的性能和更大的存储容量,并有效的提高存储空间利用率,并且所有的存储设备可以实现统一的管理和监控,大大减轻了管理工作负担。1并行存储系统特点·开放式架构(高扩展性)开放式架构是针对并行存储系统内部构成单元而言。并行存储系统通常包括元数据单元、数据单元、网络单元、客户端单元,每个单元都可以按需进行动态扩展,并且每个单元可以开放的采用其业界最新的技术,而无需改变系统架构。·并行文件系统并行文件系统是并行存储系统的灵魂所在,所有对并行存储系统的操作都经由并行文件系统统一调度和分发,分散到并行存储系统各个数据节点上完成。·全局统一命名空间全局统一命名空间在很多厂家的存储概念中都出现过,在并行存储系统中全局统一命名空间强调的是同一个文件系统下的统一命名空间。·易管理性并行存储系统通常能够提供一种集中的、简便易用的管理方式,不需要修改或重新编译客户端操作系统,采用文件系统提供的高速客户端软件或是业界标准的访问协议访问存储系统。而且,随着存储容量的增加,客户不需要增加额外的管理人员,将精力更多的投向自己的应用领域。·动态负载均衡在并行存储系统中,前端访问存储系统的读写操作,通过并行文件系统的负载均衡策略,将数据访问分散到存储系统的各个数据节点上,大大减轻了每个节点的负载。而后端访问数据,通过开放式的架构和存储网络,数据会分布在所有存储设备上进行存放和读取,每个读写操作都由更多的磁盘参与,因此大大的提高了读写操作的性能。·高性能并行存储系统通常能够提供比传统存储架构更优的性能和更大的存储容量(EB级别)以及更高的磁盘空间利用率(80%以上),尤其是在存储带宽方面,并行存储系统的存储带宽能够达到几十甚至几百GB/s。2并行存储系统与传统架构相比的优势传统的SAN与NAS分别提供的是块设备与文件两个不同级别的存储服务,并行存储系统主要面向文件级别存储服务。SAN系统提供块设备存储空间,FCSAN存储系统具有较高的性能,但是构建和维护起来很复杂;受制于主机头的性能和主机接口数量,FCSAN架构磁盘阵列扩展能力有限;NAS系统的构建和维护虽然比较简单,但是由于其聚合设备NAS头是其架构上的瓶颈,造成其性能很有限。并行存储系统的优势主要体现在提高并行I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。并行存储系统集中了SAN和NAS结构的优点,并且具备SAN和NAS不具有的优点。在大多数使用并行存储的案例中,随着存储系统的扩容,性能也随之提升。并行存储系统具备高可用和快速恢复能力。本着“将磁盘、服务器和网络等设备失效作为常态考虑”的理念,系统中所有部件都有冗余配置,并通过数据冗余提供高可靠。每一份元数据都有其副本数据,主从数据之间通过分布式日志系统保证它们之间的一致性。平时只有主副本数据提供访问,当主副本数据所在节点失效后,访问自动切换到从副本数据上。索引服务器分组使用的模式可以避免扩大了的系统带来开销的增长。数据同样提供多副本,只有有一个副本可以提供服务,系统即可用。根据部件失效造成的影响范围,下图给出了存储系统可能面临的失效的示意图。网络多通道技术自动屏蔽单一网络通道的故障。当磁盘失效时,某些数据副本受损,降低了数据的可用性。系统自动侦测到故障后,自动进行数据修复,将受损数据系统中剩余空间中重建。索引服务器能提供所有文件的分布信息,使修复并行化,大大减少了修复的时间,降低了修复期间,受损数据进一步丢失副本的可能。图存储系统故障分类采用上述技术路线,可以构建可扩展、高可靠,有效处理海量元数据和数据的存储系统,满足各应用系统文件存储需求。图并行存储系统架构图附件:可研报告编制依据,有关的政策、技术、经济资料1国家信息化领导小组关于我国电子政务建设指导意见(中办发[2002]17号)2国家信息化领导小组关于推进国家电子政务网络建设的意见(中办发[2006]15号)3国家信息化领导小组关于加强信息安全保障工作的意见(中办发[2003]27号)42006—2020年国家信息化发展战略(中办发[2006]11号)5关于信息安全等级保护工作的实施意见6关于网络信任体系建设的若干意见7信息安全等级保护管理办法8中共市委办公厅、市人民政府办公厅转发《中共省委办公厅、省人民政府办公厅关于加强全省电子政务外网建设的通知》的通知(大委办发[2008]6号)9关于加快全市电子政务外网建设和应用工作的通知(大政办发[2008]91)10电子政务标准化指南(第二版)11电子政务信息安全等级保护实施指南12电子政务网络技术和管理规范13市政府系统政务外网2007—2020年建设发展总体方案14市电子政务工程建设项目管理暂行办法(大发改高技字[2008]623)15市电子政务外网技术规范(征求意见稿)16市电子政务外网平台应用指南(征求意见稿)17原邮电部、原信息产业部、工信部已经颁发的相关标准规范,和ITUT、IETF等制定的相关标准18国家发展改革委、财政部关于加快推进国家电子政务外网建设工作的通知(发改高技[2009]988号)19顾大伟副司长在推进政务外网建设工作会上的讲话20王长胜主任在加快推进国家电子政务外网建设与应用工作会上的讲话21王长胜主任在全国省级政务外网建设运维单位工作会上的讲话22副主任在国家政务外网省级建设运维单位工作会议上的总结讲话23国家政务外网近期情况及做好下一步工作的几点意见24关于印发《国家电子政务外网2021年工作思路和重点工作》的通知(政务外网[2011]1号)25副主任在国家政务外网工作会议暨技术专家委员会会议上的讲话26《市“十三五”国民经济和社会信息化发展规划》
本文档为【智慧政务云计算中心-存储资源池建设方案】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
IT人
暂无简介~
格式:doc
大小:481KB
软件:Word
页数:22
分类:互联网
上传时间:2019-10-08
浏览量:55