首页 OceanStor 6800F高端全闪存存储技术白皮书

OceanStor 6800F高端全闪存存储技术白皮书

举报
开通vip

OceanStor 6800F高端全闪存存储技术白皮书华为OceanStor6800F高端全闪存存储系统技术白皮书目录1摘要...................................................................................................................................................12简介.............................................................................

OceanStor 6800F高端全闪存存储技术白皮书
华为OceanStor6800F高端全闪存存储系统技术白皮 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 目录1摘要...................................................................................................................................................12简介...................................................................................................................................................22.1产品系列........................................................................................................................................................................22.2客户价值........................................................................................................................................................................33系统架构...........................................................................................................................................53.1硬件架构........................................................................................................................................................................53.1.1后端全互连.................................................................................................................................................................53.1.2硬件全冗余.................................................................................................................................................................73.1.3门卫式数据加密(国内适用).................................................................................................................................83.1.4SED数据加密(国外适用).....................................................................................................................................83.1.5华为自研SSD.............................................................................................................................................................93.2软件架构........................................................................................................................................................................93.2.1块级虚拟化...............................................................................................................................................................103.2.2SAN/NAS一体化.....................................................................................................................................................133.2.3负载均衡...................................................................................................................................................................133.2.4数据缓存...................................................................................................................................................................143.2.5端到端数据完整性保护...........................................................................................................................................153.2.6丰富软件特性...........................................................................................................................................................153.2.7面向闪存的系统优化...............................................................................................................................................154精简高效Smart特性系列............................................................................................................204.1异构虚拟化(SmartVirtualiztaion)...........................................................................................................................204.2数据迁移(SmartMigration).....................................................................................................................................214.3数据重删压缩(SmartDedupe&SmartCompression)..............................................................................................234.4智能精简配置(SmartThin).....................................................................................................................................264.5智能服务质量控制(SmartQoS)..............................................................................................................................264.6智能缓存分区(SmartPartition)...............................................................................................................................284.7多租户(SmartMulti-Tenant)....................................................................................................................................304.8智能配额(SmartQuota)...........................................................................................................................................314.9智能数据迅移(SmartMotion).................................................................................................................................325数据保护Hyper特性系列............................................................................................................335.1快照(HyperSnap)....................................................................................................................................................335.1.1LUN快照(HyperSnapForBlock).......................................................................................................................33华为OceanStor6800FV5高端全闪存存储系统技术白皮书目录5.1.2FS快照(HyperSnapForFile)..............................................................................................................................345.2克隆(HyperClone)...................................................................................................................................................365.2.1LUN克隆(HyperCloneForBlock).....................................................................................................................365.2.2FS克隆(HyperCloneForFile)............................................................................................................................385.3远程复制(HyperReplication)..................................................................................................................................395.3.1LUN同步远程复制(HyperReplication/SForBlock).........................................................................................405.3.2LUN异步远程复制(HyperReplication/AForBlock)........................................................................................425.3.3FS异步远程复制(HyperReplication/AForFile)................................................................................................435.4阵列双活(HyperMetro)..........................................................................................................................................455.4.1阵列双活(HyperMetroForBlock)......................................................................................................................455.4.2阵列双活(HyperMetroForFile)..........................................................................................................................475.5一体化备份(HyperVault)........................................................................................................................................495.6LUN拷贝(HyperCopy)..........................................................................................................................................495.7卷镜像(HyperMirror)..............................................................................................................................................515.8WORM(HyperLock)...............................................................................................................................................535.9两地三中心(3DC)...................................................................................................................................................556最佳实践.........................................................................................................................................57A附录................................................................................................................................................58A.1更多参考信息.............................................................................................................................................................58A.2如何反馈意见.............................................................................................................................................................58A.3缩略语 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf .....................................................................................................................................................................59华为OceanStor6800FV5高端全闪存存储系统技术白皮书目录1摘要华为OceanStor6800FV5高端全闪存存储系统(以下简称OceanStor6800FV5高端存储系统)是面向企业级应用的新一代统一存储产品。本文从产品定位、硬件架构、软件架构、特性方面详细介绍了OceanStor6800FV5高端存储系统的关键技术,以及为客户带来的独特价值。华为OceanStor6800FV5高端全闪存存储系统技术白皮书1摘要2简介2.1产品系列2.2客户价值2.1产品系列OceanStor6800FV5高端存储系统当前仅包括OceanStor6800FV5一个产品型号。图2-1OceanStor6800FV5高端存储系统OceanStor6800FV5高端存储系统最大支持16个控制器,2000块2.5”硬盘。OceanStor6800FV5高端存储系统的系统缓存集成在控制器中,可通过在线增加控制器的方式扩展缓存,最大缓存容量可达16TB(每控1TB)。OceanStor6800FV5高端存储系统,支持8/16/32GbFC、GE/10GE/25GE/40GE/100GE等多种主机接口,系统最大可支持384个前端主机端口。华为OceanStor6800FV5高端全闪存存储系统技术白皮书2简介OceanStor6800FV5高端存储系统,采用最新SAS3.0技术,系统最大可支持192个4*12GbSAS3.0宽端口。详细产品规格信息请参见:http://e.huawei.com/cn/products/cloud-computing-dc/storage/unified-storage/6800f-v5。2.2客户价值华为OceanStor6800FV5高端存储系统是面向企业关键应用的新一代统一存储产品。凭借面向云架构的存储操作系统、强劲的新一代硬件平台和智能的管理软件,OceanStor6800FV5高端存储系统在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用的数据存储需求,广泛适用于政府、金融、运营商、能源、媒资等行业。同时,OceanStor6800FV5高端存储系统能够提供高效、灵活、丰富的备份、容灾解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ,有效保证用户业务连续性和数据安全,为用户提供卓越的存储服务。极致融合:搭载最新的OceanStorOS存储操作系统,OceanStor6800FV5高端存储系统进一步发挥融合优势,为用户提供融合的、可灵活调配的统一资源池,让用户数据自由流动,帮助企业IT向云架构演进。l闪存的融合:华为拥有最全面的闪存产品,能够实现不同类型,不同档次,不同代次的闪存实现互联互通;从数据面、管理面、运维面实现多层维度的闪存融合,实现存储阵列的高性能低时延,同时又保障SSD的长期可靠性。lSAN与NAS的融合:可同时兼容SAN和NAS两种服务,满足业务弹性发展需求,提升存储资源利用率,有效降低TCO。将块与文件两种数据服务融会贯通,不光能够实现多业务承载的能力,而且SAN与NAS性能与功能业界领先。l存储资源池的融合:通过内置异构虚拟化功能,OceanStor6800FV5高端存储系统能高效接管其它主流厂商存储阵列(不同档位,不同种类,不同型号),并整合成统一的资源池,消除数据孤岛,资源可统一管理,自动化&服务编排;同时,还可以实现实现第三方设备迁移0中断,迁移操作工具化自动完成,耗时平均缩短60%。l多数据中心的融合:SAN与NAS一体化双活实现跨数据中心的业务永续,组网更简单;从双活数据中心可平滑升级到3DC,提供两地三中心最高级别的业务连续性;可实现64:1的多级DC,提供数据集中容灾与保障。稳定可靠:领先的SmartMatrix2.0系统架构,全面的可靠性技术,帮助用户实现业务永续l4控制器全对称控制框:采用智能矩阵式多控架构在控制框6U空间内集成4个控制器,并在无源背板互连基础上融合了Cache持续镜像和后端硬盘控制器全互连技术,实现业界领先的4控全冗余特性。控制框内4个控制器互为热备,即使在3个控制器故障的情况下也依然能够保证业务稳定运行,完全避免了传统高端存储在系统升级或者控制单元故障时的单点运行状态,最大程度保证关键应用的业务连续性。l多控制器负载均衡:支持控制器间负载均衡,应用可通过多个控制器并发加速,消除性能瓶颈,实现业务的压力均衡。l全冗余硬件 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 :所有组件与通道均为全冗余设计,无单点故障,各组件与通道均可独立完成故障检测、修复和隔离,确保系统稳定运行。l独有的数据快速恢复技术:采用创新的块级虚拟化技术,1TB数据重构时间从10个小时降低到30分钟,与传统存储相比,因硬盘故障引起的数据失效风险降低95%。华为OceanStor6800FV5高端全闪存存储系统技术白皮书2简介lDIX+PI端到端数据保护:提供基于DIX+PI的端到端数据完整性保护方案,保证了数据从应用系统到HBA卡到存储系统再到硬盘的完整性,实现了从应用到硬盘的端到端数据保护,有效的防止了数据破坏,为客户提供更深层次的业务保障。l丰富的数据保护方案:Hyper系列数据保护软件包含快照、克隆、一体化备份、远程复制、阵列双活等数据保护技术,能够满足用户系统内、本地、异地以及多地的数据保护需求,实现方案级99.9999%的可用性,最大程度保障用户业务连续性和数据可用性。l面向核心应用的SAN与NAS一体化双活保护:创新性的在业界率先推出一体化双活方案,OceanStor6800FV5高端存储系统同时支持SAN与NAS双活,确保数据库与文件业务同时高可用。凭借HyperMetro免网关Active-Active双活,保障双活系统具备负载均衡的双活镜像以及无中断的跨站点接管,保障用户核心应用数据零丢失,业务零中断。此外,华为HyperMetro双活方案能够平滑升级至两地三中心解决方案。极致性能:匹配闪存的新一代存储硬件,提供业界最佳性能方案;面向闪存的系统架构设计,快速响应核心业务需求l面向全闪存设计的系统架构:OceanStor6800FV5高端存储系统采用创新的端到端深度优化的全自研闪存架构设计,包括面向闪存的CPU多核优化、Cache自适应算法、SSD自研算法及驱动等实现系统内软硬件深度融合,将全闪存存储性能发挥到极致,保证用户关键应用实现极致性能体验,帮助核心业务轻松跨入全闪存时代。l全面领先的规格:OceanStor6800FV5高端存储系统采用多核处理器,支持多种主机接口;内部采用新一代PCIe3.0总线,并采用12GbpsSAS3.0高速硬盘接口,可提供768GB/s的系统带宽,满足用户核心数据库高并发和低延时访问的需求。l灵活的扩展性:全面支持高速企业级SSD驱动器,单系统可灵活扩展至16控、16TB缓存、2000块SSD,使得性能及规格全面领先,实现数百万IOPS性能值。华为OceanStor6800FV5高端全闪存存储系统技术白皮书2简介3系统架构3.1硬件架构3.2软件架构3.1硬件架构OceanStor6800FV5高端存储系统采用智能矩阵式多控架构,以控制框为单位横向扩展,达到性能和容量的线性增长。单个控制框采用四控冗余架构,四控间采用板载PCIe3.0实现双控缓存镜像通道,多控制框之间通过专用数据交换机连接实现Scale-out。硬盘框内的硬盘通过双端口连接到控制框中的SAS3.0后端全互连接口卡上,同时支持四控共享访问,支持SAS接口的SSD、SAS、NL-SAS三种类型硬盘。通过BBU(BackupBatteryUnit),在系统掉电时把Cache中的缓存数据持久化到数据保险箱上实现缓存数据的保护。3.1.1后端全互连OceanStor6800FV5高端存储系统每个控制框包含4个控制器,4个控制器直接通过机框无源背板上的PCIe3.0高速通道互连,4控以内的配置不需要通过外部线缆和交换机,部署更简单,可靠性更好,性能也更好。下面图3-1为控制框前视图,最上面是4个BBU,下面是4个呈“田”字分布的4个控制器;图3-2为控制框内部连接示意图。图3-1OceanStor6800FV5控制框前视图华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构图3-2OceanStor6800FV5控制框内部连接示意图OceanStor6800FV5高端存储系统使用SAS3.0后端全互连接口卡,该接口卡由控制框内4个控制器共享,与4个控制器都有连接。某一个控制器发生故障时,控制框到硬盘框的连接仍然是冗余的,后端连接的可靠性不会降低。下面图3-3为控制框后视图,中间4个槽位所插接口卡,即为后端全互连接口卡,高度为4U;图3-4为后端全互连接口卡的连接示意图。图3-3OceanStor6800FV5控制框后视图华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构图3-4OceanStor6800FV5后端硬盘连接示意图OceanStor6800FV5高端存储系统支持持续镜像(PersistentCache)技术。控制框中的4个控制器,正常情况下A/B控的Cache相互镜像,C/D控的Cache相互镜像。当一个控制器故障后,假设B控故障,此时按照传统设计,为了保证数据可靠性,A控Cache将转为透写,性能急剧下降,而持续镜像技术会将A控Cache数据重新镜像到C或D控(由内部算法动态选择),以保证Cache数据可靠性,避免转透写带来的性能急剧下降。OceanStor6800FV5高端存储系统的每个控制器都内嵌PCIe交换芯片,最高可扩展到16个控制器节点,提供384lane的PCIe3.0交换通道,高达768GB/s的控制器间PCIe互联带宽。说明单个6800FV5高端存储系统的控制框,A控与B控、C控与D控之间的互联通道均为2条PCIeGen3x8链路(即2条8lane的PCIe3.0链路,对应双向带宽为2*2*8*8Gbps);A/B控与C/D控之间的互联通道均为1条PCIeGen3x8链路(即1条8lane的PCIe3.0链路,对应双向互联带宽为1*2*8*8Gbps)。所以,控制框内总互联带宽为8*2*8*8Gbps=1024Gbps,即128GB/s。3.1.2硬件全冗余OceanStor6800FV5高端存储系统所有组件与通道均为全冗余设计,无单点故障,各组件与通道均可独立完成故障检测、修复和隔离,确保系统稳定运行。表3-1硬件部件全冗余位置系统部件冗余情况故障影响控制框控制器1+3冗余性能按比例下降电源模块2+2冗余无影响华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构风扇模块11+1冗余无影响BBU模块3+1冗余无影响接口卡1+1冗余无影响管理板1+1冗余无影响2U硬盘框级联板1+1冗余无影响电源模块1+1冗余无影响风扇模块1+1冗余无影响4U硬盘框级联板1+1冗余无影响电源模块2+2冗余无影响风扇模块5+1冗余无影响3.1.3门卫式数据加密(国内适用)门卫式数据加密特性,由华为存储系统、门卫式加密机、密钥管理中心(KMC,KeyManagementCenter)三个部件组成。门卫式加密机实现商密加解密算法和数据流程,存储系统负责加密数据的存储,密钥管理中心负责加密密钥的管理和生命周期控制。说明门卫式数据加密机,只支持FC链路,不支持快照、克隆、远程复制、LUN迁移等增值特性,不支持NAS协议加密。3.1.4SED数据加密(国外适用)华为OceanStor6800FV5高端存储系统支持SED(Self-EncryptingDrive,自加密硬盘)数据加密特性,通过配置自加密硬盘和内置密钥管理(存储系统自带密管系统)或者外置密钥管理(外部配置独立的密管系统),与存储系统配合完成数据静态加密。数据加密特性通过AES256密码算法对存储系统上的用户数据进行加密,保证用户数据的保密性、完整性、可用性。内置密钥管理内置密钥管理是OceanStor6800FV5高端存储系统内嵌的密钥管理应用,提供对数据加密特性中自加密硬盘的AK的生命周期管理。内置密钥管理支持密钥产生、更新、销毁、备份、恢复等功能。内置密钥管理易部署、易配置、易管理;在无更高安全要求,并且整个数据中心的密钥管理仅用于存储系统的场景下,建议选择内置密钥管理;无需再独立部署一套密管系统。外置密钥管理OceanStor6800FV5高端存储系统支持外置密钥管理,采用第三方外部的KMS(KeyManagerServer)对数据加密特性的密钥管理。外置密钥管理采用KMIP+TLS的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 协议。在数据中心多场景需要密钥集中管理时,建议选择外置密钥管理。华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构外置密钥管理支持密钥产生、更新、销毁、备份、恢复等操作。同时ExternalKeyManager支持双机模式,两个KMS之间会进行密钥的实时同步,保证密钥可靠性。自加密硬盘SED具备两层安全保护,分别使用AK(authenticationkey)和DEK(dataencryptionkey)两个安全密钥。lAK认证原理:当在OceanStor6800FV5高端存储系统上打开硬盘加密特性时,存储会打开加密硬盘的AutoLock功能,并使用由KeyManager分配的AK,此时硬盘的访问已由SED的AutoLock功能保护,只能由存储系统本身访问。硬盘每次接入时,需要存储系统从密管服务器获取硬盘的AK,如果与硬盘上的AK匹配,硬盘就将加密后的DEK解密,用于数据加解密。如果AK与硬盘上的AK不匹配,则任何读写操作都将失败。l数据加密原理:当硬盘成功通过Autolock认证后,对硬盘进行读写时,硬盘通过自身的硬件电路和内部的数据密钥(DataEntryptKey)完成写入数据加密和读取数据解密的功能。数据在写入硬盘之后,通过DEK的加密,变成加密信息。DEK本身无法获取,意味着硬盘被拆除后,通过机械读取的方式无法还原原始信息。3.1.5华为自研SSD华为是业界唯一一家同时具备SSD和存储系统研发能力的存储厂商,掌握SSD控制器芯片的核心技术,具有自研SSD的自主知识产权,目前华为自研SSD已申请专利150件,已授权专利130多件。SSD控制器作为盘片的核心部件,直接决定了盘片的性能、可靠性等关键参数。当前HSSD使用华为自研的第二代控制器,该控制器是一款面向企业级应用,提供目前业界标准PCIe3.0╳4,SAS3.0╳2接口,该控制器具备高性能、低功耗特点,同时具备高附加值存储业务特性。针对介质磨损寿命下降的趋势,通过增强ECC/数字信号处理、内置RAID等技术延长SSD寿命,满足企业级可靠性应用要求;该控制器支持最新的DDR4、SAS12Gb接口速率以及硬件加速FTL等技术,为企业级应用提供稳定、低时延的性能。华为自研HSSD采用以下手段提升SSD盘的整体寿命和数据可靠性:1.更高的ECC处理能力:随着flash颗粒制程从2Xnm向1Xnm演进,颗粒的擦写带来的错误比例逐渐增高,传统业界普遍使用的BCH纠错引擎开始变得不能满足flash的纠错要求。为了保证一贯的数据可靠性,华为SSD内嵌了与企业级SSD控制器匹配的LDPC+DSP算法引擎。该引擎融合硬判决、软判决、DSP等手段,同时和颗粒厂商深度合作,进行深度调优,使flash寿命提升最大3到4倍。2.NANDFlash的内部处理:通过实时监控NANDFlash的状态,采用后台巡检、基于介质特性的坏页管理、分类分级管理和Die失效冗余的方法来提高SSD的可靠性;3.优化的SSD管理调度算法:通过优化的垃圾回收算法(GC)、磨损均衡算法(WearLeveling)、坏块管理算法等,降低SSD的写放大系数,直接减少或变相增加对SSD的磨损次数;4.系统级针对SSD的数据保护:通过电压监控模块以及备电电路保护系统降低异常掉电时可能造成的数据丢失风险。3.2软件架构OceanStor6800FV5高端存储系统提供的软件包括存储系统端软件、维护终端软件和应用服务器端软件。这三部分软件相互配合,从而智能、高效、经济地实现各种存储业务、备份业务和容灾业务。华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构存储系统软件结构如图3-5所示。图3-5OceanStor6800FV5高端存储系统软件架构框图存储系统端软件采用OceanStorOS专用操作系统,实现硬件管理和支撑存储业务软件的运行。存储系统通过基本功能控制软件实现基础的数据存储和读写功能;通过增值功能控制软件实现各种备份、容灾和性能调优等高级功能;通过管理功能控制软件实现对存储系统的管理功能。下面从块级虚拟化、SAN/NAS一体化、负载均衡、数据缓存、端到端数据完整性保护、软件特性等方面进行关键软件架构技术介绍。3.2.1块级虚拟化块级虚拟化原理OceanStor6800FV5高端存储系统采用RAID2.0+块虚拟化架构。不同于传统RAID固定成员盘的做法,RAID2.0+是基于硬盘的块级虚拟化技术。阵列内所有的硬盘被划分为华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构固定大小的CHUNK,系统自动随机选择多个硬盘的多个CHUNK按照RAID算法组成CKG,CKG直接分配给Volume或被划分为固定大小的数据块(Extent)分配给不同的Volume使用。Volume对外体现为LUN或文件系统(FileSystem,缩写为FS)。RAID2.0+如下图所示(注意:下图为通用架构说明,OceanStor6800FV5高端存储系统仅支持SSD盘,无分层特性,可以创建的Volume也均为Non-Tiered类型):图3-6RAID2.0+块虚拟化快速重构快速重构,每个物理硬盘的CHUNK会和多个硬盘的CHUNK组成RAID,单个硬盘故障后参与重构的硬盘比传统方式多很多,可以极大提高重构速度,最快可以达到每TB重构30分钟完成。以9块硬盘RAID5为例。当硬盘1损坏,造成CKG0和CKG1的数据损坏。系统随机选择CHUNK进行重构。如下图,14和16两个CHUNK损坏,将随机选择POOL中的空闲CHUNK进行重构(如图3-7黄色方块),随机选择的CHUNK将保证尽量分布在不同的硬盘上。图3-7RAID2.0+快速重构示意图(一)华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构如下图,随机选择硬盘6的61号CHUNK和硬盘8的81号CHUNK,数据将从其他成员盘重构到这两个CHUNK。图3-8RAID2.0+快速重构示意图(二)传统硬盘重构的瓶颈主要在目标盘(热备盘),因为所有成员盘将所有数据读出后重构数据会全部写入到目标盘,其写带宽就成了整个重构速度的关键,比如一块传统2T大容量硬盘,重构时间就是2T除以30M/S,也就是18个小时。而经过RAID2.0+块虚拟化后将有两个方面的提升:1.多块目标盘,如上例子就是两块目标盘,重构时间就将缩短为9小时,当CHUNK数量和成员盘增加时,目标盘可以达到成员盘个数,所以重构速度将极大提升。2.按CHUNK重构,当故障盘上分配的CHUNK较少时,需重构的数据将大幅降低,重构速度将进一步提升。RAID2.0+最快可以达到每TB重构30分钟完成,重构时间的缩短,将大大降低双盘失效的概率。硬盘负载均衡RAID2.0+技术将使硬盘自动负载均衡,Volume的数据被均匀分布到阵列内所有的硬盘上,可以防止局部硬盘过热,提升可靠性。在参与业务读写过程中,阵列内硬盘参与度高,有效提升系统性能。最大化硬盘资源利用率最大化硬盘资源利用率:1.性能:在RAID2.0+环境中,LUN/文件系统基于资源池(Pool)创建,不再受限于RAID组磁盘数量,单个LUN/文件系统的性能可得到大大提升;2.容量:由于资源池中的磁盘数量不受限于RAID级别,免除传统卷管理技术环境下有些RAID组空间利用率高而有些RAID组空间利用率低的状况,并借助LUN/文件系统动态扩容,从而提升磁盘的容量利用率。提升存储管理效率1.易规划:无需花费过多的时间做存储预规划,只需简单地将多个硬盘组合成存储池,设置存储池的分层策略(OceanStor6800FV5高端存储系统仅支持SSD盘,无分层特性),从存储池划分空间(卷)即可;华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构2.存储池易扩容:当需要扩容存储池,只需插入新的硬盘,系统会自动的调整数据分布,让数据均衡的分布到各个硬盘上;3.卷易扩容:当需要扩容卷时,只需输入想要扩容的卷大小,系统会自动从存储池中划分所需的空间,并自动调整卷的数据分布,使得卷数据更加均衡的分布到所有的硬盘上。3.2.2SAN/NAS一体化OceanStor6800FV5高端存储系统采用SAN/NAS一体化设计,不再需要NAS网关设备,一套软硬件同时支持SAN和NAS,支持NFS、CIFS、FTP、HTTP等文件访问协议,以及NDMP文件备份协议。NAS与SAN一样,同样支持16控的Scale-out,主机可以从任意1个控制器上的前端主机端口访问任意1个LUN或文件系统。统一存储的OceanStorFV5融合平台架构如下图,文件系统和LUN是平行的出在Space子系统之上,下面是基于RAID2.0+的块虚拟化存储池子系统。在这个架构中,文件系统和LUN都直接与底层的Space子系统交互。文件系统架构是基于对象的,每个文件或文件夹是一个对象,每个文件系统是由对象组成的对象集。对于LUN来说,LUN分ThinLUN和传统的ThickLUN。两种LUN也都来自于Pool和Space系统,并没有建立在文件系统之上。这样简化的软件栈带来的存储效率比传统的统一存储架构效率要高,同时LUN和文件系统各自保持独立,互不影响。图3-9OceanStorOS软件平台架构示意图3.2.3负载均衡SAN负载均衡默认情况下,OceanStor6800FV5高端存储系统自动将不同LUN均衡分配到不同控制器,LUN空间均衡打散到系统内所有硬盘。如果主机到存储阵列的每个控制器都有I/O路径,华为自研多路径软件UltraPath会优选LUN归属控制器的路径下发;如果没有优选路径,则IO下发到阵列后,系统会自动判断对应LUN业务应由哪个控制器处理,通过SmartMatrix智能矩阵将IO转发到对应控制器进行处理。通过将LUN均衡分配给不同控制器及LUN空间在全局范围均衡分布,使得不同控制器业务、硬盘压力相对均衡,配合华为自研多路径UltraPath选择最优路径下发IO,使系统性能达到了最优。华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构NAS负载均衡默认情况下,OceanStor6800FV5高端存储系统自动将不同文件系统均衡分配到不同控制器,文件系统空间均衡打散到系统内所有硬盘,使得不同控制器业务、硬盘压力相对均衡。OceanStor6800FV5高端存储系统也同时提供DNS负载均衡特性,可根据业务负载智能地将主机NFS/CIFS/FTP客户端连接分发给配置在不同节点、不同端口上的业务IP进行处理,从而提升系统的性能和可靠性。DNS负载均衡特性是指主机通过域名访问存储阵列的NAS业务时,先发DNS请求到阵列内置DNS服务器,根据域名获取IP地址。域名下包含多个IP时,内置DNS服务器根据各IP所在的控制器的CPU利用率、端口带宽利用率、所在控制器的NAS连接数等,选择负载较轻的IP作为DNS响应返回给主机。主机收到DNS响应后,向目标IP发起业务请求。DNS负载均衡特性支持的负载均衡策略有轮循方式、按节点CPU利用率、按节点连接数、按节点带宽利用率、按节点综合负载。3.2.4数据缓存l缓存分布:OceanStor6800FV5高端存储系统的物理内存的使用分布情况为:物理内存=操作系统等占用缓存+读缓存+本地写缓存+镜像写缓存+业务特性占用缓存l缓存类型:OceanStor6800FV5高端存储系统缓存分为读缓存、写缓存。读缓存:将已读取的数据保存在内存空间中(读缓存),当下次再次读取同一数据时就不必重新从磁盘上读取,从而提高速率。写缓存:将要写入磁盘的数据先保存在内存空间中(写缓存),当保存到写缓存中的数据达到一个阈值时,便将数据保存到硬盘中。通过读写缓存可以减少实际的磁盘操作,提升系统读写性能,同时有效的保护磁盘免于重复的读写操作而导致的损坏。写缓存没有使用时,系统所有缓存都可以用作读缓存。系统对读缓存有最小容量预留,以保证在写业务压力很大时,仍能保证读业务缓存资源可以使用。l缓存预取:OceanStor6800FV5高端存储系统实现了多路顺序流识别算法,即在大量乱序和随机的IO中识别出顺序IO流,对顺序的读写IO流采用预取和合并算法,能优化多种应用场景的系统性能。同时,OceanStor6800FV5高端存储系统的预取算法实现了智能预取、固定预取、倍数预取等算法。智能预取能自动识别IO特征,根据IO特征决定是否预取、预取多大长度,确保产品性能能满足不同应用场景。系统默认采用智能预取算法,在某些I/O模型非常明确的应用场景,用户也可以配置固定预取或倍数预取算法,这两种算法支持由用户自行配置预取数据长度。l缓存淘汰:华为OceanStor6800FV5高端全闪存存储系统技术白皮书3系统架构当系统缓存占用率达到阈值时,淘汰算法根据历史访问频率和当前的访问频率,计算数据块的热度,结合多路顺序流识别算法,选择合适的数据进行淘汰。另外根据用户的具体需要,可配置Volume的缓存优先级,还可以对具体业务调整每个IO的优先级。低优先级的数据,优先淘汰;高优先级的数据缓存更多,保证数据命中率。3.2.5端到端数据完整性保护ANSIT10PI(ProtectionInformation)标准提供了一种方法来校验访问存储系统过程中的数据完整性。这种检查通过T10标准中定义的PI字段来实现。该标准通过在每个扇区数据后加上8字节的PI字段来实现数据完整性检查。T10PI通常用来保证存储系统内部的数据完整性。DIX(DataIntegrityExtensions)进一步延伸了T10PI的保护范围,实现了从应用到主机HBA的数据完整性保护,因此,DIX+T10PI可以实现从应用到硬盘的完整的端到端数据保护。OceanStor6800FV5高端存储系统不但支持T10PI来保证存储系统内部的数据完整性保护,而且支持从应用到硬盘的DIX+T10PI端到端数据完整性保护。阵列对数据PI字段进行实时校验并下发,如果主机侧不支持PI,则阵列会在主机接口增加PI字段并下发。在存储系统中,PI跟随用户数据一起参与各种转发、传输并最终存储到磁盘介质中。数据被主机应用重新读出前,系统会通过数据PI检查数据的正确性和完整性,保证用户数据的可靠性。3.2.6丰富软件特性OceanStor6800FV5高端存储系统提供了用于系统效率提升的Smart软件系列和用于数据保护的Hyper系列软件:l效率提升系列(Smart系列):在线重删(SmartDedupe)、在线压缩(SmartCompression)、智能精简配置(SmartThin)、异构虚拟化(SmartVirtualization)、智能数据迅移(SmartMotion)、智能数据迁移(SmartMigration)、智能服务质量控制(SmartQoS)、智能缓存分区(SmartPartition)、多租户(SmartMulti-Tenant)、智能配额(SmartQuota),主要为用户提供存储效率提升方面的功能,降低用户的TCO。l数据保护系列(Hyper系列):快照(HyperSnap)、克隆(HyperClone)、远程复制(HyperReplication)、双活(HyperMetro)、一体化备份(HyperVa
本文档为【OceanStor 6800F高端全闪存存储技术白皮书】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
IT人
暂无简介~
格式:pdf
大小:9MB
软件:PDF阅读器
页数:63
分类:互联网
上传时间:2019-12-10
浏览量:22