IBM Spectrum Scale技术和架构详解

IBMSpectrumScale技术和架构详解架构师技术联盟微信号ICT_Architect功能介绍分析和交流行业最前沿技术，分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识，旨在知识交流、开放共享和共同进步。IBM高端存储最新产品为DS8884、DS8886和DS8888。闪存系统最新产品，以FlashSystem900为硬件基础，包装了FlashSystemV9000、A9000和A9000R，今天我们重点讨论下IBMSpectrumScale软件定义存储产品。   IBMSpectrumScale完全继承GPFS，也称作ElasticStorage， 兼容AIX,LinuxandWindowsServer操作系统，支持IBMPOWER,Intel或AMDOpteron服务器和zSystems。   SpectrumScale具有良好的可扩展性、闪存加速性能，以及基于策略的自动存储分层功能（从闪存、磁盘到磁带）。   SpectrumScale 为所有数据提供单一文件命名空间，提供Swift/S3对象服务和Openstack接口、大数据等存储服务接口。   IBMSpectrumScale是高性能、高扩展性的文件、对象、块和大数据分析的存储软件，具备随地存储、运行和数据访问能力。   SpectrumScale 在GPFS的基础上增加了Hadoop大数据、对象等能力，在存储功能上有了增强，具备丰富的特性、如Cache加速、生命周期管理、统一命名空间、多站点等；同时支持加密等特性和软硬件解耦部署 云集成   可以和IBMSpectrumcontrollerSDS控制器、SmartCloudVirtual StorageCenter业务编排、 SmartCloudStorageAccess云存储服务引擎、Openstack、IBMCloud云平台和管理平台集成。存储服务能力    提供丰富的业务访问能力，如文件接口 (POSIX,NFS,CIFS), 对象接口 (S3,SWIFT) 、大数据接口 HadoopDistributedFileSystem(HDFS)等等，支持集中部署和分部署多Region部署。   数据生命周期管理能力，存储内部HDD、SSD之间热点迁移；存储间，存储和带库间数据热点迁移；数据云上云下数据热点迁移。SpectrumScale的三种交付模型·Cloud-baseddeliverymodel，SpectrumScale 部署在云上提供存储服务，例如 IBMSoftLayer。·Software-baseddeliverymodel，用户可以基于现有的硬件部署IBMSpectrumScalestorage，可以选择不同的服务器硬件和操作系统，目前支持的服务器硬件和操作系统有：LinuxonPower、LinuxonIBMzSystems、 Linuxonx86(64-bit)、IBMAIXonPower、MicrosoftWindowsonx86(64-bit)。·Hardware-baseddeliverymodel，用户可以根据需求购买软硬一体化设备，设备上已经预安装了IBM的相关软件。 IBMSpectrumScale基于SDS，实现容量和性能独立按需扩展，避免容量或性能浪费，也可以独立扩展存储服务接口类型。IBMSpectrumScale支持多种部署选项和现有块存储、存储服务器（ESS）硬件节点集成，提供全局命名空间和统一访问接口。丰富的企业存储特性    TCS（Transparentcloudtiering），集Flash、HDDdisk,cloud, 带库成一套存储系统，满足高性能、降低成本。IBM公有云（如Softlayer）或CloudObjectStorage 可作为其一个存储层使用。   统一的文件和对象，文件和对象共享存储空间，文件数据可以通过文件读取，避免了数据孤岛和数据从文件到对象转化的成本。   快照和同步异步复制，实现数据快速备份，副本和数据按需恢复；实现自动的故障Failover和Fialback。   基于策略的数据压缩，节约存储容量，按需指定需要压缩的数据。   加密和文件删除，采用独立密钥管理系统实现数据在传输过程和存储介质中的加密，采用销毁密钥的方式删除数据。   多站点global命名空间，部署在不同区域的存储可以通过全局命名空间访问，通过全局文件共享GlobalActiveFileManagement和advancedroutingandcaching加速跨数据中心和区域应用的访问性能.   数据生命周期智能感知，基于策略，根据冷热度把数据迁移至匹配层。 SpectrumScale架构分类    软件定义存储，软硬件解耦，可以根据业务需要选择硬件。IBM 提供了ElasticStorageServer(ESS) 配合SpectrumScale版本部署，四种部署架构。Network-BasedClient架构，DirectAttachedStorage架构，MixedNSDaccess架构和FilePlacementOptimizer(FPO)架构。     SpectrumScale是存储虚拟化软件，与硬件解耦；可根据应用需求选择硬件，考虑灵活性，可以采用通用硬件，考虑性能，可以选择配置较高的硬件，IBM推荐的服务器为ElasticStorageServer。   IBMElasticStorageServer软件包括；RedHatEnterpriseLinux7forPower，GPFSStandardEdition4.X，GPFSNativeRAID4.X，IBMSupportforxCAT2（ExtremeCluster/CloudAdministrationToolkit）。IBMElasticStorageServer    ElasticServer分为GS和GL两类，GS系列分四个型号：    GS1支持24块SSD磁盘，带宽支持6GB。   GS2支持SSD或SSDSAS配置，对应带宽有所区别。   GS4模型和GS2类似，最大区别在于磁盘数量和带宽。   GS6支持SSD和SAS混合配置，带宽可以支持7GB。ElasticServerGL系列分三个型号：     GL2支持SSD和NL-SAS磁盘配置，聚焦分析性业务，对应带宽可达5GB以上，裸容量可达460TB。     GL4聚焦大数据分析和云计算，类似GL2，最大区别在于磁盘容量和带宽。     GS6是由6个磁盘框构成，所以支持容量更大，性能更高，带宽可以支持12GB以上。 IBMSpectrumScaleRAID   SpectrumScale搭配IBM的服务器和JBOD硬件组合为ElasticStorageServer，这种 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 中已经实现了EC方式的软RAID(本地RAID)，所有数据分布由SpectrumScale控制。 软RAID支持EC（最大 3）和副本（最大4副本）；数据分布到更多盘，获取更高的性能和数据恢复效率；能承受硬盘框级别的故障。ActiveFileManagement(AFM)   AFM主要用来实现跨地域的数据共享和访问加速，适用于分支办公场景，AFM为位于不同地域的多个集群提供统一的命名空间，多个集群间可通过WAN互联，使用NFS协议进行数据的并行传输 。SpectrumScaleSnapshotsforFiles   支持基于filesystem,fileset,andfilelevel的快照，可指定策略的保留周期、支持多次快照，快照支持备份或镜像程序并发访问（推测是只读快照）。   支持文件克隆。 IBMSpectrumScaleV4版本支持10,000个Filesets，支持256个Global 快照和256个独立的Fileset快照。   Filesets：提供一个细粒度的文件目录管理方式，如文件系统的一个分区或子目录，Filesets可以用来执行配额管理、快照、挂载、卸载操作、并可作为存储Pool使用等。Cache加速技术    通过在Client节点插入廉价的SSD和Flash，SpectrumScale 自动的、透明的把热点数据加速在SSD或Flash中，增加存储性能，并且减小数据访问时延。   HAWC采用NVRAM（SSD、Flash或FlashSystem）缓存RecoveryLog，降低同步写的时延，通常有两种方式使用HAWC。·保存SpectrumScalerecoverylog和元数据到高可用的存储系统，例如闪存、FlashSystem。·保存SpectrumScalerecoverylog和元数据在SpectrumScaleclient节点的低可靠NVRAM中。HierarchicalStorageManagement(HSM)   HSM是一个数据性能优化方案，通过闪存IBMFlashSystem作为Hotfile存储层提高文件系统性能，并实现数据在HDD、SSD和带库之间按照热点自动回迁。    SpectrumScale可以定制ILM（Informationlifecyclemanagement）策略， ILM策略使用类SQL的语法，将冷数据迁移到云存储中，云存储支持IBM自己的公有云、Cleversafe和其他兼容AmazonS3或OpenStackSwift的对象存储。 Unifiedfileandobjectaccess （UFO）   通过文件接口(SMB/NFS/POSIX)访问对象数据，同时支持通过对象接口访问文件，无缝地继承了文件和对象数据。   在类似HadoopMapReduce或Spark的分析系统中，对象数据可以作为File或fileset被直接访问用来进行数据分析。   数据以对象采集、分析结果以对象发布，整个过程无需数据移动。 支持虚拟化部署   SpectrumScale支持部署在专用的服务器，或部署在如基于虚拟化的AIX,Linux,或者 Windows操作系统之上。   基于虚拟化部署，考虑到性能，兼容性等因素，在实际应用中很少遇到，在技术上支持的虚拟化平台有：·PowerVM: 两种VirtualI/OServer(VIOS)方式实现虚拟化。VirtualSCSItargetadapters(VSCSI)和VirtualFibreChanneladapters(NPIV)。·Hyper-V·VMware·KVM NativeEncryptionandSecureErase   数据加密，采用加密软件在应用层实现加密。数据在存储到磁盘之前完成加密，不影响其他存储其他增值特性。    安全数据销毁，通过销毁管理密钥实现数据销毁，不需要多次擦写磁盘，所以在销毁数据时，对其他应用业务不会产生性能影响。17