集团云计算数据中心规划方案

集团云计算数据中心设计 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 目录-1目录第一章工作方法及成果一览第一节概述第二节设计依据第三节设计方法概述第四节设计成果一览第二章资源池总体设计第一节总体设计概述第二节资源池规模和布局规划第三节资源池成熟度分析和演进路线第四节资源池配套运营措施第五节整体投资回报分析第三章集中式云数据中心池设计第一节池概设综述第二节服务器域设计第三节存储域设计第四节网络域设计第五节机房要求第六节应用入池设计第七节池准入规范目录-2目录第四章省级数据中心池设计第一节池概设综述第二节服务器域设计第三节存储域设计第四节网络域设计第五节机房要求第六节池准入规范第五章云资源管理系统设计第一节功能设计第二节软件设计第三节演进路线第六章总结第一节资源池服务目录第二节关键步骤第三节主要技术决策点目录目录第一章工作方法及成果一览第一节概述第二节设计依据第三节设计内容概述第四节设计成果一览1.1概述1.工作方法及成果一览“资源池”的概念经过两年的发展和演进，正在企业私有云环境中逐步取代“IaaS”的概念，成为云计算第一个能够真正完整落地的基础架构新型应用方式。目前“资源池”已经成为概念有共识、涵盖范围较为清晰的基础架构方案。概述金融行业应用现状电商行业处于公有云环境下资源池建设的领路人，他们共同具有的特点是规模大、环境单纯、大量采用开源软件：1）百度建立超过万台以上规模的大型资源池，且采用以机柜为最小交付单元的设计思路；2）新浪同样建立了万台以上规模的大型资源池，且引入Openstack规范开发了自己的云管理平台。电信运营商应用现状电子商务行业应用现状大型银行在信息化领域相对超前，但在资源池建设领域由于存量资产过大，反而变得相对保守。中小金融单位相对走得快一些，具体如下所述：1）建设银行和农业银行已经建立一定规模的资源池，特点是规模较大，但应用方式保守，没有改变应用竖井的现状；2）太平洋保险建立了1000台物理机规模的资源池，特点在于X86虚拟化比率达到了95%，小型机X86化比较彻底，但网络环境柔性不够。电信运营商在国内资源池领域处于相对领先的地位，无论在私有云还是公有云领域。三家运营商状况分别描述如下：1）中国移动发布了集团资源池规范，各省依据规范建设各自的资源池；南基地在尝试建立集中式资源池的试点；2）中国联通在32所协助下建立了针对公有云的资源池，建设规模目前不大，还处于试点阶段；3）中国电信在微软支持下，建立了试点资源池。目录目录第一章工作方法及成果一览第一节概述第二节设计依据第三节设计内容概述第四节设计成果一览1.2设计依据1.工作方法及成果一览为了确保集团资源池到“十二五”规划结束的时候能够达到国内行业领先的应用水平，项目组进行了广泛的调研工作，完成了对集团内部需求调研、业界主流厂商调研、资源池案例分析，经过分析为资源池的建设思路提供了参考依据。设计依据厂商调研从资源池基础架构厂商和云资源管理系统厂商两个角度开展调研1.基础架构厂商方面对IBM、华为、EMC、Cisco等业界主流的几大厂商进行了服务器、网络、存储等方面的调研，掌握了当前主流技术的应用情况和未来技术的发展方向；2.云资源管理系统方面调研了BMC、华为、CA、32所、红蓝科技等国内外的主要厂商，对各自平台提供的能力、特点、成功案例进行了分析。对国内现有的云计算项目进行案例分析：包含项目背景、资源池规模、资源池特点等几个方面进行重点分析。案例分析的范围包括：1.某大型保险集团（高达95%的虚拟化率）；2.四大国有银行之一（纳管5000台设备）；3.移动某省分公司（应用一键式部署）。4.电子商务公司的典型代表百度和新浪（高达万台以上的规模）；厂商调研行业案例分析对总部项目组和各省（市）开展了有序的调研工作，包含：1.通过IMS获取全网服务器设备数量；2.针对总部ERP、协同办公、UAP、灾备中心和桌面云等项目组展开了调研工作；3.通过调研，制定云资源管理系统功能性需求（44个场景）、非功能性需求（33个场景）、流程与角色定义调研表等调研分析工作。需求调研1.2领导和专家意见反馈1.工作方法及成果一览在设计初稿经过汇报、专家研讨和关联项目交流等工作，共收集各类建议和意见计105条。经过认真分析后，采纳修改情况如下所示：领导和专家意见反馈程处指导意见专家研讨会建议集中式数据中心交流合计已涵盖13417接受96823接受并修改7191743未来实现729不予采纳4913合计164940105172343913已涵盖接受接受并修改未来实现不予采纳目录目录第一章工作方法及成果一览第一节概述第二节设计依据第三节设计内容概述第四节设计成果一览1.3设计内容-技术路线概述1.工作方法及成果一览资源池建设相对业务系统和传统基础架构而言是一个全新的领域，基于若干先行者的经验教训，本次设计我们提出了符合集团SG-ERP总体建设思路的设计方法和技术路线。设计方法•设计思路针对集中式数据中心资源池和省级数据中心资源池的不同需求分别设计。•设计方法1）资源池总体设计思路2）资源池概要设计步骤3）应用入池设计方法4）资源池布局规范5）资源池准入规范6）资源池规模估算方法7）资源池投资回报分析方法设计思路和设计方法•引入的新技术1）X86和小型机虚拟化技术2）部分存储虚拟化技术3）网络大二层技术•引入的新设计思路1）最小交付单元2）管理单元3）二级存储4）跨池调度•引入的新技术1）自动化技术2）自动装配技术•引入的新设计思路1）自动化装配2）基于策略的自动化调度3）基于性能的弹性调度基础架构的技术路线云资源管理系统的技术路线1.3设计内容–总体设计思路1.工作方法及成果一览资源池项目作为一个复杂的工程项目，需要配套一套有效完整的设计方案。资源池规划设计工作包含两条主线：资源池基础架构设计和云资源管理系统设计，这两条主线需要统一的资源池总体设计作为指导。整体设计思路资源池设计资源池基础架构设计云资源管理系统设计•资源池的硬件架构模式；•资源池中计算、存储、网络资源的建设方式；•池内资源如何满足应用系统需求；•其他基础架构配套措施。•资源池统一管理；•资源服务交付；•资源全局调配；•资源容量规划；•其他。资源池总体设计•资源池布局规划；•资源池总体容量规划；•资源池演进路线规划；•资源池运营模式规划。1.3设计内容–资源池设计步骤1.工作方法及成果一览应用/设备入池分析清单行业案例主流技术1.需求阶段3.实施阶段行业案例-主流技术分析设计汇报通过设计文档评审通过现状调研现状汇总应用入池分析需求分析需求汇总设计设备入池分析项目目标分析云管理平台需求分析云管理平台需求分析项目目标分析省市应用-设备清单一级部署的应用-设备清单资源池概要设计省市现状通过三种手段，把目前资源池现状开展调研，整理到三套表格中基于“调研结果”，经过四道工序完成需求汇总和分析的工作，并进而形成量化的项目目标首先制定总体设计方案，对未来建设形成指导；然后通过“池设计”和“云平台设计”形成落地方案实施阶段包含总部三中心建池、省市建池和资源管理配套措施落实等三个方面形成阶段性里程碑，指导实施和研发资源池基础架构概要设计云资源管理系统概要设计概要设计成果准入规范云资源管理系统概要设计研发/工程实施总部/三中心建池27省中心建池资源管理方式的转型应用1级部署应用级容灾27省中心应用入池4.运营管理阶段运营管理/持续优化资源服务全局管理总部/三中心资源池管理2.设计阶段镜像库资源信息资源池管理KPI27个省级资源池管理31个资源池资源池持续优化转入运营管理阶段后。除了日常运维工作外，服务目录、KPI和持续优化是值得关注工作资源池总体设计资源池总体设计应用入池方法论1.3设计内容–资源池布局规范1.工作方法及成果一览13按照集团数据中心整体规划，资源池将分布在集中式数据中心和省级数据中心。资源池分层设计按照数据中心、功能区、池、资源组、管理单元、交付单元的层次关系递进。方法概述①数据中心按照数据中心规模分为：集中式数据中心（3个）和省级数据中心（大型，中大型，中型，小型）。②功能区在集中式数据中心内部，按照功能划分为生产区、灾备区、开发测试区等。在省级数据中心内部，只有生产区。③池综合考虑资源种类、应用架构、应用等级保障、管理需求、安全域因素，在功能区域内部，将按照硬件设备是否进行虚拟化，分为虚拟池和物理池。④资源组池内部分为多个资源组。单个资源组由多个同一类型的管理单元组成。资源组按照应用等级保障规范分三级和二级，按照资源的性能承诺分为高性能和高密度。⑤管理单元管理单元指资源组的管理组件可管理的最大交付单元数量。⑥交付单元在资源组管理单元扩展时所用的最小单位，一般以机柜为单位交付。目录目录第一章工作方法及成果一览第一节概述第二节设计依据第三节设计内容概述第四节设计成果一览1.4设计成果1.工作及成果一览2013年设计文档按照总体设计、池概要设计、准入规范、云资源管理平台需求分析和云资源管理平台概要设计的五个领域，分成五个分册设计内容导读第一章概述第二章资源池蓝图规划第三章资源池服务目录第四章资源池运营第五章资源池投资回报分析第六章总结《软硬件资源池总体设计》第一章概述第二章服务器域设计第三章存储域设计第四章网络域设计第五章应用入池设计第一章引言第二章服务器准入 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 第三章存储设备准入标准第四章网络设备准入标准第五章平台软件准入标准第六章特例说明第一章概述第二章标准和规范第三章相关假设、限制、依赖条件第四章业务描述第五章功能规格第六章技术规格《云资源管理系统软件需求规格 说明书 房屋状态说明书下载罗氏说明书下载焊机说明书下载罗氏说明书下载GGD说明书下载 》第一章概述第二章标准和规范第三章系统总体框架第四章业务能力视图第五章功能视图第六章系统数据视图《云资源管理系统概要设计》《硬件资源池概要设计》《软硬件资源池准入规范》第七章系统组件视图第八章系统集成视图第九章系统逻辑部署视图第十章系统物理部署视图第十一章系统灾备视图第十二章系统安全视图目录目录第二章资源池总体设计第一节总体设计概述第二节资源池规模和布局规划第三节资源池成熟度分析和演进路线第四节资源池配套运营措施第五节整体投资回报分析2.1总体设计概述-关键概念2.资源池总体设计在资源池总体设计中，使用到以下关键概念。关键概念术语解释最小交付单元通常有一至两个机柜、若干台X86服务器、一台存储设备、两台网络交换机和两台SAN交换机组成，是X86虚拟池中最小单位。管理单元若干个最小交付单元组成一个管理单元，通常由同一个虚拟化管理平台进行管控，是虚拟化管理平台进行故障迁移的最大管理边界。虚拟化比率单台物理服务器上可以运行多少台虚拟机。虚拟化比率与应用类型、物理机配置、虚拟机规格都有关系，因此在不同应用、不同物理机配置、不同虚拟机规格要求的情况下，其虚拟化率是不同的。高性能组通过使用高配置服务器，光纤存储来保证交付单元性能，估算较低的虚拟化比率来保证应用能更流畅的运行，承诺更高的交付性能。高性能组的虚拟化比率设定为1:3。高密度组通过使用高配置服务器，基于万兆网络的存储设备，估算较高的虚拟化比率来保证系统正常运行，承诺更高的交付密度。生产灾备区采用虚拟化比率为1:8，测试区为1:20。大二层二层环境下实现类似三层IP的“路由”行为，实现网络拓扑的快速收敛、以及快速的错误诊断等高级路由功能。具有虚拟机任意迁移、无阻塞、低延时转发、网络规模大等优点。二级存储安装在最小交付单元中的存储设施，是用来作为X86虚拟化服务器本地硬盘使用的存储设施，区别于用于核心业务数据的一级存储设施。标准单元是指X86虚拟池中最小交付单元中虚拟化平台集群范围内的设备集合。2.1总体设计概述-对资源池设计目标的理解2.资源池总体设计信息系统软硬件资源池（简称“资源池”）是软硬件资源的集合，包括各类主机、存储、网络、设备和中间件、数据库等平台软件，提供了动态供应资源的能力，是企业级IT基础设施崭新的应用形式，在云计算环境下是推动基础架构转型的重要推手之一，对于加强资源管控、实现成本领先具有重要意义。资源池定义资源池建设总体目标•降低IT总拥有成本资源池模式相比传统模式，资源利用率可提高3倍以上，整体IT总成本可降低30%；•增强业务可用性总成本降低的前提下，资源池中业务稳定性与可靠性可相当于甚至超过高端设备能够达到的水平；•提升业务响应能力提高研发测试效率，缩短资源响应周期，加快业务响应速度；•加快业务创新运维门槛的降低和运维水平的提升，使有限的人力资源可更多的投入到业务创新中。提升业务响应能力增强业务可用性加快业务创新降低IT总拥有成本构建具备柔性、弹性特征的IT基础设施架构2.1总体设计概述-总设涵盖内容2.资源池总体设计资源池总体设计包含资源池五个宏观方面的内容，对池概要设计和云资源管理系统概设形成指导意见，保证集团资源池到“十二五”规划结束的时候能够达到国内行业领先的应用水平。总设概述•总体规模分析从全网统推应用设备规模，推导集中式数据中心和省级数据中心规模•资源池总体布局设计对资源池的在集中式数据中心和典型省级数据中心的布局提出设计方案•配套运营措施引入资源池后给数据中心运营方式带来变化，提出未来需要的运营框架•成熟度和演进路线资提出了资源池成熟度模型，分析行业内案例，指导集团设计目标和演进路线•投资回报分析基于池概设，把资源池环境下的基础架构投资与传统基础架构投资规模进行比对和分析总体规模分析资源池总体布局设计配套运营措施成熟度和演进路线投资回报分析总体设计目录目录第二章资源池总体设计第一节总体设计概述第二节资源池规模和布局规划第三节资源池成熟度分析和演进路线第四节资源池配套运营措施第五节整体投资回报分析2.2资源池规模和布局规划-规模估算方法概述2.资源池总体设计规模估算分为两条主线：1、全网应用完成一级部署之后集中式数据中心的规模估算；2、一级部署完成前，在充分利用省（市）公司现有设备情况下省级数据中心的规模估算。规模估算Step1•选取协同办公系统为典型应用，通过对协同办公系统在二级部署和一级部署模式下所需服务器数量的分析，获取协同办公系统一级部署之后服务器规模的减少率。Step2•从IMS获取全网27家省（市）公司的服务器数量，计算得到全网服务器数量；基于前面获取的一级部署服务器规模减少率数据，估算一级部署之后全网服务器数量。Step3•基于前述估算的一级部署之后全网服务器规模，估算虚拟化后的服务器规模，并参考布局规划方法，提出集中式数据中心资源池的规模和布局。Step1•从IMS获取全网27家省（市）公司的X86服务器和小型机数量。Step2•在进行省级数据中心规模分析时，保留X86服务器的现有规模，但把小型机服务器的数量降下来，可以让小型机在未来进行统一再分配。Step3•基于IMS获取的省级数据中心服务器规模，估算虚拟化后的服务器规模，并参考布局规划方法，提出省级数据中心资源池的规模和布局。集中式数据中心省级数据中心2.2资源池规模和布局规划-集中式数据中心设备数量2.资源池总体设计数据来源从IMS系统获取全网27家省（市）公司在运的X86服务器和小型机数量。具体如右表所示：全网服务器数量：目前全网27家省（市）公司的服务器总规模为：X86服务器11702台，小型机1949台。全网服务器设备数量（台）X86服务器数量小型机数量二级部署117021949一级部署+去小型机4213+370298三个集中式数据中心生产区791598单个集中式数据中心生产区263933估算依据：1.从应用二级部署到应用一级部署，X86服务器数量减少64%，小型机服务器数量减少95%（参考协同办公分析结果）。2.三个集中式数据中心规模一致，均为总规模的三分之一。结论：在全网应用完成一级部署之后，虚拟化整合之前，集中式数据中心生产区所需服务器总数量为：X86服务器7915台，小型机服务器98台。根据公司建设北京、上海、西安三个数据中心的规划，每个数据中心生产区所需服务器数量为：X86服务器2639台，小型机33台。省市公司X86小型机省市公司X86小型机省市公司X86小型机四川982125湖南55940宁夏29360北京796130天津47786青海28851江苏728295江西44382陕西28469上海720176河北42670蒙东2279湖北68570山西34050黑龙江21152总部63965浙江32845西藏17712福建61463甘肃31569辽宁15558安徽60564新疆30458河南1534重庆59262吉林30077山东6173.从应用二级部署到应用一级部署，X86服务器数量将一级部署减少的95%小型机折算成X86服务器。单台小型机折算成X86服务器按照：1台小型机折合成2台X86服务器。2.2资源池规模和布局规划-集中式数据中心资源池规模分析2.资源池总体设计估算依据•虚拟化之前，单个集中式数据中心生产区的资源需求为X86服务器2639台，小型机33台•假设100台X86服务器不做虚拟化，剩下的X86服务器按照1：1的比例分别入X86虚拟机池的高性能资源组和高密度资源组①生产/灾备区高性能交付单元包含刀片服务器24台，设计容量支撑高性能虚拟机84台②生产/灾备区高密度交付单元包含刀片服务器24台，设计容量支撑高密度虚拟机176台③测试区高密度交付单元包含刀片服务器24台，设计容量支撑高密度虚拟机440台•灾备区和测试区分别按照生产区规模的三分之一进行计算区域设备数量（台）X86虚拟池X86物理池小型机池生产区57610033灾备区1923311测试区483311合计81616655结论：在全网应用一级部署且做完虚拟化整合后，单个集中式数据中心资源池服务器规模为：X86服务器982台（其中816台做虚拟化，166台不做虚拟化），小型机服务器55台。2.2资源池规模和布局规划-省级数据中心设备数量2.资源池总体设计估算依据•在集中式数据中心建成之前，为充分利用各省（市）公司设备，可在各省（市）分别建设数据中心。省（市）公司数据中心初始按照现有设备规模进行建设：省级数据中心保留X86服务器现有规模，但把小型机服务器的数量降下来，只保留5%，并设置保底数量5台，可以让小型机在未来进行统一再分配。•未来随着应用一级部署的不断推进和设备自然淘汰，除支持本地二级部署应用系统之外的设备，将全部纳入全网资源的统一调配。省市公司X86小型机省市公司X86小型机省市公司X86小型机四川9827湖南5595宁夏2935北京7967天津4775青海2885江苏72815江西4435陕西2845上海7209河北4265蒙东2275湖北6855山西3405黑龙江2115总部6395浙江3285西藏1775福建6145甘肃3155辽宁1555安徽6055新疆3045河南1535重庆5925吉林3005山东615在虚拟化整合之前，各省级数据中心服务器规模见下表：单位台2.2资源池规模和布局规划-省级数据中心资源池规模分析2.资源池总体设计估算依据虚拟化之前，省级数据中心生产区的资源需求见上表。假设30台（600台以上X86省），20台（300-600台X86省），10台（200-300X86台省），5台（少于200台X86省）X86服务器不做虚拟化•省级交付单元虚拟化比1:3，设计容量支撑虚拟机27台在完成虚拟化整合之后，各省级数据中心服务器规模见下表，单位台：省市公司设备数量（台）省市公司设备数量（台）省市公司设备数量（台）X86虚拟池X86物理池小型机池X86虚拟池X86物理池小型机池X86虚拟池X86物理池小型机池四川360307湖南200205宁夏110105北京290307天津170205青海110105江苏2603015江西160205陕西110105上海260309河北160205蒙东90105湖北250305山西120205黑龙江80105总部230305浙江120205西藏7055福建220305甘肃110205辽宁6055安徽220305新疆110205河南6055重庆220205吉林110205山东305526随着集中式数据中心和应用一级部署的建设，集中式数据中心资源池的规模会逐步扩大；随着应用一级部署的开展和省级设备自然淘汰，省级资源池规模会发生变化，但建议维持一个最小规模以支撑本地需求。整体发展过程如下图所示：规模布局演进路线十三五：大部分应用一级部署，约1/10应用二级部署2015年底：2/3应用一级部署，1/3应用二级部署2014年底：1/3应用一级部署，2/3应用二级部署省级资源池省级资源池省级资源池省级资源池集中式数据中心集中式数据中心资源池合计1037台,平均每中心346台合计3302台，平均每省122台集中式数据中心资源池合计2074台,平均每中心691台合计2800台,平均每中心933台集中式数据中心资源池合计1651台，平均每省61台合计1000台左右，平均每省维持在30台左右2.2资源池规模和布局规划-发展规划2.资源池总体设计目录目录第二章资源池总体设计第一节总体设计概述第二节资源池规模和布局规划第三节资源池成熟度分析和演进路线第四节资源池配套运营措施第五节整体投资回报分析云资源管理系统2.3资源池成熟度分析和演进路线-资源池能力规划2.资源池总体设计将传统的固化的架构改变为柔性、弹性、高可用的架构；将传统的以业务应用为单位、按最大负载估算规模的资源供给模式改变为共享、按需分配、自动组装、动态调度的资源供给模式。资源池能力要素基础环境基础架构平台软件业务应用信息系统软硬件资源池•标准化•标准化、柔性、弹性•标准化、柔性、弹性•标准化、模块化•装配能力、调度能力、侦测能力2.3资源池成熟度分析和演进路线-资源池成熟度模型2.资源池总体设计通过每个组成部分的每个能力要素的成熟度情况，可以对软硬件资源池的整体成熟度进行综合分析。结合云计算相关技术的发展和业界实践经验，可将资源池的整体成熟度分解为以下五个台阶。成熟度模型2.资源池总体设计2.3资源池成熟度分析和演进路线-国内参考案例分析项目背景：建设新数据中心，完成生产环境服务器X86虚拟化和相关应用改造工作。资源池规模：建设1000台X86服务器规模的资源池取代原2000+台各类服务器，同时新机房支持比传统环境下增加25%左右的计算资源容量。资源池特色：是国内最早在生产系统上实现虚拟化的大型企业。具备三大特色：其一，实现生产环境高达95%的X86虚拟化；其二，机房设计充分考虑了资源池和云计算环境的要求，机房的标准化和规格化匹配程度很高，使得资源池不仅在服务器硬件层面获得良好的投资效应，同时在机房环境和设施方面也取得有效的收益；其三，转变了传统资源规划和采购模式，从项目导向的方式成功转变为以资源池和容量为导向的方式，且资源的预算和采购从原来项目组转交到基础架构部门。局限：完全新建的模式，原有设备的利旧不充分，物理服务器的管理相对薄弱。某大型保险集团项目背景：国内最早开展成规模资源池建设的国有银行，其他银行目前尚处于试点或预研阶段。资源池规模：建设覆盖总行数据中心和一级分行，预计会达到5000+台以上的建设规模。此银行资源池项目包含了资源池建设和资源池管理两个领域，从一开始就站在“从传统资源管理向云计算环境下资源池管理方式”转变的高度来规划目前的项目建设。资源池特色：具有以下两大特色：其一目标是为全行提供灾备、开发、测试方面的PaaS服务（部分成熟领域会直接提供SaaS服务），而不仅仅提供IaaS服务；其二，是目前已经在建的金融行业最大规模资源池项目。局限：设计时按照14条应用线和三个应用层建立了42个资源竖井，导致发挥不出来整体资源池的规模化效应。四大国有银行之一2.3资源池成熟度分析和演进路线-国内参考案例分析项目背景：VDC资源池管理平台项目，是移动集团大云计划的重要组成部分，是移动集团“三朵云”总体目标中，公众服务云的具体落地。资源池规模：本期VDC运营管理平台满足管理600个VDC用户，2个VDC资源池的需求(南方基地VDC平台以及广州中能VDC平台)。项目范围包含200台物理服务器。资源池特色：VDC资源池管理平台实现了弹性计算、弹性存储、云网络、云安全、IT运维管理和综合与应用6大模块的22个场景，共276个功能点。通过VDC资源池管理平台建设项目，为公众服务云向公众提供基础设施云服务，奠定坚实的基础。移动南方基地项目在应用环境的一体化部署和去小型机化两个领域比较有特色。局限：主要是面向外部用户的公有云，所以应用的架构比较标准和简单，遵循较低的安全等级要求。移动南方基地项目背景：从2011年底开始建设，总体分为支撑资源池、网管资源池和IDC资源池三个资源池，三个资源池分别搭建计算、存储、网络、备份资源及资源池管理平台等软硬件环境，并共用1套云计算管理平台进行统一管理。资源池规模：预计到2013年底，三大资源池支撑的用户数为100人，支撑的设备数小型机约40台（其中深度管理14台），刀片服务器约300台，存储设备约20套（其中深度管理10套）。资源池特色：具有以下三大特色：其一，虚拟化程度高，小型机去除较为彻底；其二，国内较早直接面向应用系统生产环境提供PaaS服务的成功案例，部分成熟系统实现了应用一键式部署；其三，除了为企业内部服务之外，对外为互联网企业与政企客户提供IAAS服务。局限：由于各地资源池具有一定的独立性，各省资源池建设一般只考虑满足本省需求即可，导致普遍规模不大，复杂程度不高。移动某省分公司2.资源池总体设计2.3资源池成熟度分析和演进路线-资源池成熟度KPI2.资源池总体设计资源池成熟度KPI分为宏观指标和微观指标两大类，共七项。宏观指标主要用来衡量和体现资源池的绩效和成本能力，关注资源池是否能够快速交付和稳定运行，是够可以节省成本；微观指标则主要用来衡量资源池各类技术要素的实现水平。成熟度KPI资源池化比例：资源池内设备台数占数据中心总设备台数的比例；服务化比例：资源池内，通过资源池服务目录获得的资源数量占所有获得资源数量的比例；可被调度资源比例：资源池内，可被调度资源数量占整体资源数量的比例；X86虚拟化比例：虚拟化的CPU数量占资源池内所有服务器CPU数量的比例；标准化比例：标准化环境占整体环境的比例；自动装配比例：资源池内，可被自动装配设备数量占整体设备数量的比例；资源弹性比例：资源池内，所有应用在平均值下所需的资源总量占所有应用在峰值情况下所需资源总量的比例。00.20.40.60.81X86虚拟化比例服务化比例标准化比例资源池化比例可被调度资源比例自动装配比例资源弹性比例业界资源池建设案例KPI分析某大型保险公司四大国有银行之一移动南方基地移动某省分公司最佳水平1.41.82.63.550123456国有银行保险公司南方基地移动分公司最佳水平业界资源池建设案例KPI得分2.3资源池成熟度分析和演进路线-资源池成熟度模型2.资源池总体设计通过对业界先进资源池建设案例的调研分析，结合KPI评估，得到各资源池的成熟度台阶，具体如下图所示。成熟度模型保险公司南基地集团设计目标移动分公司国有银行2.3资源池成熟度分析和演进路线-集团资源池演进路线2.资源池总体设计集团资源池近期的发展可分为三个阶段：-通过2013年的建设，基本达到成熟度模型第二级；-通过2014年的建设，基本达到成熟度模型的第三级；-通过2015年的建设，达到成熟度模型的第四级。资源池演进路线目录目录第二章资源池总体设计第一节总体设计概述第二节资源池规模和布局规划第三节资源池成熟度分析和演进路线第四节资源池配套运营措施第五节整体投资回报分析2.4配套运营措施-资源池运营框架2.资源池总体设计传统数据中心资源池数据中心运营框架是在传统数据中心管理模式的基础上，继承与发展出的一套适合资源池数据中心的运营管理模型。资源池数据中心运营框架资源池数据中心服务交付：资源池数据中心相比传统数据中心资源和应用服务的自助化和自动化程度高出很多，而且此时所谈的服务交付更多是已经被规格化、产品化后的标准内容。运维管理：资源池数据中心的资源和应用都服务化了，所有应用上线过程其实是一个新服务发布的过程，或者是一个服务内容调整的过程，这比传统数据中心纯粹站在应用发布的视角会有明显变化。资源操作：基于资源池数据中心的技术应用特点增加了“资源供应与分配管理”、“资源部署/回收管理”和“动态管理”的内容。资源管理：是在配置管理基础上扩展而来，是资源池数据中心的特色之一，存在一些资源池化数据中心的特色，增加“软件资产管理”,“服务开通管理”和“镜像管理”等资源池环境下独特的管理模块。服务规划：完成如何将资源池数据中心的资源进行封装，并设计符合用户要求的服务。信息安全：安全管理的内容跟传统数据中心没有差别，但资源池环境的安全技术跟传统数据中心存在很大差别。2.4配套运营措施-运营框架变化2.资源池总体设计随着资源池的应用，资源供给模式会产生巨大的变化，导致数据中心运行模式的随之产生变革，资源池运行模式必须满足供给模式变化带来的新需求。资源池运营框架供给模式变化运行模式变化标准化弹性柔性资源管控资源供给资源池数据中心基础设施布局将从大型、单一设计转型为柔性设计，可以适应业务变革、适应新技术、以高性价比的方式满足业务变化需求。跟传统数据中心围绕着“固化资源”为主的运行模式不同，资源池数据中心是资源可以基于池的共享资源、灵活弹性扩展的运行模式，以经济的模式充分满足业务系统容量和性能的要求。面对与计算数据中心设备高度集中，资源和系统之间连接关系快速变化的特点，标准化成为简化运维管理、提高运维效率的必要条件，通过基础架构设备、应用配置、版本、运维规范等一系列的标准化，有助于实现管理的自动化。在传统的数据中心只有预算是统一管理的，业务系统对各自的硬件资源进行单独管理，是按照项目进行供给的私有模式。而在资源池中，业务系统共享资源，当业务需求发生变化时，资源池的柔性组装和弹性调度能力可以快速地按照要求增加或减少分配的资源，实现了按需供给的资源使用模式。传统数据中心中由于资源采用了私有所属模式，应用下线后资源无法被别的系统使用、很容易流失。采用了资源池共享模式后，应用下线后资源可以回收到资源池中被别的系统使用，从而大幅度提高了资源的使用率，加强了资源的管控。服务目录变更资源规划资源规划执行资产采购资产接收资产申请资产上架资产上电资产报废资产调拨资产盘点资产下架资源脱管资源池纳管资源池变更资源纳管介质变更资源申请资源回收资源操作管控资源配置变更1.资源规划管理2.资产管理3.资源池管理4.资源使用管理5.服务运行管理合规检查补丁管理常规作业服务水平管理可用性管理容量管理服务持续性故障管理问题管理变更管理配置管理监控管理日常运行服务支持服务交付2.4配套运营措施-资源池运营管理流程框架2.资源池总体设计资源计量计费服务成本管理资产出入库服务目录变更资源规划资源规划执行资产采购资产接收资产申请资产上架资产上电资产报废资产调拨资产盘点资产下架资源脱管资源池纳管资源池变更资源纳管介质变更资源申请资源回收资源操作管控资源配置变更1.资源规划管理2.资产管理3.资源池管理4.资源使用管理5.服务运行管理合规检查补丁管理常规作业服务水平管理可用性管理容量管理服务持续性故障管理问题管理变更管理配置管理监控管理日常运行服务支持服务交付2.4配套运营措施-在资源规划方面的变化2.资源池总体设计资源计量计费服务成本管理资产出入库服务目录管理：全部资源通过服务目录的形式提供，全网统一标准（包括服务的种类、内容、规格、参数等），由此也将带来全网基础架构和应用环境的标准化。资源规划与执行：在原有的运行模式下，资源随项目走，计划处更多地是从预算角度对资源的需求进行管控。引入资源池后，硬件资源的规划方式将发生改变，项目组变成需求方，要有新的岗位负责对资源池进行规划，包括资源需求收集、p2v/v2p分析、采购需求分析等，这些活动都需要统一角色和流程进行管理。服务目录变更资源规划资源规划执行资产采购资产接收资产申请资产上架资产上电资产报废资产调拨资产盘点资产下架资源脱管资源池纳管资源池变更资源纳管介质变更资源申请资源回收资源操作管控资源配置变更1.资源规划管理2.资产管理3.资源池管理4.资源使用管理5.服务运行管理合规检查补丁管理常规作业服务水平管理可用性管理容量管理服务持续性故障管理问题管理变更管理配置管理监控管理日常运行服务支持服务交付2.4配套运营措施-在资产管理方面的变化2.资源池总体设计资源计量计费服务成本管理资产出入库资产管理：在原有的运行模式下，资产跟着项目走，随着项目需求而采购，随着项目上线而上线。引入资源池后，资产的生命周期将与项目脱钩，与资源池一起进行统一的规划、采购、上架、上电、下架、报废等管理。服务目录变更资源规划资源规划执行资产采购资产接收资产申请资产上架资产上电资产报废资产调拨资产盘点资产下架资源脱管资源池纳管资源池变更资源纳管介质变更资源申请资源回收资源操作管控资源配置变更1.资源规划管理2.资产管理3.资源池管理4.资源使用管理5.服务运行管理合规检查补丁管理常规作业服务水平管理可用性管理容量管理服务持续性故障管理问题管理变更管理配置管理监控管理日常运行服务支持服务交付2.4配套运营措施-在资源池管理方面的变化2.资源池总体设计资源计量计费服务成本管理资产出入库资源池管理：对资源池的管理，是本次引入的全新的管理流程和 制度 关于办公室下班关闭电源制度矿山事故隐患举报和奖励制度制度下载人事管理制度doc盘点制度下载 ，这是一整套紧密围绕资源池的、确保资源池有效运营的保障措施。因此，需要分派新的岗位，制定新的 管理制度 档案管理制度下载食品安全管理制度下载三类维修管理制度下载财务管理制度免费下载安全设施管理制度下载 ，梳理新的管理流程；服务目录变更资源规划资源规划执行资产采购资产接收资产申请资产上架资产上电资产报废资产调拨资产盘点资产下架资源脱管资源池纳管资源池变更资源纳管介质变更资源申请资源回收资源操作管控资源配置变更1.资源规划管理2.资产管理3.资源池管理4.资源使用管理5.服务运行管理合规检查补丁管理常规作业服务水平管理可用性管理容量管理服务持续性故障管理问题管理变更管理配置管理监控管理日常运行服务支持服务交付2.4配套运营措施-在资源使用管理方面的变化2.资源池总体设计资源计量计费服务成本管理资产出入库资源使用管理：资源池的引入，对于业务应用的项目组，对于资源的使用方式也带来新的变革，对于如何申请、使用、操作、计量、释放资源要有一套新的规范。服务目录变更资源规划资源规划执行资产采购资产接收资产申请资产上架资产上电资产报废资产调拨资产盘点资产下架资源脱管资源池纳管资源池变更资源纳管介质变更资源申请资源回收资源操作管控资源配置变更1.资源规划管理2.资产管理3.资源池管理4.资源使用管理5.服务运行管理合规检查补丁管理常规作业服务水平管理可用性管理容量管理服务持续性故障管理问题管理变更管理配置管理监控管理日常运行服务支持服务交付2.4配套运营措施-在服务运行管理方面的变化2.资源池总体设计资源计量计费服务成本管理资产出入库服务运行管理：在省级数据中心，可以采取IMS一单两票的方式进行融合的方式进行优化；在集中式数据中心，集团团队缺乏大规模数据中心的运营经验，一单两票的制度和流程已经不再适用于该规模层级数据中心的管理，需要参照国内大型央企的国家级数据中心运营经验和最佳实践，重新梳理和制定适用于集中式数据中心的管理制度和运营流程。2.4配套运营措施-匹配的岗位与职责2.资源池总体设计资源池环境的运营组织和管理体系将产生革命性的变化，必然要对资源池的运营岗位进行优化改进以适应新的要求。运营岗位变化资源规划岗：是原有的项目组资源规划角色转变而来，把过去分散的各项目资源规划岗位统一为资源池的整体规划岗位。根据业务要求规划资源池的服务内容、容量、功能、可用性等管理目标，制定资源池发展规划；资源审批岗：根据服务对应的资源审批策略，审核资源的需求申请内容、业务要求、资源池状况等批准或拒绝资源的申请；资源池管理岗：完成资源池生命周期管理，包括资源池日常管理、资源池资源运行分析等任务，具体划分为X86资源池管理岗、小型机资源池管理岗、存储资源池管理岗、标准化介质管理岗四个管理角色；资源管理岗：是原有资产管理岗提升而来，完成池中资源的生命周期管理，任务有资产接收、资产出入库、资产上架上电、资产调拨、资产盘点、资产下架、资产报废等；云平台管理岗：保障云平台的稳定运行和日常管理，实现的任务包括：用户管理、组织机构管理、权限管理、操作审计等。资源池数据中心运营岗位图目录目录第二章资源池总体设计第一节总体设计概述第二节资源池规模和布局规划第三节资源池成熟度分析和演进路线第四节资源池配套运营措施第五节整体投资回报分析2.5整体投资回报分析-参考案例投资回报分析某大型保险集团服务器池化之后的成本优化估算项目数值单位成本备注资源池物理服务器总数1,000¥50,000历年采购品牌和型号有差异，但可以按照通常2/4路刀片服务器计算覆盖原有物理服务器总数2,500¥30,000客户对原有服务器的细节已经没有书面记录，所以只能按照通常塔式PC服务器处理服务器虚拟化的设计比率3:1资源池化之前物理服务器硬件平均利用率25%资源池化之后物理服务器硬件平均利用率60%按照已分配物理服务器计算服务器池化一次性成本节约¥25,000,000资源统一纳管之后的成本优化项目数值备注应用下线年度平均比率10%新应用上线和扩容带来的新增服务器扩容需求16%资源纳管后的扩容需求6%按照3000台虚拟机规模作为计算基础资源池化带来的年度成本节约¥11,400,000服务器池化之后机房面积带来的成本优化估算项目数值机房单位面积建设成本（人民币元/m2）¥50,000目前服务器机房总面积（m2）1,000目前物理服务器数量1,000机房单位面积运行成本（风火水电和机房管理人员成本）¥10,000服务器池化后同等计算能力机房面积的节省50%服务器池化方式一次性成本节约¥50,000,000某电信设备制造商项目数值(人天/台)说明x86裸机服务器部署节约的时间0.25平均每台设备每年安装（含必装软件）一次，每台节省2小时=0.25人天x86操作系统补丁部署平均节约时间0.18每2月1次，手工分析和安装平均每台30分钟，目前每台可以节省20分钟，折合0.18应用软件系统补丁部署平均节约时间（以Oracle为例）0.08/5=0.016每年2次，分析和执行时间从30分钟减少到10分钟，按照数据库中间件等应用服务器占总数的1/5每台虚拟机年度部署人工节约总数0.4人天/台项目数值（人天/台）说明windows服务器健康检查平均节约时间0.64之前采用一定量的脚本实现服务器巡检，实施后从以前3个月1次变为1周1次，对3000台规模每次检查、报告节省的时间从8天减少到2天，每年52次；每台每年节省0.1人天的巡检，每次检查100项规范后平均1%不合规，可远程集中修正的项为50%，100*1%*50%=0.5项，手工修复每项10分钟，每台每年节省0.5*52*10/480人天的巡检=0.54人天两项共计0.64人天应用软件健康检查平均节约时间（以Oracle为例）3.50每周一次巡检每年52次，之前每台40分钟，目前8分钟就可以完成巡检、报告和修复，按照数据库中间件等应用服务器占总数的1/5每台虚拟机年度运维人工节约总数1.34人天/台服务器部署带来的成本优化日常维护带来的成本优化2.资源池总体设计平均节省33%硬件投资服务器硬件节省平均节省50%的X86机房空间，折合成30%机房总空间机房空间节省平均节省50%电力费用运行费用（电力）每千台服务器池化后节省7个人员编制运维人工节省80%池化后被盘活，每年15%的新应用，12%左右退役应用，其所占资源已不再重复投资提高资源利用率降低设备闲置率根据对某大型保险集团、电信设备制造商、移动某省分公司及四大国有银行之一进行分析，集团资源池项目可以从以下几个方面获益。参考案例回报分析2.5整体投资回报分析-参考案例投资回报分析2.资源池总体设计2.5整体投资回报分析–集团投资回报分析2.资源池总体设计根据“集中式数据中心规模需求分析”计算出的生产池规模为7915台按照生产池规模的三分之一进行计算，集团集中式数据中心软硬件资源池共计13192服务器，灾备池和测试池分别台服务器。设备数量分析未来在集中式数据中心采用最小交付单元提供软硬件资源，成本包括：机架、服务器、存储、交换机、虚拟化软件、管理软件、实施成本等：•生产/灾备区高性能最小交付单元承载84台虚拟服务器，成本为610.2万元；•生产/灾备区高密度最小交付单元承载176台虚拟服务器，成本为561.8万元；•测试区高密度交付单元承载440台虚拟服务器，成本为561.8万元。最小交付单元成本集中式数据中心服务器购买成本为进行投资回报分析，根据集中式数据中心规模需求分析得出的服务器需求数量，分析出在集中式数据中心建设资源池需要的最小交付单元数量。为了对比是否建设资源池模式的投资差异，从集采中分析目前集团服务器的平均价格。资源池建设成本计算区域需要的物理服务器数量(台)高性能交付单元数量(组)高密度交付单元数量(组)服务器购买成本(万元)生产7,9154723¥41,601灾备2,638168¥14,258测试2,63806¥3,371合计13,1916337¥59,229•大型8路服务器参考价格为32万元，按照占整体采购的6%比例估算；•中型4路服务器参考价格为8万元，按照占整体采购的51%比例估算；•小型2路服务器参考价格为2.9万元，按照占整体采购的43%比例估算；通过按比例计算，集团集采的服务器硬件平均参考价格为7.247万元/台。服务器集采参考价格2.5整体投资回报分析–集团投资回报分析2.资源池总体设计在集中式数据中心配合应用的一级部署建设资源池，不仅加强了集中管理，在投资回报方面也会取得明显的收益。投资回报投资回报领域计算方法全部应用一级部署、且建资源池（万元）全部应用一级部署、且不建资源池（万元）建设资源池节省（万元）一次性建设节约提升系统利用率节省服务器集中式数据中心资源池X86虚拟化服务器的建设成本参见上页；不建资源池的模式下，物理服务器总数为13191台，按照集团集采的价格平均估算为9.125万元/台。¥59,229¥95,595¥36,366节省机房空间建设和运维成本每个机柜按照占地2平米计算；总部集中式数据中心每平米建设成本按照15万估算，部署80个最小交付单元；省级数据中心每平米建设成本按照8万估算；非虚拟化模式下每个机柜平均15台服务器。¥3,000¥7,035¥4,035基础设施购买和机房建设费用总计节省（万元）：¥40,401每年运行节约减少设备节省电费开支北京地区工业用电平均价格为0.68元/千瓦时，1KW设备每年的电费为0.6万元；总部集中式数据中心最小交付单元功率为13.567KW；省级数据中心非虚拟化服务器估算平均功率为0.8KW。¥814¥6,332¥5,518节省硬件维保费用假设1台X86服务器的生命周期为6年，前3年维保费用已包含在采购费用内，可节省的后3年的维保费用按照市场平均15%的年维保费用计算，平均分摊到6年，每年按照采购费用7.5%计算。¥4,442¥7,170¥2,727每年基础设施运维费用节省（万元）：¥8,245从上述分析可以看出，资源池建设可以获得超过30%的投资回报率，但要取得这样的回报率，必须满足一定的前提条件。关键要素分析•规模效应其他资源池建设单位对资源池的规模效应已经进行了测算，结果发现，200台是资源池规模的盈亏平衡点，当资源池规模小于200台时，非但不会节省成本，还会增加成本，当大于500台时，才能会获得良好的投资回报收益。•核心能力（1）虚拟化：将大资源进行细分，为提高资源利用率奠定了良好的基础；（2）资源调度：主要解决由安全域、资源种类、地域等原因造成的资源“竖井”，形成尽可能大的规模效应；（3）标准化：通过基础架构、平台软件和应用的标准化，实现应用与基础架构的松耦合，从根本上解决应用“竖井”带来的资源浪费。投资回报率规模效应核心能力2.5整体投资回报分析–关键要素分析2.资源池总体设计目录目录第三章集中式云数据中心池设计第一节池概设综述第二节服务器域设计第三节存储域设计第四节网络域设计第五节机房要求第六节应用入池设计第七节池准入规范3.1池概设综述-概要设计综述3.集中式云数据中心池设计“资源池”的概念经过两年的发展和演进，正在企业私有云环境中逐步取代“IaaS”的概念，成为云计算第一个能够真正完整落地的基础架构新型应用方式。目前“资源池”已经成为概念有共识、涵盖范围较为清晰的基础架构方案。池概设综述服务器存储域资源池主体包含服务器、存储和平台软件，把相关网络、机房和安全作为资源池的配套措施提出设计要求，供相关团队参考，简述如下：1）网络部分提出了“大二层”设计思路解决资源池在虚拟机按应用进行灵活分配的挑战；2）对机房提出了要求；3）从资源池角度，对安全措施进行了分析，提出资源池环境下的安全设计原则和防护措施要求。应用入池设计配套基础设施在服务器存储域，除了保留原有集中存储作为资源池一级存储外，其他部分设计思路相比传统环境发生了很大的变化，具体如下：1）提出混合云的设计思路，包含X86虚拟池、X86物理机池和小型机池；2）在X86虚拟池中，提出最小交付单元、高性能和高密度等设计思路；3）在最小交付单元中，包含了服务器、二级存储和网络接入设备，且主要建议采用刀片服务器；另包含硬件冗余设计。总结提炼了一套供应用项目组做应用入池分析的设计思路和方法论，并且选择了一套应用（“山东企业门户）作为样例，用这个方法做了一次完整的分析示例。3.1池概设综述-资源池基础架构概览图3.集中式云数据中心池设计资源池是整个基础架构的新型应用方式，而不仅仅是现有环境下的X86虚拟化。下图提供了把X86虚拟池、X86物理机池、小型机池、两级存储池、备份设施、网络设施和云资源管理系统等各类要素整合在一起的资源池概览图：资源池概览图我们把服务器池、存储池、配套网络、云资源管理系统和介质库等要素体现在一个统一的视图中，展示一个资源池包含哪些要素、以及这些要素是如何组装在一起的。3.1池概设综述-集中式数据中心资源池设计概览3.集中式云数据中心池设计基于总体设计中布局和规模的设计要求下，挑选一个数据中心作为典型，其中各个池和组的具体规模如下图所示：集中式数据中心典型架构，包括生产区、灾备区和测试区。•生产区中分为X86虚拟机池、X86物理机池和小