ykj 虚拟化云计算平台的能耗管理

书书书 第３５卷　第６期２０１２年６月 计　　算　　机　　学　　报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｖｏｌ．３５Ｎｏ．６Ｊｕｎｅ２０１２　 收稿日期：２０１１０８２７；最终修改稿收到日期：２０１２０４１６．本课题得到国家“八六三”高技术研究发展 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 重大项目基金（２０１１ＡＡ０１Ａ２０７）、国 家自然科学基金项目（１１０７１２１５）和教育部英特尔专项基金（ＭＯＥＩＮＴＥＬ１１０６）资助．叶可江，男，１９８６年生，博士研究生，主要研究方向为 虚拟化与云计算、性能评估与建模．Ｅｍａｉｌ：ｙｅｋｅｊｉａｎｇ＠ｚｊｕ．ｅｄｕ．ｃｎ．吴朝晖，男，１９６６年生，博士，教授，主要研究领域为服务科学与网格计算、嵌入式普适计算等．姜晓红（通信作者），女，１９６６年生，博士，副教授，主要研究方向为计算机体系结构、分布式系统、云计算等．Ｅｍａｉｌ： ｊｉａｎｇｘｈ＠ｚｊｕ．ｅｄｕ．ｃｎ．何钦铭，男，１９６５年生，博士，教授，主要研究领域为虚拟化技术、机器学习等． 虚拟化云计算平台的能耗管理 叶可江　吴朝晖　姜晓红　何钦铭 （浙江大学计算机科学与技术学院　杭州　３１００２７） 摘　要　数据中心的高能耗是一个亟待解决的问题．近年来，虚拟化技术和云计算模式快速发展起来，因其具有资 源利用率高、管理灵活、可扩展性好等优点，未来的数据中心将广泛采用虚拟化技术和云计算技术．将传统的能耗 管理技术与虚拟化技术相结合，为云计算数据中心的能耗管理问题提供了新的解决思路，是一个重要的研究方向． 文中从能耗测量、能耗建模、能耗管理实现机制、能耗管理优化算法４个方面对虚拟化云计算平台能耗管理的最新 研究成果进行了介绍．论文分析了虚拟化云计算平台面临的操作管理和能耗管理两方面的问题，指出了虚拟化云 计算平台能耗监控与测量的难点；介绍了能耗监测步骤及能耗轮廓分析方法；提出了虚拟机系统的整体能耗模型 及服务器整合和在线迁移两种关键技术本身的能耗模型；从虚拟化层和云平台层两个层次总结了目前能耗管理机 制方面取得的进展；并对能耗管理算法进行分类、比较．最后对全文进行总结，提出了未来十个值得进一步研究的 方向． 关键词　虚拟化；云计算；能耗管理；绿色计算；在线迁移；服务器整合 中图法分类号ＴＰ３９３　　　犇犗犐号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１２．０１２６２ 犘狅狑犲狉犕犪狀犪犵犲犿犲狀狋狅犳犞犻狉狋狌犪犾犻狕犲犱犆犾狅狌犱犆狅犿狆狌狋犻狀犵犘犾犪狋犳狅狉犿 ＹＥＫｅＪｉａｎｇ　ＷＵＺｈａｏＨｕｉ　ＪＩＡＮＧＸｉａｏＨｏｎｇ　ＨＥＱｉｎＭｉｎｇ （犆狅犾犾犲犵犲狅犳犆狅犿狆狌狋犲狉犛犮犻犲狀犮犲犪狀犱犜犲犮犺狀狅犾狅犵狔，犣犺犲犼犻犪狀犵犝狀犻狏犲狉狊犻狋狔，犎犪狀犵狕犺狅狌　３１００２７） 犃犫狊狋狉犪犮狋　Ｔｈｅｈｉｇｈｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｏｆｄａｔａｃｅｎｔｅｒｉｓａｓｅｒｉｏｕｓｐｒｏｂｌｅｍ．Ｒｅｃｅｎｔｌｙ，ｗｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙａｎｄｔｈｅｅｍｅｒｇｅｎｃｅｏｆｃｌｏｕｄｃｏｍｐｕｔｉｎｇｐａｒａｄｉｇｍ，ａｌａｒｇｅｎｕｍｂｅｒｏｆｆｕｔｕｒｅｇｅｎｅｒａｔｉｏｎｄａｔａｃｅｎｔｅｒｗｉｌｌｕｓｅｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙａｎｄｃｌｏｕｄｃｏｍｐｕｔｉｎｇｔｅｃｈｎｏｌｏｇｙ，ｄｕｅｔｏｔｈｅｂｅｎｅｆｉｔｓｏｆｈｉｇｈｒｅｓｏｕｒｃｅｕｔｉｌｉｚａｔｉｏｎ，ｆｌｅｘｉｂｌｅｍａｎａｇｅｍｅｎｔ，ａｎｄｄｙｎａｍｉｃｓｃａｌａｂｉｌｉｔｙ．Ｔｈｅｉｎｔｅｇｒａｔｉｏｎｏｆｔｒａｄｉｔｉｏｎａｌｐｏｗｅｒｍａｎａｇｅｍｅｎｔｔｅｃｈｎｏｌｏｇｙａｎｄｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｐｒｏｖｉｄｅｓｎｅｗｓｏｌｕｔｉｏｎｓｔｏｓｏｌｖｅｔｈｅｐｏｗｅｒｍａｎａｇｅｍｅｎｔｉｓｓｕｅｏｆｃｌｏｕｄｄａｔａｃｅｎｔｅｒ，ｗｈｉｃｈｉｓａｎｉｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎ．Ｔｈｉｓｐａｐｅｒｆｏｃｕｓｅｓｏｎｔｈｅｖｉｒｔｕａｌｉｚｅｄｃｌｏｕｄｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ，ｓｕｒｖｅｙｓｔｈｅｌａｔｅｓｔｒｅｓｅａｒｃｈｒｅｓｕｌｔｓｆｒｏｍｔｈｅｐｅｒｓｐｅｃｔｉｖｅｓｏｆｐｏｗｅｒｍｅａｓｕｒｅｍｅｎｔ，ｐｏｗｅｒｍｏｄｅｌｉｎｇ，ｉｍｐｌｅｍｅｎｔａｔｉｏｎｍｅｃｈａｎｉｓｍｓ，ａｎｄｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｓ．Ｗｅｉｎｖｅｓｔｉｇａｔｅｔｈｅｃｈａｌｌｅｎ ｇｅｓｏｆｏｐｅｒａｔｉｏｎａｎｄｐｏｗｅｒｍａｎａｇｅｍｅｎｔｉｎｖｉｒｔｕａｌｉｚｅｄｃｌｏｕｄｐｌａｔｆｏｒｍ，ａｎｄｔｒｙｔｏｆｉｎｄｏｕｔｔｈｅｄｉｆｆｉｃｕｌｔｉｅｓｏｆｐｏｗｅｒｍｏｎｉｔｏｒｉｎｇａｎｄｍｅａｓｕｒｅｍｅｎｔｔｅｃｈｎｏｌｏｇｙ．Ｗｅｉｎｔｒｏｄｕｃｅｔｈｅｓｔｅｐｓｏｆｐｏｗｅｒｍｅａｓｕｒｅｍｅｎｔａｎｄｐｏｗｅｒｐｒｏｆｉｌｉｎｇｔｅｃｈｎｏｌｏｇｙ，ａｎｄｔｒｙｔｏｂｕｉｌｄｔｈｅｐｏｗｅｒｍｏｄｅｌｆｏｒｔｈｅｗｈｏｌｅｖｉｒｔｕａｌｍａｃｈｉｎｅｓｙｓｔｅｍ，ａｌｓｏｔｈｅｐｏｗｅｒｍｏｄｅｌｆｏｒｔｈｅｔｅｃｈｎｉｑｕｅｏｆｓｅｒｖｅｒｃｏｎｓｏｌｉｄａｔｉｏｎａｎｄｌｉｖｅｍｉｇｒａｔｉｏｎ．Ｗｅｓｕｍｍａｒｉｚｅｔｈｅａｄｖａｎｃｅｓｏｎｐｏｗｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｓｆｒｏｍｂｏｔｈｖｉｒｔｕａｌｉｚａｔｉｏｎｌｅｖｅｌａｎｄｃｌｏｕｄｌｅｖｅｌ，ａｎｄｃｌａｓｓｉｆｙａｎｄｃｏｍｐａｒｅｔｈｅｅｘｉｓｔｉｎｇｐｏｗｅｒｍａｎａｇｅｍｅｎｔａｌｇｏｒｉｔｈｍｓ．Ｆｉｎａｌｌｙ，ｗｅｓｕｍｍａｒｉｚｅｔｈｅｃｏｎｔｅｎｔｓｏｆｔｈｉｓｐａｐｅｒａｎｄｐｒｏｐｏｓｅｔｅｎｐｏｓｓｉｂｌｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｉｎｔｈｅｆｕｔｕｒｅ． 犓犲狔狑狅狉犱狊　ｖｉｒｔｕａｌｉｚａｔｉｏｎ；ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；ｐｏｗｅｒｍａｎａｇｅｍｅｎｔ；ｇｒｅｅｎｃｏｍｐｕｔｉｎｇ；ｌｉｖｅｍｉｇｒａｔｉｏｎ；ｓｅｒｖｅｒｃｏｎｓｏｌｉｄａｔｉｏｎ １　引　言 近年来，数据中心的高能耗逐渐成为一个突出 的问题，尤其是随着云计算时代的到来，更多的计算 资源和存储资源集中在云端，给能耗的高效管理带 来更大的挑战［１２］．据统计，２００６年美国６０００个左 右的数据中心，消耗了大约６１０亿千瓦时的电能，总 值高达４５亿美元，超过了当年美国所有彩色电视机 的总能耗［３］．来自美国能源部的数据表明，数据中心 的能耗占全美所有能耗的１．５％，并且对电能的需 求仍在以每年１２％的速度增长．如按这种速度增 长，到２０１１年，数据中心会消耗１０００亿千瓦时的电 能，每年花费约７４亿美元［３］．此外，ＩＤＣ（Ｉｎｔｅｒｎａ ｔｉｏｎａｌＤａｔａＣｏｒｐｏｒａｔｉｏｎ）市场研究公司对全球所有 企业电能花费的评估结果表明，每年全球的企业大 概要花费４００亿美元在能耗上［４］．数据中心的高能 耗问题不仅造成电能的浪费、系统运行的不稳定，同 时也对环境造成不良影响．美国联邦机构已经指出 高能耗问题将对空气质量、国家安全、气候变化、电 网可靠性等方面造成严重影响． 高能耗问题主要来源于两个方面，一个是处理 器层次的能耗，另一个是数据中心层次的能耗．随着 处理器制造工艺的不断进步，今天的ＩｎｔｅｌＩｔａｎｉｕｍ２ 处理器的晶体管数量已达到１０亿个［５］．处理器在获 得高运行速度的同时，带来了高能耗问题．尽管一些 硬件上的优化技术在一定程度上提升了能量的使用 效率，但是处理器的能耗受应用程序使用模式的影 响，过高的负载和过低的利用率都会导致高能耗和 电能低效使用的问题．在数据中心层次，随着数据中 心规模的不断增长，数据中心出现了两难的境况．一 方面由于物理服务器数量不断增多和处理能力不断 增强，带来了更多的能量消耗，另一方面每个服务器 过低的利用率又造成了巨大的电能浪费．ＩＢＭ的 Ｂｏｈｒｅｒ等人［６］曾对真实的若干典型Ｗｅｂ服务器负 载（体育、电子商务、财经、互联网代理集群）进行研 究，发现数据中心服务器的平均利用率在１１％～ ５０％之间．Ｂａｒｒｏｓｏ等人［７］对超过５０００台服务器长 达６个月的运行情况进行统计分析，也得出类似的 结论．高能耗带来的另一个问题是配套的冷却设施 开销极大．据统计，计算资源消耗的每１瓦电能，就 需要额外的０．５～１瓦特进行冷却［８］．另外，也有统 计数据表明，Ｇｏｏｇｌｅ数据中心的能耗有一半是花在 了冷却上［３］．因此，迫切需要开发新的技术来解决数 据中心的高能耗问题，包括重新考虑硬件、软件、算 法的 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 ，特别是必须把能耗作为数据中心设计和 管理的一个重要参数进行考虑，而不仅仅是考虑数 据中心的性能参数． 针对数据中心的高能耗问题，相关政府机构、社 会团体、学术组织已经开始积极关注．２００７年，绿色 网格组织（ＧｒｅｅｎＧｒｉｄ）①成立，它的目标就是要降低 数据中心和商业计算系统的能耗．为了达到这个目 标，绿色网格组织联合了公司、政府部门、工业界团 体，共同研究并试图提供最佳的数据中心节能实践 方法、评估方法和技术．同年，Ｇｒｅｅｎ５００组织 （Ｇｒｅｅｎ５００Ｌｉｓｔ）②成立，该组织每年会发布２个报 告（分别是在当年的６月和１２月），以ＭｅｇａＦｌｏｐｓ／ Ｗ（即每瓦特电力所能完成的每秒百万次浮点计算 操作）为指标，对全球范围内最快的５００台超级计算 机的节能效率进行排序，作为对ＴＯＰ５００排名的补 充．２００８年，国际气候组织（ＴｈｅＣｌｉｍａｔｅＧｒｏｕｐ）③ 和全球电子可持续发展倡议组织（ＧｅＳＩ）④联合发布 了题为《ＳＭＡＲＴ２０２０：实现信息时代的低碳经济》 的 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 ．该报告表明，到２０２０年，信息通信技术 （ＩＣＴ）共计能减少近７８亿吨ＣＯ２的排放，相当于 ２０２０年基准情景下排放总量的１５％．ＩＥＥＥ也正在 制定一项能被国际社会接受的新 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 ＩＥＥＥ Ｐ１５９５⑤，该标准旨在检测、评估和量化由可再生能 源和节能措施所带来的温室气体排放的改善效果． Ｇｏｏｇｌｅ也专门成立了一个能量子公司ＧｏｏｇｌｅＥｎｅｒｇｙ 来减少本公司的能耗，同时也制造和销售清洁能 源．此外，ＳＰＥＣ（ＳｔａｎｄａｒｄＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ）⑥、ＴＰＣ（ＴｈｅＴｒａｎｓａｃｔｉｏｎＰｒｏｃｅｓｓｉｎｇ ＰｅｒｆｏｒｍａｎｃｅＣｏｕｎｃｉｌ）⑦等国际性能评估标准化组 织也都在致力于能耗的标准化评价和优化问题． 当前，虚拟化技术的快速发展给数据中心的能 耗管理问题提供了新的解决思路［９］．尤其是当云计 算成为未来数据中心发展的主要方向时，因其拥有 服务器整合［１０］、在线迁移［１１］、隔离性［１２］、高可用 性［１３］、灵活部署［１４］、低管理开销等诸多方面的优点， 虚拟化技术面临更大的发展空间．加州大学伯克利 ３６２１６期 叶可江等：虚拟化云计算平台的能耗管理 ①②③④⑤⑥⑦ ｈｔｔｐ：／／ｗｗｗ．ｔｈｅｇｒｅｅｎｇｒｉｄ．ｏｒｇ／ｈｔｔｐ：／／ｗｗｗ．ｇｒｅｅｎ５００．ｏｒｇ／ｈｔｔｐ：／／ｗｗｗ．ｔｈｅｃｌｉｍａｔｅｇｒｏｕｐ．ｏｒｇ／ｈｔｔｐ：／／ｗｗｗ．ｇｅｓｉ．ｏｒｇ／ｈｔｔｐ：／／ｇｒｏｕｐｅｒ．ｉｅｅｅ．ｏｒｇ／ｇｒｏｕｐｓ／１５９５／ｈｔｔｐ：／／ｗｗｗ．ｓｐｅｃ．ｏｒｇ／ｐｏｗｅｒ＿ｓｓｊ２００８／ｈｔｔｐ：／／ｗｗｗ．ｔｐｃ．ｏｒｇ／ｔｐｃ＿ｅｎｅｒｇｙ／ 分校的Ｐａｔｔｅｒｓｏｎ教授曾提出“数据中心是一个计 算机”的著名论断［１５］．云计算数据中心就是这样一 个计算机，它通过网络，以付费即用的方式，为全世 界的用户提供基于效用的信息服务．云计算数据中 心需要管理来自不同用户的各种各样的应用程序， 如科学计算、商业领域程序等．许多云计算服务提供 商，包括Ａｍａｚｏｎ、Ｇｏｏｇｌｅ、Ｍｉｃｒｏｓｏｆｔ、Ｙａｈｏｏ和ＩＢＭ 等，在世界各地部署了各自的数据中心来提供云计 算服务．但是，管理这些云程序需要消耗大量电能并 带来很高的操作开销，同时也会对环境造成负面影 响．能耗的持续升高会增加云计算基础设施的总拥 有成本（ＴｏｔａｌＣｏｓｔｏｆＯｗｎｅｒｓｈｉｐ，ＴＣＯ），降低投资 回报率（ＲｅｔｕｒｎｏｎＩｎｖｅｓｔｍｅｎｔ，ＲＯＩ）．因此，需要一 种绿色的云计算解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ［１６１８］，即在节约能耗的同 时降低管理操作的开销．绿色云计算的目标是在高 效处理和使用云基础设施的同时最小化能量消耗． 但是当前的云计算基础设施很少提供支持能量感知 的服务，无法在满足服务质量需求的同时最小化能 耗开销，以获取最大化投资回报． 虚拟化技术给云计算数据中心的能耗管理带来 了很多解决思路．例如，在数据中心层次，虚拟化技 术可以通过服务器整合把多个负载整合到同一个物 理机上，关闭空闲的物理机，达到节能目的．但是也 正由于虚拟化层的存在，使得传统的细粒度能耗管 理技术（如硬件层和操作系统层的能耗管理技术）不 能直接应用到虚拟化环境中，如在虚拟机（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ，ＶＭ）里，资源是虚拟化出来的，它无法直 接获得硬件的能耗状态数据．这些在虚拟化云平台 的能耗管理中遇到的新问题，目前正受到越来越广 泛的关注，是一个热门的研究方向［１９２１］． 通常来讲，一个高效的能耗管理解决方案需要 考虑３方面的关键元素：（１）丰富的能耗监控与测 量方法，及时准确地提供原始数据；（２）精确的能耗 建模与分析，预测能量的消耗情况，指明趋势及因果 关系；（３）节能机制及优化算法，用来降低能耗，同 时满足性能、服务质量（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ，ＱｏＳ）或 服务等级协议（ＳｅｒｖｉｃｅＬｅｖｅｌＡｇｒｅｅｍｅｎｔ，ＳＬＡ）等 的要求． 本文从能耗监控与测量、能耗分析与建模、能耗 管理实现机制、能耗管理优化算法４个方面，对虚拟 化云计算平台的能耗管理研究进行系统分析．论文 第２节分析虚拟化云计算平台面临的操作管理和能 耗管理的挑战，指出虚拟化云计算平台中能耗监控 与测量的难点，介绍能耗监测步骤及能耗轮廓分析 方法；第３节提出虚拟机系统的能耗模型及服务器 整合和在线迁移两种节能关键技术的能耗模型；第 ４节从虚拟化层和云平台层两个层次总结目前能耗 管理机制方面的最新研究进展；第５节对常用的能 耗管理算法进行分类、比较；最后对全文进行总结， 提出未来十个值得进一步研究的方向． ２　虚拟化云平台的能耗监控与测量 ２１　虚拟化云平台的管理挑战 ２．１．１　操作管理挑战 虚拟化技术通过动态资源伸缩的方式降低了云 计算基础设施的总拥有成本，增加了负载部署的灵 活性．ＶＭｗａｒｅ的研究人员通过对来自真实虚拟化 部署场景的数据进行分析，总结出虚拟化场景中出 现的常见管理工作流，并评估它们对云计算数据中 心资源使用的影响［２２］． 虚拟化技术提供了很好的管理操作灵活性，例 如当虚拟化数据中心需要维护时，只需简单地把虚 拟机迁移到另外一台服务器上，而不需要终止应用 程序并关闭虚拟机．但虚拟机迁移也会带来一定的 开销，如给数据中心网络增加了额外的通信负载和 带宽需求，因此需要采用高性能的网络设备来满足 负载快速迁移的需求．此外，虚拟化技术的引入可能 改变数据中心的某些决策，例如为了获得虚拟化负 载的最佳性能，需要选购最新的具有硬件虚拟化（如 ＩｎｔｅｌＶＴ技术）支持的处理器，遗留的处理器将不 再适用．同时由于运行着数以百计关键任务的虚拟 机可能同时运行在同一台物理主机上，为了获得更 高的可靠性，需要购买更可靠更昂贵的硬件．这些问 题导致在虚拟化数据中心设计的时候需要考虑系统 性能和成本的权衡． 虚拟化环境具体会产生什么样的管理开销？为 了回答这个问题，ＶＭｗａｒｅ的研究人员收集了运行 ＶＭｗａｒｅ虚拟化软件的１７个企业数据中心的真实 管理操作的详细轮廓数据［２２］，如表１所示．虚拟化 云平台特有的几种管理操作定义如下：（１）虚拟机 重配置．为虚拟机进行硬件的重配置（如增加一块 网卡或者增加一块硬盘）；（２）自动在线迁移．为了 达到自动负载均衡，虚拟机需要在主机间动态移动， 这个过程中虚拟机始终是活着的；（３）虚拟机开启． 开启虚拟机；（４）虚拟机关闭．关闭虚拟机；（５）虚拟 ４６２１ 计　　算　　机　　学　　报 ２０１２年 机重置．对虚拟机进行软重置（类似于打开物理主 机上的重置开关）；（６）补丁安装．包括针对物理主 机的补丁安装（如更新Ｈｙｐｅｒｖｉｓｏｒ），或者针对虚拟 机的程序安装（如更新客户操作系统，运行最新的安 全修补程序）；（７）创建快照．对虚拟机的状态进行 检查点操作；（８）快照恢复．如果发生故障，可以回 滚到前一个已知的状态；（９）快照提交．把所有的变 化写到磁盘，真正执行快照操作，并移除临时快照文 件；（１０）虚拟机克隆．创建一个关闭着的虚拟机的 拷贝，这对于快速复制一个新的配置非常有用．例如 当一个新员工加入到一个公司，通过虚拟机克隆，可 以把标准的桌面虚拟机镜像快速部署到员工的虚拟 计算机上．当进行虚拟化云计算平台的能耗管理时， 需要考虑这些虚拟化特有的管理操作． 表１　虚拟化云数据中心常见的管理操作［２２］ 操作类型 不同站点每天平均操作次数 不同站点每天峰值操作次数 虚拟机重配置 ２．３ ６９９自动在线迁移 ５１．０ ３１５６虚拟机开启 ９０．０ １５７６虚拟机关闭 ３５．０ １５３５虚拟机重置 ４．６ １７６补丁安装 ５．３ ２５０创建快照 ４．８ ５６快照恢复 ７．０ １０１快照提交 １３．０ １９虚拟机克隆 ６．０ ４４ ２．１．２　能耗管理挑战 虚拟化技术给数据中心带来新的日常管理操作 特征的同时，也给能耗管理操作带来新的挑战［１９］． 首先，因为虚拟化平台所管理的虚拟资源和物理资 源是相互分离的，因而客户机器观察到的虚拟资源 与底层物理资源会不一致，特别是出现迁移的时候． 所以，客户虚拟机如何实现虚拟机程序级的能耗管 理策略是一个挑战性问题．其次，在数据中心中，不 一致性会随着平台的频繁更新、故障处理、添加新节 点扩容等操作而进一步加重．这些平台变化的一个 自然结果是导致异构性的增加．但是，出于对虚拟机 隔离性以及独立性的需求考虑，虚拟机能耗管理策 略要做到能够以不变应对多变．一般来讲，有两种解 决方法： （１）利用客户虚拟机的能耗管理策略实现虚拟 机的能耗管理操作．但这种方法存在一些问题，例如 不能让虚拟机直接使用硬件能耗管理功能，因为这 些资源是虚拟化后的硬件资源，并为多个虚拟机所 共享．此外，直接访问硬件资源也会影响性能隔离 性．例如虚拟机增加自己所在物理核的频率来满足 自己虚拟机服务质量需求的时候会影响其它的物理 核的运行．更坏的情况是，有些活动可能是恶意的， 如功耗病毒（ＰｏｗｅｒＶｉｒｕｓ），会危害其它虚拟机的正 常运行． （２）利用硬件能耗管理机制实现虚拟机的能耗 管理操作．但这种方法也存在局限性．硬件支持的能 耗管理机制对于虚拟化系统的问题是，这些硬件层 次的能耗管理策略会被多个客户虚拟机所共享．例 如，内存ＤＩＭＭ（ＤｕａｌＩｎｌｉｎｅＭｅｍｏｒｙＭｏｄｕｌｅｓ）通 过同一个总线进行访问，并且共享相同的电压水平， 而这些内存可能被分配给多个客户虚拟机．这意味 着，这个部件不能被用来进行特定虚拟机的能耗管 理操作，除非所有的客户机都想通过总线调节来降 低内存带宽．但若真的这样做，又相当于没有发挥 ＤＩＭＭ的优势，可以直接关闭ＤＩＭＭ了．相同的局 限性也反映在磁盘上，磁盘包括多个分区，每个分区 可能被分配给多个不同的客户机．只有当所有的分 区都能被设置为某个功率状态时，才能通过把磁盘 调整到那个功率状态，实现磁盘分区层次的能耗管 理．一个解决方法是采用时间域多路复用，就是根据 当前虚拟机的功耗标准设置硬件状态．但是这样也 存在两个问题：①首先，只有在资源管理状态转换 时间比Ｈｙｐｅｒｖｉｓｏｒ的调度时间粒度更小的时候才 能采用这种方法．②这种方法对多核平台不一定有 用．大量的客户虚拟机在可用的物理核上并发执行， 降低了时间域多路复用的可用概率．因为在多核上， 尽管核的频率可以独立调节，但是主板传过来的只 有一个电压．因此工作电压受最高频率核的约束． 综上所述，需要研究一套同时结合“软”、“硬”能 耗调节技术的方法来进行虚拟化云计算平台的能耗 管理． ２．２　虚拟机能耗测量挑战 ２．２．１　虚拟机能耗无法直接测量 在真实的云计算系统中，能耗管理技术的一个 重要方面是能耗使用情况的可视性．基于这些可视 信息，可以进行自动的或者人工的能耗管理决策，这 就涉及一个重要问题，即虚拟机的能耗测量．由于现 代数据中心对能耗管理的内在需求，目前绝大多数 的新服务器都在硬件层提供了内置的能耗测量功 能，而旧的服务器也有其它一些解决方案，如使用功 耗分布单元（ＰｏｗｅｒＤｉｓｔｒｉｂｕｔｉｏｎＵｎｉｔｓ，ＰＤＵ），通过 电源测试系统的能耗．但是在虚拟化环境中，虚拟机 的能耗无法直接从硬件测量． ５６２１６期 叶可江等：虚拟化云计算平台的能耗管理 Ｋａｎｓａｌ等人［２３］提出了一个间接的虚拟机能耗 测量机制Ｊｏｕｌｅｍｅｔｅｒ，使得虚拟化平台也能像目前 硬件上提供给服务器的功耗测量功能一样使用能耗 管理机制．首先跟踪虚拟机使用的每个硬件部件的 资源使用情况，然后通过一个资源能耗模型，把资源 使用率转换为能耗使用率．有了资源能耗模型，就可 以根据模型从运行时资源使用情况推断出虚拟机的 能量消耗．传统的能耗模型对于运行单个应用程序 的物理服务器是有效的，但不适合于云计算平台．在 云计算平台中一个服务器可能被多个不同的虚拟机 共享，每个虚拟机运行不同的应用程序．Ｊｏｕｌｅｍｅｔｅｒ 通过服务器硬件和对Ｈｙｐｅｒｖｉｓｏｒ插桩（Ｉｎｓｔｒｕｍｅｎ ｔａｔｉｏｎ）来建立所需的基于真实平台的能耗模型． 这种方法的误差率较低（实验表明误差保持在 ０．４Ｗ～２．４Ｗ之间），并且运行时的开销也较小． Ｊｏｕｌｅｍｅｔｅｒ机制的优点是不需要对应用程序负载或 虚拟机里的操作系统进行额外的插桩，能自动适应 应用程序的特征甚至硬件配置的变化．而Ｓｔｏｅｓｓ等 人［２１］提出的虚拟机能耗测量机制，有一个前提假 设：即每个硬件部件的详细能耗模型是已知的，但 实际上这种模型很难提供．ＭｃＩｎｔｏｓｈＳｍｉｔｈ等人［２４］ 则针对异构系统提出了一种性能和能耗的基准测试 方法． ２．２．２　能耗模型精度的挑战 在虚拟化云计算数据中心中，通常是通过评估 当前虚拟机的ＣＰＵ利用率来确定虚拟机的能耗情 况．但是不幸的是，这些评估可能并不精确［２５］．因为 测量出来的ＣＰＵ利用率，无法精确反映真实的 ＣＰＵ使用情况，它还包括了内存等待时间，因此不 能真实反映ＣＰＵ功耗情况．例如，有两个虚拟机， 一个是ＣＰＵ密集，一个是内存密集，尽管两个虚拟 机的ＣＰＵ利用率测量值相同，如都是１００％，但是 这两个虚拟机的能耗来源是不同的．这证明了简单 的虚拟机能耗模型存在局限性． 为了提高虚拟机能耗模型的精度，Ｋｒｉｓｈｎａｎ等 人［２５］研究了复杂的内存层次对能耗模型精度的影 响，因为内存正在逐渐变为一个重要的部件．能耗评 估的精度依赖于虚拟机对内存系统的使用情况，如 不同Ｃａｃｈｅ层次的使用情况或者内存级的并行执行 情况． 在云计算数据中心中精确捕获每个虚拟机的能 耗不是一件容易的事．这是因为今天云计算数据中 心部署着各种类型的负载，它们有着不同的资源使 用需求，并且经常动态变化．此外，负责管理数据中 心或云基础设施的操作者无法知道应用程序所在的 虚拟机里的信息以及应用程序本身的执行行为．没 有人知道虚拟机上的应用程序正在做什么．因此，需 要采用一种黑盒技术来捕捉虚拟机的能耗情况，即 轮廓分析的方法． ２．３　虚拟机能耗测量的步骤 虚拟机能耗测量的基本思路如下：（１）首先建 立一个能耗模型．把特定类型资源的利用率（如 ＣＰＵ）和整体系统能耗建立联系，为简单起见不考 虑处在相对较低利用率层次的其它类型资源的能 耗；（２）使用轻量级监控工具测量每个虚拟机运行 时的不同资源的利用率，例如可以通过典型虚拟化 平台（如Ｘｅｎ）提供的硬件性能计数器进行在线的轮 廓分析；（３）评估虚拟机能耗情况．输入资源利用 率，通过资源能耗模型的计算，间接推断虚拟机的 能耗． 基于以上思路，系统的总能耗可以简单地用 式（１）表示： 犈ｓｅｒｖｅｒ＝犈ｉｄｌｅ＋犈ｃｐｕ＋犈ｍｅｍ＋犈ｄｉｓｋ＋犈ｎｅｔ （１）每个系统子部件的能耗计算方法如下：ＣＰＵ子 系统的精确能耗包括处理器能耗和Ｃａｃｈｅ能耗．可 以通过监控每秒钟的指令执行次数来表示虚拟机 ＣＰＵ的使用率．基于此就可以建立每秒钟指令数和 动态服务器能耗的相互关系．内存子系统的能耗模 型也类似，可以通过每秒Ｃａｃｈｅ的缺失率创建内存 能耗模型，建立每秒钟的Ｃａｃｈｅ缺失数和服务器能 耗的关联模型． ２．４　虚拟机能耗轮廓分析方法 目前，大多数在线能耗监控都是基于物理节点 的，如Ｌｉｕ等人［２６］提出的ＧｒｅｅｎＣｌｏｕｄ架构，通过使 用一个外部的功耗测量器来获得物理主机的总体能 耗．它只提供整个系统的能量消耗，而没有提供每个 虚拟机的能耗，是一种粗粒度的能耗测量方法，能耗 精度低．为了提升能耗测量精度，需要开发细粒度的 资源和能耗轮廓分析方法，不仅分析物理节点的能 耗，还要分析每个虚拟机的能耗． Ｂｏｈｒａ等人［２７］提出了一个新的能耗轮廓分析工 具ＶＭｅｔｅｒ，它对每个虚拟机的资源和能耗进行轮 廓分析．该工具对ＣＰＵ、Ｃａｃｈｅ、Ｄｉｓｋ和ＤＲＡＭ等系 统子部件进行分别监控．Ｓｒｉｋａｎｔａｉａｈ等人［２８］采用类 似的方法，通过监控底层性能计数器预测上层应用 程序或进程的能耗．为了在软件设计时就考虑能耗 的优化，需要对应用程序层的能耗轮廓进行分析．为 了达到这个目标，来自微软的研究人员提出了一个 ６６２１ 计　　算　　机　　学　　报 ２０１２年 自动化的工具进行细粒度的应用程序能耗轮廓分 析，并提供有价值的信息给程序设计者［２９］．Ｃｈｏｉ等 人［３０３１］通过对服务器整合场景的能耗进行轮廓分 析，开发出一个模型来预测整合场景下应用程序的 平均和持久的能耗． ３　虚拟化云平台的能耗分析与建模 能耗模型可以分成两大类：基于系统功能单元 的能耗评估模型和基于硬件性能计数器的能耗预测 模型．出于对模型精度的考虑，大多数的能耗模型属 于第２类，即对通过硬件性能计数器收集到的关键 系统事件进行统计，预测系统能耗，然后进行各种策 略的能耗优化． 图１给出了针对虚拟化云计算平台的能耗建模 方法，我们把它分为静态能耗建模和动态能耗建模 两类．静态能耗建模刻画的是单个虚拟机系统功能 部件的能耗，可以分别对ＣＰＵ、内存、磁盘等系统子 部件进行建模，也可以对虚拟机系统整体进行建模． 动态能耗建模，指的是对虚拟化动态应用场景的能 耗进行建模，包括服务器整合能耗建模和在线迁移 能耗建模． 图１　虚拟化云计算平台的能耗建模方法分类 ３．１　虚拟机能耗模型 ３．１．１　能耗与功耗的定义及相互关系 能耗和功耗是用来衡量系统能量消耗的两个重 要概念．在计算机系统中，能耗是指计算机系统一段 时间内总的能量消耗，单位是焦耳（Ｊ）．而功耗是指 单位时间内能量的消耗，反映计算机系统消耗能量 的速率，单位是瓦特（Ｗ）．这两者都能表示系统的能 耗情况，本文不作特别区别．它们之间的关系如 式（２）所示［３２］ 犈＝∫狋＋Δ狋狋犘·ｄ狋 （２） ３．１．２　ＣＰＵ能耗模型 ＣＰＵ的能耗使用模型依赖于多个因素，如处理 器子单元的活动情况，执行特定指令的情况，片上 Ｃａｃｈｅ使用情况以及处于高低频的情况．一个精确 的能耗模型，需要考虑所有这些因素，但是这样会使 得监控的开销很大，并且不适于运行时的虚拟机的 实时能耗评估．因此，Ｋａｎｓａｌ等人［２３］提出了一个轻 量级的替换方法来跟踪处理器的活动和休眠次数， 这可以很容易地从操作系统里的处理器使用情况获 得．令狌ｃｐｕ表示处理器利用率．对于一个给定的处理器频率，ＣＰＵ的能耗模型如下［２３］： 犈ｃｐｕ＝αｃｐｕ狌ｃｐｕ＋γｃｐｕ （３）其中，αｃｐｕ和γｃｐｕ指的是模型的特定常数，可以通过训练获得． 如果一个虚拟机犃的处理器利用率表示为 狌ｃｐｕ，犃，那么该虚拟机的能耗犈ｃｐｕ，犃为 犈ｃｐｕ，犃＝αｃｐｕ狌ｃｐｕ，犃 （４） ３．１．３　内存能耗模型 现有的内存能耗模型研究发现影响内存能耗的 主要因素是内存读写的吞吐量．尽管有用额外的插 桩技术来捕获内存吞吐量［３３］，也有一种轻量级的内 存吞吐量的评估方法，即记录最后一层Ｃａｃｈｅ（Ｌａｓｔ ＬｅｖｅｌＣａｃｈｅ，ＬＬＣ）的缺失次数，这在大多数处理器 上很容易获得．使用这些指标，内存的能耗模型可以 被写为如下形式［２３］： 犈ｍｅｍ（犜）＝αｍｅｍ犖ＬＬＣ（犜）＋γｍｅｍ （５）其中，犈ｍｅｍ（犜）表示犜时间内内存的总能耗，犖ＬＬＣ（犜）表示犜时间内ＬＬＣ缺失次数，αｍｅｍ和γｍｅｍ表示线性 模型的参数． 与跟踪虚拟机处理器使用率相比，跟踪虚拟机 的ＬＬＣ缺失没有那么直观．因为内存访问由处理器 硬件直接管理，操作系统和Ｈｙｐｅｒｖｉｓｏｒ不能直接看 到．大多数的处理器把ＬＬＣ缺失作为硬件的一个性 能计数器，如ＩｎｔｅｌＮｅｈａｌｅｍ处理器在每个核上都提 供这个功能．通过跟踪每个虚拟机在每个核上因上 下文切换而导致的ＬＬＣ缺失次数，我们就能获得相 应虚拟机的ＬＬＣ的缺失次数．因此虚拟机的内存能 耗模型如下［２３］： 犈ｍｅｍ，犃（犜）＝αｍｅｍ犖ＬＬＣ，犃 （６）其中，犈ＬＬＣ，犃表示一个虚拟机犃在时间犜内在所有核上的ＬＬＣ缺失次数，αｍｅｍ含义与式（５）中一致． ３．１．４　磁盘能耗模型 磁盘子系统的能耗模型相对较难建立，这是因 为无法知道磁盘的功耗状态，以及磁盘硬件缓存的 ７６２１６期 叶可江等：虚拟化云计算平台的能耗管理 影响．在数据中心服务器中，磁盘大多数以ＲＡＩＤ （ＲｅｄｕｎｄａｎｔＡｒｒａｙｏｆＩｎｄｅｐｅｎｄｅｎｔＤｉｓｋｓ，磁盘阵 列）的方式存在，由ＲＡＩＤ控制器控制着物理磁盘， Ｈｙｐｅｒｖｉｓｏｒ只能看到逻辑驱动．因此只能利用 Ｈｙｐｅｒｖｉｓｏｒ能看得到的参数来进行建模．而Ｈｙｐｅｒ ｖｉｓｏｒ只能看到读和写的字节数，以及这些读／写的 服务时间．因此可以使用这些参数来建立磁盘能耗 模型［２３］： 犈ｄｉｓｋ（犜）＝αｒｂ犫ｒ＋αｗｂ犫ｗ＋γｄｉｓｋ （７）其中，犈ｄｉｓｋ（犜）表示犜时间内磁盘的能量消耗，犫ｒ和 犫ｗ表示犜时间内读和写的字节数．α参数和γｄｉｓｋ可 以通过训练获得． 与ＣＰＵ和内存资源一样，需要跟踪每个虚拟 机的磁盘使用参数．值得注意的是，磁盘活动的时 候，虚拟机不一定总是活动的，因为Ｈｙｐｅｒｖｉｓｏｒ可 能在进行批处理Ｉ／Ｏ中断，或者缓存Ｉ／Ｏ等操作． 因此，需要在Ｈｙｐｅｒｖｉｓｏｒ中显式的跟踪Ｉ／Ｏ操作， 而不是观察虚拟机活动时候存储系统的活动情况． ＷｉｎｄｏｗｓＨｙｐｅｒＶＨｙｐｅｒｖｉｓｏｒ已经实现了大部分 的状态跟踪操作，每个虚拟机特定的磁盘使用率能 从ＨｙｐｅｒＶ的性能计数器里获得，它们是ＨｙｐｅｒＶ ＶｉｒｔｕａｌＳｔｏｒａｇｅＤｅｖｉｃｅ和ＨｙｐｅｒＶＶｉｒｔｕａｌＩＤＥ Ｃｏｎｔｒｏｌｌｅｒ．因此，可以得到以下的虚拟机磁盘能耗 模型［２３］： 犈ｄｉｓｋ，Ａ＝αｒｂ×犫ｒ，Ａ＋αｗｂ×犫ｗ，Ａ （８） 其中，犫ｒ，Ａ和犫ｗ，Ａ表示虚拟机Ａ读和写的字节数．此 外，根据实验发现，可以忽略磁盘读和写的能耗差 别，因此得到一个共同的参数，由前面提到的虚拟机 磁盘计数器总和表示，表示读和写的总字节数，因此 可以把模型简化为 犈ｄｉｓｋ（犜）＝αｉｏ×犫ｉｏ＋γｄｉｓｋ （９） 相应的虚拟机的磁盘能耗为 犈ｄｉｓｋ，Ａ＝αｉｏ×犫ｉｏ，Ａ （１０） ３．１．５　系统整体能耗模型 与式（１）表示的系统基本能耗模型不同，Ｂｏｈｒａ 等人［２７］对监控事件的相互关联关系进行了研究，他 们采用主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ， ＰＣＡ）方法对输入数据集进行分析，发现｛ＣＰＵ， Ｃａｃｈｅ｝对和｛Ｄｉｓｋ，ＤＲＡＭ｝对有很高的相关性．因 此，他们把系统负载分成两大类：ＣＰＵ密集的负载 和Ｉ／Ｏ密集的负载．基于此，可以预测系统总功耗， 其模型表达如下： 犘｛ｃｐｕ，ｃａｃｈｅ｝＝犪１＋犪２狆ｃｐｕ＋犪３狆ｃａｃｈｅ （１１） 犘｛ＤＲＡＭ，ｄｉｓｋ｝＝犪４＋犪５狆ＤＲＡＭ＋犪６狆ｄｉｓｋ （１２） 犘｛ｔｏｔａｌ｝＝α犘｛ｃｐｕ，ｃａｃｈｅ｝＋β犘｛ＤＲＡＭ，ｄｉｓｋ｝ （１３）其中，犪１和犪４是用来调节系统空闲时的系统能耗，参数犪２、犪３、犪５和犪６表示权重，犘ｃｐｕ、犘ｃａｃｈｅ、犘ＤＲＡＭ和 犘ｄｉｓｋ分别表示ＣＰＵ、Ｃａｃｈｅ、ＤＲＡＭ和Ｄｉｓｋ各子部件的功耗，可由监控到的系统事件计算得到． 犘｛ｃｐｕ，ｃａｃｈｅ｝和犘｛ＤＲＡＭ，ｄｉｓｋ｝分别表示｛ＣＰＵ，Ｃａｃｈｅ｝和 ｛ＤＲＡＭ，Ｄｉｓｋ｝子系统的功耗．使用这个模型，可以 计算每个活动虚拟机的功耗． 整体系统功耗可以分为两大类：基数功率消耗 和动态功率消耗．根据上式，犪１和犪４提供系统空闲时的基数功率消耗，因此基数功耗表示如下： 犘｛ｂａｓｅｌｉｎｅ｝＝α×犪１＋β×犪４ （１４）其中，犘｛ｂａｓｅｌｉｎｅ｝是基数功率消耗．系统整体功率消耗表示如下： 犘｛ｔｏｔａｌ｝＝犘｛ｂａｓｅｌｉｎｅ｝＋∑犖犽＝１犘｛ｄｏｍａｉｎ（犽）｝ （１５）其中，犘｛ｔｏｔａｌ｝表示总体系统功率消耗，犘｛ｄｏｍａｉｎ（犽）｝表示一个活动虚拟机域的功率消耗，犖是活动虚拟机域 的个数．每个虚拟机域可以由系统提供的硬件事件 的计数器值获得 犘｛ｄｏｍａｉｎ（犻）｝＝α（犪２狆ｃｐｕ（犻）＋犪３狆ｃａｃｈｅ（犻））＋ β（犪５狆ＤＲＡＭ（犻）＋犪６狆ｄｉｓｋ（犻）） （１６）其中，犘｛ｄｏｍａｉｎ（犻）｝是指一个活动虚拟机或Ｄｏｍ０的功率消耗，狆ｃｐｕ（犻）、狆ｃａｃｈｅ（犻）、狆ＤＲＡＭ（犻）可以从给定域的硬件事件计数器值获得，狆ｄｉｓｋ（犻）可以从给定域的硬盘数据传输量获得．实验证明，该模型能很好地满足相应的 测试基准程序的测试，计算开销也不大，并且提升了 评价预测的精度． ３．２　服务器整合建模 服务器整合指的是把多个虚拟机应用负载整合 在一台物理主机上运行［１０，１２，３４］，它是虚拟化技术的 一个重要应用场景．服务器整合可以被形式化为如 下形式［３５］：令在犜时间段，有犖个程序犃犻需要被部署到犕个物理主机犎犼上．对于每个程序犃犻，令 犆（犃犻，狋）表示在狋时刻为了满足ＳＬＡ所需的资源．这里假设犆（犃犻，狋）可以从资源的监控数据获得，而不去考虑怎样把程序的ＳＬＡ转为一个资源值．令物 理主机犎犼的容量为犆（犎犼），犡表示一个特定的整合配置，把程序部署到物理服务器上，如果程序犃犻被部署到主机犎犼，那么令狓犻犼＝１，否则狓犻犼＝０．服务器整合问题就是要找这样一个配置，优化给定的开 销函数．例如，如果整合的目标是优化能耗，那么需 要寻找一个配置犡，最小化犘（犡），犘（犡）是一个真 实估价的函数，表示一个特定程序部署的能量消耗． 部署应该确保所有程序的资源需求满足整个犜时间 ８６２１ 计　　算　　机　　学　　报 ２０１２年 段，即狋∈犜，∑犖犻＝１狓犻犼犆（犃犻，狋）犆（犎犼）．我们还需要 确保所有的应用程序被成功部署上，即∑犕犼＝１狓犻犼＝１．动态整合假设犜非常短，这使得应用程序的容 量请求犆（犃犻）是时间无关的．因此，容量约束不再是 随机的．在动态整合场景里，为了评估犆（犃犻）和 犆（犎犼），一个主流的指标是来自ＩＤＥＡＳ（ＩｄｅａｓＩｎ ｔｅｒｎａｔｉｏｎａｌ）组织的ＲＰＥ２（ＲｅｌａｔｉｖｅｓｅｒｖｅｒＰｅｒｆｏｒｍ ａｎｃｅＥｓｔｉｍａｔｅ２）指标①，几乎所有的常用服务器的 性能都用ＲＰＥ２值测试出来．犆（犎犼）用ＲＰＥ２值来表示，通过分析服务器ＣＰＵ的利用率对应用程序 的资源请求情况进行评估．如果没有使用虚拟化，服 务器的ＲＰＥ２值和该时间段内服务器的最大ＣＰＵ 利用率的乘积，被用来表示应用程序的资源需求大 小．如果使用了虚拟化，则根据其物理服务器上的每 个虚拟机的权重、虚拟机的ＣＰＵ利用率和物理服 务器的ＲＰＥ２值进行综合计算． ３．３　在线迁移建模 虚拟机在线迁移指的是一种在不停机的情况下 进行虚拟机迁移的技术［１１，３６３７］．Ｌｉｕ等人［３８］对虚拟 机迁移的能耗进行量化建模．虚拟机迁移的能量消 耗主要由数据传输率决定．源端主机在进行虚拟机 迁移时的能量消耗随数据传输率的上升而上升．另 一方面，当数据传输率更高的时候，迁移延迟变得更 短．实验证明，因为虚拟机迁移本身而产生的能量消 耗与数据传输率无关．注意到，虚拟机迁移是一个 Ｉ／Ｏ密集的程序，能耗主要消耗在网络上进行数据 传输和接收．可以推测虚拟机迁移导致的能量开销 只由网络流量的数据量决定．基于此，Ｌｉｕ等人设计 了一个模型来评估虚拟机迁移的能量开销． 实现虚拟机迁移牵涉到源主机、网络交换器、目 标主机３大资源．因为交换结构非常复杂，能耗很难 量化，因此该模型只考虑源端和目标端的能量消耗． 一般来说，数据在源端传输的量与数据在目标端接 收的量是相等的，另外通过实验发现在同构的环境 中，数据传输和接收的能量消耗差异非常小．因此以 下能耗模型假设能量消耗与虚拟机迁移导致的网络 开销成线性增长关系： 　犈ｍｉｇ＝犈ｓｏｕｒｃｅ＋犈ｄｅｓｔ＝（α狊＋α犱）犞ｍｉｇ＋（β狊＋β犱）（１７）其中，α狊、α犱、β狊、β犱表示需要训练的模型参数．在异构物理机环境下，该模型仍然适用，只是这些模型参数 需要重新训练．因为当前的虚拟化平台（包括Ｘｅｎ 和ＶＭｗａｒｅ）只支持虚拟机在同构主机间的迁移，为 了简化问题，只在同构环境中训练能耗模型．因此， 式（１７）能被简化为 犈ｍｉｇ＝犈ｓｏｕｒｃｅ＋犈ｄｅｓｔ＝α犞ｍｉｇ＋β （１８）网络流量犞ｍｉｇ用兆字节（Ｍｂ）表示，能耗犈ｍｉｇ用 Ｊｏｕｌｅｓ②表示． 犞ｍｉｇ可以很容易从真实迁移训练实验获得．为 了计算额外的能耗犈ｍｉｇ，应该获得由虚拟机在线迁 移导致的能耗上升部分．首先测量物理主机的静态 功耗犘０，然后测量当虚拟机在迁移时的能耗犘狋，那 么由虚拟机迁移导致的动态能耗可以由下式计算 得到 犈ｍｉｇ＝∫犜ｍｉｇ０（犘狋－犘０）ｄ狋＝∑犜ｍｉｇ狋＝１（犘狋－犘０）（１９） ４　虚拟化云平台能耗管理实现机制 节能技术可以分为静态节能技术和动态节能技 术．第１种方法在最初系统和部件设计的时候就把 能耗因素考虑进去，这种方法包括电路层节能技术 （如对未使用的组件禁用时钟信号），节能微架构设 计［８］，处理器、内存和磁盘的低功耗状态设计［３９］等． 第２种方法根据负载变化，从资源管理的角度自适 应地进行节能管理，这种方法需要智能的管理软件 来优化服务器层和集群层的能量消耗．把软硬件节 能技术绑定在一起是一种更为有效的方法，也是虚 拟化云计算平台可行的节能实现机制． 根据之前的分析，虚拟化云平台的能耗管理面 临一些新的挑战，因此需要针对该平台开发新的能 耗管理机制．Ｎａｔｈｕｊｉ和Ｓｃｈｗａｎ［１９］考虑了面向虚拟 化平台的能耗管理新机制的设计问题：（１）软硬结 合的能耗调整．虚拟化技术可以动态扩展物理资源 分配给虚拟机，有两种方式可以实现能耗调整： ①软的技术，依靠Ｈｙｐｅｒｖｉｓｏｒ的管理来限制虚拟机 对硬件资源的使用率；②硬的技术，采用底层硬件 节能技术，如处理器电压频率调整（ＤｙｎａｍｉｃＶｏｌｔ ａｇｅａｎｄＦｒｅｑｕｅｎｃｙＳｃａｌｉｎｇ，ＤＶＦＳ）技术．为了实现 更有效的虚拟化层能耗管理，这两方面的技术都要 采用．（２）独立和协调．客户虚拟机有自己的能耗管 理方法，如Ｌｉｎｕｘ操作系统允许处理器进行动态电 压频率调整，这个管理策略既可以装载到内核，也可 以在用户空间执行．此外，还可以采用其它特定应用 ９６２１６期 叶可江等：虚拟化云计算平台的能耗管理 ①② ｈｔｔｐ：／／ｗｗｗ．ｉｄｅａｓｉｎｔｅｒｎａｔｉｏｎａｌ．ｃｏｍ／ｐｅｒｆｏｒｍａｎｃｅ／ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｊｏｕｌｅ 程序的节能策略解决实时负载或者满足程序最小化 能耗的需求．从这个角度来说，云平台能耗管理的一 个必要元素是需要协调各个层次的节能策略，如硬 件层、操作系统层、机架层、数据中心层等．（３）管理 的灵活性．有虚拟化技术支持的现代数据中心拥有 多种设备，这些设备有不同的属性和管理功能，或者 部署了不同类型的应用程序，而且这些应用程序有 着不同的ＳＬＡ需求．这种场景下需要不同的动态能 耗管理策略．因此为了有效解决虚拟化环境的能耗 管理问题，需要给管理员提供灵活的能耗管理策略． 根据管理层次的不同，我们把虚拟化云计算平 台的能耗管理机制分为两大类：虚拟化层的能耗管 理机制和云平台层的能耗管理机制．其中在虚拟化 层的能耗管理机制中，我们分析了虚拟机管理器 （ＶｉｒｔｕａｌＭａｃｈｉｎｅＭｏｎｉｔｏｒ，ＶＭＭ）层对能耗管理的 支持，以及虚拟机层对能耗管理的支持．云平台层的 能耗管理机制范围很广，它的主要思路是从虚拟资 源管理的角度对云平台的能耗进行管理，我们又把 它具体分为ＶＰＭ（ＶｉｒｔｕａｌＰｏｗｅｒＭａｎａｇｅｍｅｎｔ）能 耗管理机制和能耗管理中间件框架两大类，如图２ 所示． 图２　虚拟化云计算平台的能耗管理机制分类 附录表１列举了目前各种典型的虚拟化云计算 平台的能耗管理机制，分别从实现平台、考虑的资源 维度、同构／异构性、是否用到迁移、最终优化目标、 采用的具体节能技术和实现效果７大方面，全面总 结、分析和比较了各种能耗管理机制的异同点． ４．１　虚拟化层的能耗管理机制 ４．１．１　ＶＭＭ层的能耗管理机制 虚拟机管理器（ＶＭＭ）可以有两种方式参与能 耗管理［５５］：（１）虚拟机管理器可以看作为一个能耗 感知的操作系统，对系统整体性能进行监控，并利用 ＤＶＦＳ等技术降低系统部件的能耗；（２）依靠操作 系统特定的能耗管理策略和应用程序级的信息，把 不同虚拟机的能耗管理操作映射到硬件功耗状态的 真实改变上．虚拟机管理器一般提供类似于Ｌｉｎｕｘ 本身提供的按需能耗管理机制，即支持基于高级配 置与电源接口（ＡｄｖａｎｃｅｄＣｏｎｆｉｇｕｒａｔｉｏｎａｎｄＰｏｗｅｒ ＭａｎａｇｅｍｅｎｔＩｎｔｅｒｆａｃｅ，ＡＣＰＩ）的能耗管理机制．系 统间隔性的监控ＣＰＵ利用率，检测适合的功率状 态，生成一个平台独立的命令，进而调节硬件的功率 状态． Ｘｅｎ支持ＡＣＰＩ的Ｐ状态，并在ｃｐｕｆｒｅｑ驱动里 实现这一机制［５６］．与Ｌｉｎｕｘ功耗管理子系统类似， Ｘｅｎ功耗管理系统包括４个管理器：（１）按需管理 器．根据当前的资源需求选择最佳的Ｐ状态；（２）用 户空间管理器．由用户指定设置ＣＰＵ的频率； （３）性能管理器．设置最高的可用时钟频率；（４）节 能管理器．设置最低的时钟频率．除Ｐ状态外，Ｘｅｎ 还支持Ｃ状态（ＣＰＵ睡眠状态）［５６］．当一个物理 ＣＰＵ没有运行任务时，就切换到Ｃ状态．当新的请 求到来时，ＣＰＵ切换回活动状态．一个问题是进入 到哪一种Ｃ状态：深度Ｃ状态提供更高的节能效 果，但是也意味着更高的切换开销．目前，Ｘｅｎ缺省 地把ＣＰＵ切换到第一个Ｃ状态．当ＣＰＵ收到唤醒 信号时，会不可避免地带来一定的性能损失．与Ｘｅｎ 相似，ＶＭｗａｒｅ也支持主机层的能耗管理机制，支持 ＤＶＦＳ技术．系统连续监控ＣＰＵ使用率，并恰当地 使用ＡＣＰＩ中的Ｐ状态．ＫＶＭ是另外一种虚拟化 平台，它是作为Ｌｉｎｕｘ内核的一个模块．在这个模块 下，Ｌｉｎｕｘ担任Ｈｙｐｅｒｖｉｓｏｒ的角色，所有的虚拟机 按正常的进程由Ｌｉｎｕｘ调度器进行调度．这种方法 减少了Ｈｙｐｅｒｖｉｓｏｒ实现的复杂度，因为调度和内存 管理都是由Ｌｉｎｕｘ内核完成．ＫＶＭ支持Ｓ４（休眠） 和Ｓ３（待机）两种功耗状态①．Ｓ４不需要ＫＶＭ任何 特殊的支持，在休眠状态，客户操作系统把内存状态 保存进硬盘，并且关闭计算机．在下次启动的时候， 操作系统从磁盘读取保存着的内存状态，从休眠中 恢复，初始化所有设备．在Ｓ３状态，内存是开着的， 数据不需要保存到磁盘．但是，客户操作系统必须保 存设备的状态，因为他们需要恢复设备状态．在下一 次启动时，ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍ）应该 识别Ｓ３状态，而不是初始化设备，直接恢复Ｓ３保存 着的设备状态．因此ＢＩＯＳ需要做一些修改来支持 这种行为． 在虚拟机管理器层，除了对ＡＣＰＩ的支持之外， 另一个重要的特征是对虚拟机在线迁移的支持．通 ０７２１ 计　　算　　机　　学　　报 ２０１２年 ①ｈｔｔｐ：／／ｗｗｗ．ｌｉｎｕｘｋｖｍ．ｏｒｇ／ｐａｇｅ／ＰｏｗｅｒＭａｎａｇｅｍｅｎｔ 过这种虚拟机的迁移可以进行能耗感知的动态虚拟 机整合，进而达到节能的目的．迁移被用来在物理主 机间转移虚拟机．离线迁移采用暂停（Ｓｕｓｐｅｎｄ）的 方式把一个虚拟机从一台主机移动到另外一台主 机，拷贝内存内容，然后在目标主机恢复运行虚拟 机．而在线迁移转移虚拟机时，不需要暂停虚拟机． Ｘｅｎ既支持离线迁移也支持在线虚拟机迁移． ＶＭｗａｒｅ的ＶＭｏｔｉｏｎ模块使得虚拟机能通过自动 的或者管理员手动的方式在物理节点间在线迁移虚 拟机．ＶＭｗａｒｅ的ＤＲＳ（ＤｉｓｔｒｉｂｕｔｅｄＲｅｓｏｕｒｃｅ Ｓｃｈｅｄｕｌｅｒ）模块包含一个专门的功耗管理子系统叫 ＶＭｗａｒｅＤＰＭ（ＤｉｓｔｒｉｂｕｔｅｄＰｏｗｅｒＭａｎａｇｅｍｅｎｔ）①， 用来动态关闭空闲服务器，从而减少能量的消耗．当 资源请求量上升的时候，服务器又被重新启动起来． ＶＭｗａｒｅＤＰＭ使用在线迁移来重新分配虚拟机，保 持最小的活动服务器数目．ＫＶＭ也支持在线迁移． 表２对目前流行的３大虚拟机管理器（Ｘｅｎ、 ＶＭｗａｒｅ和ＫＶＭ）的能耗管理机制进行了比较 分析． 表２　典型虚拟机管理器的能耗管理机制比较 ＶＭＭ类型ＶＭＭ能耗管理机制 基于迁移的能耗管理机制 Ｘｅｎ 支持Ｐ状态、Ｃ状态 基于在线迁移的整合 ＶＭｗａｒｅ 支持Ｐ状态 基于ＶＭｏｔｉｏｎ迁移的整合、ＤＰＭ能耗管理机制 ＫＶＭ 支持Ｓ４、Ｓ３状态 基于在线迁移的整合 ４．１．２　ＶＭ层的能耗管理机制 在虚拟机里进行能耗管理面临很多挑战， Ｎａｔｈｕｊｉ等人［１９］提出的虚拟能耗管理机制Ｖｉｒｔｕａｌ Ｐｏｗｅｒ填补了在虚拟机内部进行能耗管理的空白， 它结合采用硬件能耗调整和基于软件的能耗调整方 法来控制虚拟化平台的能耗．ＶｉｒｔｕａｌＰｏｗｅｒ定义了 一整套完整的虚拟能耗管理（ＶｉｒｔｕａｌＰｏｗｅｒＭａｎ ａｇｅｍｅｎｔ，ＶＰＭ）元素：ＶＰＭ状态、ＶＰＭ通道、ＶＰＭ 规则、ＶＰＭ机制．通过虚拟机层的“软的ＶＰＭ状 态”管理策略，客户机会拥有一致的硬件管理能力视 野，而不用考虑底层的物理资源．然后通过ＶＰＭ规 则把这些更改映射到底层硬件的改变．ＶｉｒｔｕａｌＰｏｗ ｅｒ把能耗管理策略解释成一种提示（ｈｉｎｔｓ）而不是 执行命令．这些提示被ＡＣＰＩ接口捕获．当客户虚拟 机想要通过这个接口进行特权操作时，目前的Ｈｙ ｐｅｒｖｉｓｏｒ的做法是会忽视它们，但是ＶｉｒｔｕａｌＰｏｗｅｒ 会解释提示并把它们映射到ＶＰＭ通道．这些通道 提供有用的提示给ＶｉｒｔｕａｌＰｏｗｅｒ的ＶＰＭ规则．然 后，ＶＰＭ规则使用由这些提示组成的“软”的状态 请求作为局部能耗管理和全局能耗管理的输入． ＶＰＭ状态和通道的绑定提供了一致的能耗管理， 同时维护了虚拟机的隔离性和独立性． ＶｉｒｔｕａｌＰｏｗｅｒ不需要修改客户操作系统．它的 架构流程如图３所示：每个物理平台运行一个 Ｈｙｐｅｒｖｉｓｏｒ