首页 vSphere 资源管理指南

vSphere 资源管理指南

举报
开通vip

vSphere 资源管理指南vSphere资源管理指南ESX4.0ESXi4.0vCenterServer4.0ZH_CN-000107-00vSphere资源管理指南2VMware,Inc.您可以在VMware的网站上找到最新的技术文档,网址为http://www.vmware.com/cn/support/VMware网站还提供了最新的产品更新。如果您对本文档有任何意见和建议,请将您的反馈提交到:docfeedback@vmware.com©2006–2009VMware,Inc.保留所有权利。本产品受美国和国际版权...

vSphere 资源管理指南
vSphere资源管理指南ESX4.0ESXi4.0vCenterServer4.0ZH_CN-000107-00vSphere资源管理指南2VMware,Inc.您可以在VMware的网站上找到最新的技术文档,网址为http://www.vmware.com/cn/support/VMware网站还提供了最新的产品更新。如果您对本文档有任何意见和建议,请将您的反馈提交到:docfeedback@vmware.com©2006–2009VMware,Inc.保留所有权利。本产品受美国和国际版权及知识产权法的保护。VMware产品受一项或多项专利保护,有关专利详情,请访问http://www.vmware.com/go/patents-cn。VMware、VMware“箱状”徽标及设计、VirtualSMP和VMotion都是VMware,Inc.在美国和/或其他法律辖区的注册商标或商标。此处提到的所有其他商标和名称分别是其各自公司的商标。VMware,Inc.3401HillviewAve.PaloAlto,CA94304www.vmware.com北京办公室北京市海淀区科学院南路2号融科资讯中心C座南8层www.vmware.com/cn上海办公室上海市浦东新区浦东南路999号新梅联合广场23楼www.vmware.com/cn广州办公室广州市天河北路233号中信广场7401室www.vmware.com/cn目录关于本文档51资源管理入门7什么是资源管理?7配置资源分配设置8查看资源分配信息11接入控制132管理CPU资源15CPU虚拟化基本知识15管理CPU资源163管理内存资源23内存虚拟化基本知识23管理内存资源264管理资源池33为什么使用资源池?34创建资源池34将虚拟机添加到资源池36从资源池中移除虚拟机36资源池接入控制375创建DRS群集39接入控制和初始放置位置40虚拟机迁移41DRS群集必备条件42创建DRS群集43设置虚拟机的自定义自动化级别44禁用DRS456使用DRS群集管理资源47使用DRS规则47将主机添加到群集49将虚拟机添加到群集50从群集内移除主机50从群集内移除虚拟机51DRS群集有效性51管理电源资源55VMware,Inc.37查看DRS群集信息59查看群集摘要选项卡59使用DRS选项卡608配合使用NUMA系统和ESX/ESXi63什么是NUMA?63ESX/ESXiNUMA调度的工作方式64VMwareNUMA优化算法和设置64NUMA架构中的资源管理66指定NUMA控制67A性能监控实用程序:resxtop和esxtop69使用esxtop实用程序69使用resxtop实用程序69在交互模式中使用esxtop或resxtop70使用批处理模式82使用重放模式83B高级属性85设置高级主机属性85设置高级虚拟机属性87索引89vSphere资源管理指南4VMware,Inc.关于本文档《vSphere资源管理指南》介绍vSphere®环境的资源管理。其重点讲述以下几大主题:n资源分配和资源管理概念n虚拟机属性和接入控制n资源池及其管理方式n群集、VMware®DistributedResourceScheduler(DRS)、VMware®DistributedPowerManagement(DPM)及其使用方法n高级资源管理选项n性能注意事项《vSphere资源管理指南》涵盖了ESX®、ESXi和vCenter®Server。目标读者本手册专供要了解系统如何管理资源以及用户如何自定义默认行为的系统管理员使用。此外,对于要了解和使用资源池、群集、DRS或VMwareDPM的用户,本手册亦是必不可少的。本手册假定您具有VMwareESX、VMwareESXi和vCenterServer的相关应用知识。文档反馈VMware欢迎您提出宝贵建议,以便改进我们的文档。如有意见,请将反馈发送到docfeedback@vmware.com。vSphere文档vSphere文档由vCenterServer和ESX/ESXi文档集组合而成。技术支持和教育资源您可以获取以下技术支持资源。有关本文档和其他文档的最新版本,请访问:http://www.vmware.com/support/pubs。在线支持和电话支持要通过在线支持提交技术支持请求、查看产品和合同信息以及注册您的产品,请访问http://www.vmware.com/support。VMware,Inc.5客户只要拥有相应的支持合同,就可以通过电话支持,尽快获得对优先级高的问题的答复。请访问http://www.vmware.com/support/phone_support.html。支持服务项目要了解VMware支持服务项目如何帮助您满足业务需求,请访问http://www.vmware.com/support/services。VMware专业服务VMware教育服务课程提供了大量实践操作环境、案例研究示例,以及用作作业参考工具的课程材料。这些课程可以通过现场指导、教室授课的方式学习,也可以通过在线直播的方式学习。关于现场试点项目及实施的最佳实践,VMware咨询服务可提供多种服务,协助您评估、计划、构建和管理虚拟环境。要了解有关教育课程、认证计划和咨询服务的信息,请访问http://www.vmware.com/services。vSphere资源管理指南6VMware,Inc.资源管理入门1要了解资源管理,必须清楚其组件、目标以及如何以最佳方式在群集设置中将其实现。将讨论虚拟机的资源分配设置(份额、预留和限制),包括如何设置它们并对其进行查看。另外,还将介绍接入控制过程,系统通过该过程对照现有资源对资源分配设置进行验证。本章讨论了以下主题:n第7页,“什么是资源管理?”n第8页,“配置资源分配设置”n第11页,“查看资源分配信息”n第13页,“接入控制”什么是资源管理?资源管理是将资源从资源提供方分配到资源用户的一个过程。对于资源管理的需求来自于资源过载(即,需求大于容量)以及需求与容量随着时间的推移而有所差异的事实。通过资源管理,可以动态重新分配资源,以便更高效地使用可用容量。资源类型资源包括CPU、内存、电源、存储器和网络资源。此上下文中的资源管理着重说明CPU和内存资源。使用VMware®分布式电源管理(DPM)功能还可以减少电源资源的消耗。注意ESX/ESXi分别使用网络流量调整和按比例分配份额机制来管理每台主机上的网络带宽和磁盘资源。资源提供方主机和群集是物理资源的提供方。对于主机,可用的资源是主机的硬件规格减去虚拟化软件所用的资源。群集是一组主机。可以使用VMware®vCenterServer创建群集,并将多个主机添加到群集。vCenterServer一起管理这些主机的资源:群集拥有所有主机的全部CPU和内存。可以针对联合负载平衡或故障切换来启用群集。有关详细信息,请参见第39页,第5章“创建DRS群集”。VMware,Inc.7资源用户虚拟机是资源用户。创建期间分配的默认资源设置适用于大多数计算机。可以在以后编辑虚拟机设置,以便基于份额分配占资源提供方的总CPU和内存的百分比,或者分配所保证的CPU和内存预留量。启动虚拟机时,服务器检查是否有足够的未预留资源可用,并仅在有足够的资源时才允许启动虚拟机。此过程称为接入控制。资源池是灵活管理资源的逻辑抽象。资源池可以分组为层次结构,用于对可用的CPU和内存资源按层次结构进行分区。相应地,资源池既可以被视为资源提供方,也可以被视为资源用户。它们向子资源池和虚拟机提供资源,但是,由于它们也消耗其父资源池和虚拟机的资源,因此它们同时也是资源用户。请参见第33页,第4章“管理资源池”。ESX/ESXi主机根据以下因素为每个虚拟机分配基础硬件资源的一部分:nESX/ESXi主机(或群集)的可用资源总量。n启动的虚拟机数目和这些虚拟机的资源使用情况。n管理虚拟化所需的开销。n由用户定义的资源限制。资源管理的目标管理资源时,应清楚自己的目标。除了解决资源过载问题,资源管理还可以帮助您实现以下目标:n性能隔离—防止虚拟机独占资源并保证服务率的可预测性。n高效使用—利用未过载的资源并在性能正常降低的情况下过载。n易于管理—控制虚拟机的相对重要性,提供灵活的动态分区并且符合绝对服务级别 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 。配置资源分配设置当可用资源容量无法满足资源用户(和虚拟化开销)的需求时,管理员可能需要对分配给虚拟机或它们所驻留的资源池的资源量进行自定义。资源分配设置(份额、预留和限制)用于确定为虚拟机提供的CPU和内存资源量。特别是,管理员有多个用于分配资源的选项。n预留主机或群集的物理资源。n确保ESX/ESXi计算机的物理内存提供一定量的虚拟机内存。n保证为特定虚拟机分配的物理资源百分比始终高于其他虚拟机。n为可以分配给虚拟机的资源量设置上限。资源分配份额份额指定虚拟机(或资源池)的相对优先级或重要性。如果某个虚拟机的资源份额是另一个虚拟机的两倍,则在这两个虚拟机争用资源时,第一个虚拟机有权消耗两倍于第二个虚拟机的资源。份额通常指定为高、正常或低,这些值将分别按4:2:1的比例指定份额值。还可以选择自定义为各虚拟机分配特定的份额值( 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示比例权重)。指定份额仅对同级虚拟机或资源池(即在资源池层次结构中具有相同父级的虚拟机或资源池)有意义。同级将根据其相对份额值共享资源,该份额值受预留和限制的约束。为虚拟机分配份额时,始终会相对于其他已启动的虚拟机来为该虚拟机指定优先级。vSphere资源管理指南8VMware,Inc.下表显示了虚拟机的默认CPU和内存份额值。对于资源池,默认的CPU份额值和内存份额值是相同的,但是必须将二者相乘,就好像是资源池是具有四个VCPU和16GB内存的虚拟机一样。表1-1。份额值设置CPU份额值内存份额值高每个虚拟CPU具有2000个份额所配置的虚拟机内存的每兆字节具有20个份额。正常每个虚拟CPU具有1000个份额所配置的虚拟机内存的每兆字节具有10个份额。低每个虚拟CPU具有500个份额所配置的虚拟机内存的每兆字节具有5个份额。例如,一台具有两个虚拟CPU和1GBRAM且CPU和内存份额设置为正常的SMP虚拟机具有2x1000=2000个CPU份额和10x1024=10240个内存份额。注意具有一个以上虚拟CPU的虚拟机称为SMP(对称多处理)虚拟机。在每个虚拟机上,ESX/ESXi最多支持八个虚拟CPU。这也称为8路SMP支持。启动新的虚拟机时,每个份额所代表的相对优先级会改变。这将影响同一资源池内的所有虚拟机。所有虚拟机都具有相同数量的VCPU。请考虑以下示例。n一台聚合CPU容量为8GHz的主机上运行着两个受CPU约束的虚拟机。它们的CPU份额设置为正常,因此各得4GHz。n现在启动了第三个受CPU约束的虚拟机。它的CPU份额设置为高,这意味着它拥有的份额值应该是设置为正常的虚拟机的两倍。新的虚拟机获得4GHz,其他两个虚拟机各自仅获得2GHz。如果用户为第三个虚拟机指定的自定义份额值为2000,也会出现相同的结果。资源分配预留预留指定保证为虚拟机分配的最少资源量。仅在有足够的未预留资源满足虚拟机的预留时,vCenterServer或ESX/ESXi才允许您启动虚拟机。即使物理服务器负载较重,服务器也会确保该资源量。预留用具体单位(兆赫兹(GHz)或兆字节(MB))表示。例如,假定您有2GHz可用,并且为VM1和VM2各指定了1GHz的预留量。现在每个虚拟机都能保证在需要时获得1GHz。但是,如果VM1只用了500MHz,则VM2可使用1.5GHz。预留默认为0。可以指定预留以保证虚拟机始终可使用最少的必要CPU或内存量。资源分配限制限制功能为可以分配到虚拟机的CPU或内存资源量指定上限。服务器分配给虚拟机的资源可大于预留,但决不可大于限制,即使系统上有尚未利用的CPU或内存也是如此。限制用具体单位(兆赫兹(GHz)或兆字节(MB))表示。CPU和内存限制默认为无限。在大多数情况下,当内存限制为无限时,创建虚拟机时为其配置的内存量会成为其有效限制。多数情况下无需指定限制。指定限制的优缺点如下:n优点—如果开始时虚拟机的数量较少,并且您想对用户期望数量的虚拟机进行管理,则分配一个限制将非常有效。但随着用户添加的虚拟机数量增加,性能将会降低。因此,您可以通过指定限制来模拟减少可用资源。n缺点—如果指定限制,可能会浪费闲置资源。系统不允许虚拟机使用的资源超过限制,即使系统未充分利用并且有闲置资源可用时也是如此。请仅在有充分理由的情况下指定限制。第1章资源管理入门VMware,Inc.9资源分配设置建议选择适合ESX/ESXi环境的资源分配设置(份额、预留和限制)。遵循以下准则有助于使虚拟机获得更好性能。n如需频繁更改总可用资源,可使用份额在虚拟机之间合理分配资源。例如,如果使用份额,并且升级主机,那么,即使每个份额代表较大的内存量或CPU量,每个虚拟机也保持相同的优先级(保持相同数量的份额)。n使用预留来指定可接受的最低CPU量或内存量,而不是想要使用的量。主机可以根据份额的数量、估计需求和虚拟机的限制将额外的资源指定为可用资源。预留表示的具体资源量不会随环境改变(例如添加或移除虚拟机)而变化。n请不要将所有资源全部指定为虚拟机的预留(请计划将至少10%的资源保留为未预留)。系统容量越接近于被全部预留,想要在不违反接入控制的情况下更改预留和资源池层次结构就越困难。在支持DRS的群集内,如果预留完全占用群集或群集内各台主机的容量,则会阻止DRS在主机之间迁移虚拟机。更改资源分配设置—示例以下示例说明了如何更改资源分配设置以提高虚拟机性能。假定在某台ESX/ESXi主机上,您创建了两台新的虚拟机—一台用于QA(VM-QA)部门,另一台用于市场(VM-Marketing)部门。图1-1。具有两个虚拟机的单台主机VM-QAESX/ESXi主机VM-Marketing在接下来的示例中,假定VM-QA占用大量内存,因此,您需要将这两个虚拟机的资源分配设置相应地更改为以下内容:n指定当系统内存过载时,VM-QA可使用的内存和CPU量是市场部虚拟机的两倍。将VM-QA的内存份额和CPU份额设置为高,并将VM-Marketing设置为正常。n保证市场部虚拟机具有一定量的CPU资源。您可以使用预留设置来达到此目的。步骤1启动vSphereClient并连接到vCenterServer。2在要更改其份额的虚拟机上,右键单击VM-QA,然后选择编辑设置。3选择资源,并在CPU面板的份额下拉菜单中选择高。4在“内存”面板的份额下拉菜单中选择高。5单击确定。6右键单击市场部虚拟机(VM-Marketing),然后选择编辑设置。7在CPU面板中,将预留字段中的值更改为所需值。8单击确定。如果选择群集的资源分配选项卡,然后单击CPU,此时应看到VM-QA的份额是另一虚拟机的两倍。另外,由于虚拟机尚未启动,因此使用的预留字段尚未改变。vSphere资源管理指南10VMware,Inc.查看资源分配信息使用vSphereClient,可以在“清单”面板中选择群集、资源池、独立主机或虚拟机,并通过单击资源分配选项卡来查看其资源的分配方式。此信息可在以后用于帮助通知您的资源管理决定。群集资源分配选项卡资源分配选项卡在从清单面板中选择群集时可用。资源分配选项卡显示有关群集中CPU和内存资源的信息。CPU区域下面显示的是有关CPU资源分配的信息:表1-2。CPU资源分配字段描述总容量保证为该对象预留的CPU分配,以兆赫兹(MHz)为单位。预留的容量此对象正在使用的预留分配的兆赫兹(MHz)数。可用容量未预留的兆赫兹(MHz)数。内存区域下面显示的是有关内存资源分配的信息:表1-3。内存资源分配字段描述总容量保证为该对象分配的内存量,以兆字节(MB)为单位。预留的容量此对象正在使用的预留分配的兆字节(MB)数。开销预留为虚拟开销预留的“预留的容量”字段的量。可用容量未预留的兆字节(MB)数。注意为VMwareHA启用的群集的根资源池预留量可能大于群集内显式使用的资源总和。这些预留量不仅反映了正在运行的虚拟机的预留量和群集内以分层方式包含的(子)资源池的预留量,还反映了支持VMwareHA故障切换所需的预留。请参见《vSphere可用性指南》。资源分配选项卡还会显示一个图表,该图表显示DRS群集内资源池和虚拟机的下列CPU或内存的使用情况信息。要查看CPU或内存信息,请分别单击CPU按钮或内存按钮。表1-4。CPU或内存使用情况信息字段描述名称对象的名称。预留-MHz保证为该对象预留的最小CPU分配,以兆赫兹(MHz)为单位。预留-MB保证为该对象预留的最小内存分配,以兆字节(MB)为单位。限制-MHz对象可以使用的最大CPU量。限制-MB对象可以使用的最大内存量。第1章资源管理入门VMware,Inc.11表1-4。CPU或内存使用情况信息(续)字段描述份额用来分配CPU或内存容量的相对衡量指标。将“低”、“正常”、“高”及“自定义”值与所属资源池中的所有虚拟机的所有份额之和进行比较。份额值基于资源和对象设置的实际值。%份额分配到该对象的群集资源百分比。最坏情况分配根据用户配置的资源分配策略(例如预留、份额和限制)分配给虚拟机的(CPU或内存)资源量,并假定群集内的所有虚拟机将会完全消耗已分配的资源。此字段的值必须通过按F5键手动更新。类型预留的CPU或内存分配类型:“可扩展的”或“固定的”。虚拟机资源分配选项卡在“清单”面板中选择虚拟机后,资源分配选项卡可用。此资源分配选项卡显示有关所选虚拟机的CPU和内存资源的信息。CPU区域这些条显示有关主机CPU使用情况的下列信息:表1-5。主机CPU字段描述已消耗虚拟机实际消耗的CPU资源量。活动在没有资源争用情况下,虚拟机消耗的资源的估计量。如果已设置明确限制,则此数值不会超过该限制。表1-6。资源设置字段描述预留保证为该虚拟机分配的最小CPU量。限制可为此虚拟机分配的最大CPU量。份额此虚拟机的CPU份额。最坏情况分配根据用户配置的资源分配策略(例如预留、份额和限制)分配给虚拟机的(CPU或内存)资源量,并假定群集内的所有虚拟机将会完全消耗已分配的资源。内存区域这些条显示有关主机内存使用情况的下列信息:表1-7。主机内存字段描述已消耗已分配给虚拟机的物理内存的实际消耗量。开销消耗用于虚拟化目的的已消耗内存量。“已消耗”中显示的量包括开销消耗。这些条显示有关客户机内存使用情况的下列信息:vSphere资源管理指南12VMware,Inc.表1-8。客户机内存字段描述专用受主机内存支持且没有共享的内存量。已共享共享的内存量。已交换通过交换回收的内存量。虚拟增长通过虚拟增长回收的内存量。未访问过客户机从未访问过的内存量。活动最近访问过的内存量。表1-9。资源设置字段描述预留保证为该虚拟机分配的内存量。限制该虚拟机的内存分配上限。份额此虚拟机的内存份额。已配置用户指定的客户机物理内存大小。最坏情况分配根据用户配置的资源分配策略(例如预留、份额和限制)分配给虚拟机的(CPU或内存)资源量,并假定群集内的所有虚拟机将会完全消耗已分配的资源。开销预留为虚拟化开销预留的内存量。接入控制启动虚拟机时,系统会检查尚未预留的CPU和内存资源量。系统将根据可用的未预留资源确定是否可保证为虚拟机所配置的预留(如果有)。此过程称为接入控制。如果有足够的未预留CPU和内存可用,或者没有预留,虚拟机将启动。否则将显示一条资源不足警告。注意除用户指定的内存预留外,各虚拟机还有一个开销内存量。此额外内存使用量包含在接入控制计算中。启用了VMwareDPM功能时,可能会将主机置于待机模式(即将其关闭)以降低功耗。这些主机所提供的未预留资源将被视为可用于接入控制的资源。如果某个虚拟机没有这些资源就无法启动,系统会建议启动足够的待机主机。第1章资源管理入门VMware,Inc.13vSphere资源管理指南14VMware,Inc.管理CPU资源2ESX/ESXi主机支持CPU虚拟化。利用CPU虚拟化时,应当了解其工作方式、不同类型以及特定于处理器的行为。此外,还需要了解CPU虚拟化的性能影响。本章讨论了以下主题:n第15页,“CPU虚拟化基本知识”n第16页,“管理CPU资源”CPU虚拟化基本知识CPU虚拟化着重于性能,只要有可能就会直接在处理器上运行。只要有可能就会使用基础物理资源,且虚拟化层仅在需要时才运行指令,使得虚拟机就像直接在物理机上运行一样。CPU虚拟化与仿真不同。采用仿真时,所有操作均由仿真器在软件中运行。软件仿真器允许程序在不同于最初编写时所针对的计算机系统上运行。仿真器通过接受相同的数据或输入并获得相同的结果,来模拟或再现原始计算机的行为,从而实现仿真。仿真提供了可移植能力,并在几个不同平台上运行针对一个平台而设计的软件。CPU资源过载时,ESX/ESXi主机将在所有虚拟机之间对物理处理器进行时间划分,以便每个虚拟机在运行时就如同具有指定数目的虚拟处理器一样。运行多个虚拟机的ESX/ESXi主机会为各虚拟机分配一定份额的物理资源。如果使用默认资源分配设置,与同一主机关联的所有虚拟机都将在每个虚拟CPU上收到相同份额的CPU。这意味着单处理器虚拟机分配到的资源只有双处理器虚拟机的一半。基于软件的CPU虚拟化采用基于软件的CPU虚拟化后,客户机应用程序代码直接在处理器上运行,同时转换客户机特权代码并在处理器上运行该代码。转换后的代码有点大,比本机版本的执行速度通常要慢。因此,具有少量特权代码组件的客户机程序的运行速度与本机程序非常接近。而具有大量特权代码组件(如系统调用、陷阱或页面表更新)的程序在虚拟环境中的运行速度可能较慢。硬件辅助的CPU虚拟化某些处理器(例如IntelVT和AMDSVM)为CPU虚拟化提供了硬件辅助。使用此辅助时,客户机可以使用独立的执行模式(称为客户机模式)。应用程序代码或特权代码等客户机代码均在客户机模式中运行。出现某些事件时,处理器退出客户机模式而进入根模式。管理程序将在根模式中执行,确定退出的原因,采取任何必需的 措施 《全国民用建筑工程设计技术措施》规划•建筑•景观全国民用建筑工程设计技术措施》规划•建筑•景观软件质量保证措施下载工地伤害及预防措施下载关于贯彻落实的具体措施 ,并在客户机模式中重新启动客户机。将硬件辅助用于虚拟化时,不需要再转换代码。因此,系统调用或陷阱密集型工作负载在运行时的速度非常接近本机速度。但是,诸如涉及更新页面表之类的一些工作负载会导致多次退出客户机模式而进入根模式。根据退出的次数和退出所用的总时间,这可能会明显降低执行的速度。VMware,Inc.15虚拟化和特定于处理器的行为尽管VMware软件会虚拟化CPU,虚拟机仍然能检测出它在其上运行的处理器的具体型号。处理器型号可能在其提供的CPU功能方面不同,在虚拟机中运行的应用程序可以利用这些功能。因此,无法使用VMotion®在具有不同功能集的处理器上运行的系统之间迁移虚拟机。在某些情况下,通过将增强型VMotion兼容性(EVC)用于支持此功能的处理器,可以避免此限制。有关详细信息,请参见《基本系统管理》。CPU虚拟化的性能影响根据工作负载和使用的虚拟化类型,CPU虚拟化会增加不同的开销量。如果应用程序的大多数时间用于执行指令而不是等待用户交互、设备输入或数据检索等外部事件,则应用程序是受CPU约束的。对于此类应用程序,CPU虚拟化开销包括必须执行的额外指令。此开销消耗应用程序本身可以使用的CPU处理时间。CPU虚拟化开销通常会导致整体性能下降。对于不受CPU约束的应用程序,CPU虚拟化可能会提高CPU利用率。如果备用CPU容量可用于吸收开销,则仍然可以在整体吞吐量方面提供不错的性能。在每个虚拟机上,ESX/ESXi最多支持八个虚拟处理器(CPU)。注意在单处理器虚拟机(而不是SMP虚拟机)上部署单线程应用程序可获得最佳的性能和资源利用率。单线程应用程序只能利用单个CPU。在双处理器虚拟机中部署这些应用程序不会加快应用程序的速度。相反,这样会使得第二个虚拟CPU使用本该由其他虚拟机以其他方式使用的物理资源。管理CPU资源可以为虚拟机配置一个或多个虚拟处理器,每个处理器均具有自己的寄存器和控制结构集合。当调度虚拟机时,会调度其虚拟处理器在物理处理器上运行。VMkernel资源管理器在物理CPU上调度虚拟CPU,从而管理虚拟机对物理CPU资源的访问。ESX/ESXi支持最多具有八个虚拟处理器的虚拟机。查看处理器信息可以通过vSphereClient或使用vSphereSDK访问有关当前CPU配置的信息。步骤1在vSphereClient中,选择主机,然后单击配置选项卡。2选择处理器。可以查看有关物理处理器数量和类型以及逻辑处理器数量的信息。注意在超线程系统中,每个硬件线程都是一个逻辑处理器。例如,启用了超线程的双核处理器具有两个内核和四个逻辑处理器。3(可选)还可以通过单击属性禁用或启用超线程。vSphere资源管理指南16VMware,Inc.指定CPU配置可以通过指定CPU配置来改进资源管理。但是,如果未自定义CPU配置,则ESX/ESXi主机会使用适合大多数情况的默认值。可以按以下方式指定CPU配置:n使用可通过vSphereClient访问的属性和特殊功能。使用vSphereClient图形用户界面(GUI)可以连接到ESX/ESXi主机或vCenterServer系统。n在某些情况下使用高级设置。n将vSphereSDK用于脚本式CPU分配。n使用超线程。多核处理器多核处理器为执行虚拟机多任务的ESX/ESXi主机提供了很多优势。Intel和AMD均已开发了将两个或两个以上处理器内核组合到单个集成电路(通常称为封装件或插槽)的处理器。VMware使用“插槽”一词来描述单个封装件,该封装件可以具有一个或多个处理器内核且每个内核具有一个或多个逻辑处理器。例如,双核处理器通过允许同时执行两个虚拟CPU,可以提供几乎是单核处理器两倍的性能。同一处理器中的内核通常配备由所有内核使用的最低级别的共享缓存,这有可能会减少访问较慢主内存的必要性。如果运行在逻辑处理器上的虚拟机正运行争用相同内存总线资源且占用大量内存的工作负载,则将物理处理器连接到主内存的共享内存总线可能会限制其逻辑处理器的性能。ESXCPU调度程序可以独立将每个处理器内核的每个逻辑处理器用于执行虚拟机,从而提供与SMP系统类似的功能。例如,2路虚拟机可以让虚拟处理器运行在属于相同内核的逻辑处理器上,或运行在不同物理内核的逻辑处理器上。ESXCPU调度程序可以检测处理器拓扑,以及处理器内核与它上面的逻辑处理器之间的关系。它使用此信息来调度虚拟机和优化性能。ESXCPU调度程序可以解释处理器拓扑(包括插槽、内核和逻辑处理器之间的关系)。调度程序使用拓扑信息优化虚拟CPU在不同插槽上的放置位置,以最大化总体的缓存利用率,并通过最小化虚拟CPU迁移来改善缓存关联性。在未过载的系统中,ESXCPU调度程序在默认情况下将负载分配到所有插槽。这样便可通过最大化可供正在运行的虚拟CPU使用的缓存总量来改善性能。因此,单个SMP虚拟机的虚拟CPU在多个插槽之间分配(除非每个插槽本身还是NUMA节点,在这种情况下,NUMA调度程序会限制虚拟机的所有虚拟CPU都驻留在同一插槽上。)但是,在某些情况下(例如,当SMP虚拟机显示出其虚拟CPU之间存在大量数据共享时),此默认行为可能不是最佳选择。对于此类工作负载,最好是调度相同插槽(具有最低级别的共享缓存)上的所有虚拟CPU,即使ESX/ESXi主机未过载也是如此。在这些情况中,通过将以下配置选项包括在虚拟机的.vmx配置文件中,可以替代在封装件之间分配虚拟CPU的默认行为:sched.cpu.vsmpConsolidate="TRUE"。超线程超线程技术允许单个物理处理器内核像两个逻辑处理器一样工作。处理器可以同时运行两个独立的应用程序。为了避免将逻辑处理器和物理处理器混淆,Intel将物理处理器称为插槽,本章的讨论也使用这一术语。IntelCorporation开发了超线程技术来增强PentiumIV和Xeon处理器系列的性能。超线程技术允许单个处理器内核同时执行两个独立的线程。第2章管理CPU资源VMware,Inc.17虽然超线程不会使系统的性能加倍,但是它可以通过更好地利用空闲资源来提高性能,使得某些重要的工作负载类型产生更大的吞吐量。如果应用程序运行在忙碌内核的一个逻辑处理器上,则与单独运行在非超线程处理器上相比,预期获得的吞吐量会稍高于一半。超线程性能改进情况与应用程序有很大关系,有些应用程序使用超线程可能会出现性能下降的情况,因为两个逻辑处理器之间会共享许多处理器资源(例如缓存)。注意在具有Intel超线程技术的处理器上,每个内核可以具有两个逻辑处理器,这两个逻辑处理器共享大多数内核资源(如内存缓存和功能单元)。此类逻辑处理器通常称为线程。许多处理器都不支持超线程,因此每个内核仅具有一个线程。对于此类处理器,内核数目还与逻辑处理器的数目相匹配。以下处理器支持超线程,并且每个内核具有两个线程。n基于IntelXeon5500处理器微架构的处理器。nIntelPentium4(支持HT)nIntelPentiumEE840(支持HT)超线程和ESX/ESXi主机支持超线程的ESX/ESXi主机应具有与没有超线程的主机类似的行为。但是,如果启用超线程,则可能需要考虑某些因素。ESX/ESXi主机以智能方式管理处理器时间,保证负载均匀分布在系统的多个处理器内核上。相同内核上的逻辑处理器具有连续的CPU编号,因此CPU0和1一起在第一个内核上,而CPU2和3在第二个内核上,依此类推。优先在两个不同的内核上调度虚拟机,然后才选择在同一内核的两个逻辑处理器上调度虚拟机。如果逻辑处理器没有工作,则将其置于暂停状况,从而释放其执行资源并允许在同一内核的另一个逻辑处理器上运行的虚拟机使用该内核的全部执行资源。VMware调度程序会正确地考虑此暂停时间,因此使用全部内核资源运行的虚拟机的效率要高于在半个内核上运行的虚拟机。按这种方法管理处理器可确保服务器不会违反任何标准的ESX/ESXi资源分配规则。在使用超线程的主机上启用CPU关联性之前,请考虑资源管理需求。例如,如果将高优先级虚拟机绑定到CPU0,并将另一个高优先级虚拟机绑定到CPU1,则这两个虚拟机必须共享相同的物理内核。这种情况下,可能无法满足这些虚拟机的资源需求。请确保所有的自定义关联性设置对超线程系统都有意义。启用超线程要启用超线程,必须首先在系统的BIOS设置中将其启用,然后在vSphereClient中打开它。超线程在默认情况下处于启用状态。部分Intel处理器(如Xeon5500处理器或基于P4微架构的处理器)支持超线程。请查阅系统文档,确定您的CPU是否支持超线程。ESX/ESXi无法在具有32个以上物理内核的系统上启用超线程,因为ESX/ESXi的逻辑限制是64个CPU。步骤1请确保您的系统支持超线程技术。2在系统BIOS中启用超线程。有些制造商将该选项标记为逻辑处理器,而有些制造商则称之为启用超线程。3确保为ESX/ESXi主机打开了超线程。a在vSphereClient中,选择主机,然后单击配置选项卡。b选择处理器并单击属性。c在该对话框中,可以查看超线程状态,还可以开启(默认)或关闭超线程。现在,超线程处于启用状态。vSphere资源管理指南18VMware,Inc.为虚拟机设置超线程共享选项可以指定虚拟机的虚拟CPU如何在超线程系统上共享物理内核。如果两个虚拟CPU同时在内核的逻辑CPU上运行,则这两个虚拟CPU共享内核。可以为各个虚拟机设置此选项。步骤1在vSphereClient“清单”面板中,右键单击虚拟机并选择编辑设置。2单击资源选项卡,然后单击高级CPU。3从模式下拉菜单选择此虚拟机的超线程模式。超线程内核共享选项可以使用vSphereClient为虚拟机设置超线程内核共享模式。此模式提供以下选项。表2-1。超线程内核共享模式选项描述任意超线程系统上所有虚拟机的默认值。具有该设置的虚拟机的虚拟CPU可与该虚拟机或任何其他虚拟机的其他虚拟CPU随时共享内核。无虚拟机的虚拟CPU不应彼此共享内核,或不应与其他虚拟机的虚拟CPU共享内核。即,该虚拟机的每个虚拟CPU本身始终应获得完整的内核,而该内核上的另一个逻辑CPU则置于暂停状况。内部该选项类似于“无”。该虚拟机的虚拟CPU不能与其他虚拟机的虚拟CPU共享内核。这些虚拟CPU可以与同一虚拟机的其他虚拟CPU共享内核。只能为SMP虚拟机选择此选项。如果应用于单处理器虚拟机,则系统会将该选项更改为“无”。这些选项不会影响公平性或CPU时间分配。无论虚拟机的超线程设置如何,它仍然会得到与CPU份额成比例的CPU时间,且会受到CPU预留和CPU限制值的约束。对于典型的工作负载,自定义超线程设置并非必要设置。对于与超线程交互不良的非常见工作负载,该选项很有用。例如,具有缓存颠簸问题的应用程序可能会让共享其物理内核的应用程序降低速度。可以将运行该应用程序的虚拟机置于“无”或“内部”超线程状态,以将其与其他虚拟机隔离开。如果虚拟CPU具有超线程限制,不允许该虚拟CPU与其他虚拟CPU共享内核,那么,当其他虚拟CPU有资格消耗处理器时间时,系统可能取消对该虚拟CPU的调度。如果没有超线程限制,则可以在同一内核上调度这两个虚拟CPU。对于(每个虚拟机)内核数有限的系统,问题会变得更糟。这些情况下,可能没有内核来让取消调度的虚拟机进行迁移。因此,超线程设置为“无”或“内部”的虚拟机性能可能会降低,这一点对于内核数有限的系统而言尤其明显。隔离在某些极少数情况下,ESX/ESXi主机可能会检测到应用程序正在与PentiumIV超线程技术(不适用于基于IntelXeon5500处理器微架构的系统)进行不良交互。在这种情况下,对用户透明的隔离可能是必要的。例如,对于与问题代码共享一个内核的应用程序,某些类型的自修改代码可能中断PentiumIV跟踪缓存的正常行为,导致速度显著降低(最多90%)。在这些情况下,ESX/ESXi主机隔离运行该代码的虚拟CPU,并将其虚拟机相应地置于“无”或“内部”模式。将主机的“Cpu.MachineClearThreshold”高级设置配置为“0”可禁用隔离。第2章管理CPU资源VMware,Inc.19使用CPU关联性通过为每个虚拟机指定CPU关联性设置,可以仅将虚拟机只分配给多处理器系统中的某个可用处理器子集。通过使用此功能,可以将每个虚拟机分配到指定关联性集合中的处理器。在这个上下文中,术语“CPU”指的是超线程系统上的逻辑处理器,而不是非超线程系统上的内核。某个虚拟机的CPU关联性设置不仅应用到与该虚拟机关联的所有虚拟CPU,还会应用到与该虚拟机关联的所有其他线程(也称为“环境”)。这些虚拟机线程执行仿真鼠标、键盘、屏幕、CD-ROM和其他老设备所需的处理。在某些情况下(例如,占用大量显示资源的工作负载),可能会在虚拟CPU和其他虚拟机线程之间出现大量通信。如果虚拟机的关联性设置阻止这些额外的线程同时由虚拟机的虚拟CPU调度(例如,单处理器虚拟机与单个CPU关联,或2路SMP虚拟机仅与两个CPU关联),则性能可能会降低。为了获得最佳性能,在使用手动关联性设置时,VMware建议在关联性设置中至少包括一个额外的物理CPU,以允许至少有虚拟机的一个线程与其虚拟CPU同时调度(例如,单处理器虚拟机至少与两个CPU关联,或2路SMP虚拟机至少与三个CPU关联)。注意CPU关联性指定虚拟机到处理器的放置位置的限制,与基于DRS规则的关联性不同,基于DRS规则的关联性指定虚拟机到虚拟机主机的放置位置的限制。向特定处理器分配虚拟机使用CPU关联性,可以向特定处理器分配虚拟机。通过此操作,可以将虚拟机只分配给多处理器系统中特定的可用处理器。步骤1在vSphereClient“清单”面板中,选择一个虚拟机并选择编辑设置。2选择资源选项卡,然后选择高级CPU。3单击在处理器上运行按钮。4选择要在骑上运行虚拟机的处理器,然后单击确定。CPU关联性的潜在问题使用CPU关联性之前,可能需要考虑某些问题。CPU关联性的潜在问题包括:n对于多处理器系统,ESX/ESXi系统执行自动负载平衡。避免手动指定虚拟机关联性,以改进调度程序跨处理器平衡负载的能力。n关联性可能会干扰ESX/ESXi主机满足为虚拟机指定的预留和份额的能力。n因为CPU接入控制不考虑关联性,所以具有手动关联性设置的虚拟机可能不会始终得到其完整的预留量。没有手动关联性设置的虚拟机不会受到具有手动关联性设置的虚拟机的负面影响。n将虚拟机从一个主机移动到另一个主机时,因为新的主机可能具有不同的处理器数,所以关联性可能不再适用。nNUMA调度程序可能无法管理已经借助于关联性分配到某些处理器的虚拟机。n关联性可能会影响ESX/ESXi主机在多核或超线程处理器上调度虚拟机以充分利用在这些处理器上共享资源的能力。vSphere资源管理指南20VMware,Inc.CPU电源管理要改进CPU电源效率,可以将ESX/ESXi主机配置为根据工作负载需求来动态切换CPU频率。这种类型的电源管理称为动态电压和频率缩放(DVFS)。它使用VMkernel通过ACPI接口使用的处理器性能状况(P-状况)。ESX/ESXi支持增强型IntelSpeedStep和增强型AMDPowerNow!CPU电源管理技术。为了让VMkernel利用这些技术所提供的电源管理功能,可能需要首先在BIOS中启用电源管理(有时称为“基于需求的切换”(DBS))。要设置CPU电源管理策略,请使用高级主机属性Power.CpuPolicy。此属性设置保存在主机配置中,可以在引导时再次使用,您可以随时更改它,而无需重新引导服务器。可以将此属性设置为以下值。静态默认值。VMkernel可以检测到主机上可用的电源管理功能,但不主动使用它们,除非BIOS由于电源上限或热事件提出了请求。动态VMkernel优化每个CPU的频率以满足需求,从而提高电源效率,但不影响性能。当CPU需求增加时,此策略设置可确保CPU频率同样增加。第2章管理CPU资源VMware,Inc.21vSphere资源管理指南22VMware,Inc.管理内存资源3所有现代的操作系统均提供对虚拟内存的支持,并允许软件使用的内存要多于计算机实际拥有的内存。同样,ESX/ESXi管理程序提供对过载虚拟机内存的支持,所有为虚拟机配置的客户机内存量可能大于物理主机内存量。如果要使用内存虚拟化,则应当了解ESX/ESXi主机分配、消耗和回收内存的方式。此外,还需要了解虚拟机引起的内存开销。本章讨论了以下主题:n第23页,“内存虚拟化基本知识”n第26页,“管理内存资源”内存虚拟化基本知识在管理内存资源之前,应当了解ESX/ESXi是如何虚拟化和使用这些内存资源的。VMkernel管理所有的计算机内存。(一种例外情况是在ESX中分配给服务控制台的内存。)VMkernel会将这种受管计算机内存的一部分拿来自己使用。剩余的内存可供虚拟机使用。虚拟机将计算机内存用于两个用途:每个虚拟机均需要有自己的内存,且VMM需要一些内存和动态开销内存用于其代码和数据。虚拟内存空间划分为块,每个块通常为4KB,块也称为页。物理内存也划分为块,每个块通常也是4KB。当物理内存占满时,不在物理内存中的虚拟页的数据将存储到磁盘上。ESX/ESXi还提供对大页(2MB)的支持。请参见第86页,“高级内存属性”。虚拟机内存每个虚拟机均会根据其配置大小消耗内存,还会消耗额外开销内存以用于虚拟化。配置大小配置大小是一种由虚拟机的虚拟化层来维持的构造。它是提供给客户机操作系统的内存量,但独立于分配给虚拟机的物理RAM量,这取决于下文所述的资源设置(份额、预留和限制)。VMware,Inc.23例如,请考虑配置大小为1GB的虚拟机。当客户机操作系统引导时,系统会检测到它正运行在具有1GB物理内存的专用计算机上。分配给虚拟机的物理主机内存的实际数量取决于其内存资源设置和ESX/ESXi主机的内存争用情况。有些情况下,可能向虚拟机分配全部内容(即1GB)。在其他情况下,可能会得到较小的分配量。无论实际分配如何,客户机操作系统都会继续运行,就好像正运行在具有1GB物理内存的专用计算机上一样。份额如果可用量超过预留,则会为虚拟机指定相对优先级。预留主机保证为虚拟机预留的物理内存量下限,即使内存过载也是如此。将预留设置为确保虚拟机高效运行的足够内存水平,这样就不会有过多的内存分页。在虚拟机访问了其全部预留后,会允许其保留该内存量,并且不会将其回收,即使该虚拟机闲置也是如此。例如,某些客户机操作系统(例如Linux)在引导之后可能不会立即访问所配置的全部内存。在虚拟机访问其全部预留之前,VMkernel可以将其预留的任何未使用部分分配给其他虚拟机。但是,在客户机的工作负载增加并消耗其全部预留之后,允许其保留此内存。限制主机可分配给虚拟机的物理内存量的上限。虚拟机的内存分配还受其配置大小的隐式限制。开销内存包括为虚拟机框架缓冲区和各种虚拟化数据结构预留的空间。内存过载对于每个正在运行的虚拟机,系统会为虚拟机的预留(如果有)和虚拟化开销预留物理内存。由于ESX/ESXi主机使用内存管理技术,因此虚拟机可以使用的内存大于物理机(主机)可用的内存。例如,您有一个内存为2GB的主机,其上运行四个虚拟机,每个虚拟机的内存为1GB。这种情况下,内存会过载。过载有一定的意义,因为通常情况下有些虚拟机负载较轻,而有些虚拟机负载较重,相对活动水平会随着时间的推移而有所差异。为了改善内存利用率,ESX/ESXi主机将闲置虚拟机的内存转移给需要更多内存的虚拟机。使用“预留”或“份额”参数可优先向重要的虚拟机分配内存。如果这部分内存未使用,可以用于其他虚拟机。内存共享许多工作负载存在跨虚拟机共享内存的机会。例如,几个虚拟机可能正在运行同一客户机操作系统的多个实例,加载了相同的应用程序或组件,或包含公用数据。ESX/ESXi系统使用专用的分页共享技术安全地消除了内存页的冗余副本。采用内存共享,由多个虚拟机组成的工作负载消耗的内存通常要少于其在物理机上运行时所需的内存。因此,系统可以高效地支持更高级别的过载。内存共享保存的内存量取决于工作负载特性。许多几乎相同的虚拟机的工作负载可能释放30%以上的内存,而有较大差异的工作负载可以节省的内存少于5%。基于软件的内存虚拟化ESX/ESXi通过添加附加级别的地址转换来虚拟化客户机物理内存。n每个虚拟机的VMM保持了从客户机操作系统的物理内存页到基础计算机上物理内存页的映射。(VMware将基础主机物理页称为“计算机”页,将客户机操作系统的物理页称为“物理”页。)每个虚拟机均有连续的可寻址物理内存空间,该空间从零开始。每个虚拟机使用的服务器上的基础计算机内存不一定是连续的。nVMM侦听对客户机操作系统内存管理结构进行操作的虚拟机指令,以便虚拟机不会直接更新处理器上的实际内存管理单元(MMU)。nESX/ESXi主机将虚拟-计算机页映射保持在卷影页表中,该表与VMM所维护的物理-计算机映射保持同步。n卷影页表由处理器的分页硬件直接使用。vSphere资源管理指南24VMware,Inc.这种地址转换方法允许在设置卷影页表之后,执行虚拟机中的正常内存访问,而不会增加地址转换开销。因为处理器上的转换旁视缓冲区(TLB)缓存从卷影页表中读取的直接虚拟-计算机映射,所以VMM访问内存时不会增加额外开销。性能注意事项使用两个页表具有以下性能影响。n对于常规客户机内存访问不会产生开销。n在虚拟机中映射内存需要额外时间,这可能意味着:n虚拟机操作系统正在设置或更新虚拟地址到物理地址的映射。n虚拟机操作系统从一个地址空间切换到另一个地址空间(上下文切换)。n与CPU虚拟化相似,内存虚拟化开销取决于工作负载。硬件辅助的内存虚拟化类似于AMDSVM-V和IntelXeon5500系列之类的部分CPU通过使用两层页表来提供对内存虚拟化的硬件支持。第一层页表存储客户机虚拟-物理转换,而第二层页表存储客户机物理-计算机转换。TLB(translationlook-asidebuffer,转换旁视缓冲区)是由处理器的内存管理单元(MMU)硬件维护的转换缓存。TLB缺失是此缓存中的缺失,而且硬件需要访问内存(可能是多次)来查找所需转换。如果TLB中没有某个客户机虚拟地址,则硬件会查看这两个页表,将客户机虚拟地址转换成主机物理地址。图3-1中的插图说明了ESX/ESXi如何实施内存虚拟化。图3-1。ESX/ESXi内存映射虚拟机1客户机虚拟内存客户机物理内存计算机内存abaabbcbcbbc虚拟机2n方框表示页,而箭头表示不同的内存映射。n从客户机虚拟内存到客户机物理内存的箭头表示客户机操作系统中的页表所保持的映射。(未显示x86架构处理器从虚拟内存到线性内存的映射。)n从客户机物理内存到计算机内存的箭头表示由VMM保持的映射。n虚线箭头表示从客户机虚拟内存到计算机内存的映射,该映射也由VMM保持。运行虚拟机的基础处理器使用卷影页表映射。因为虚拟化引入了额外级别的内存映射,所以ESX/ESXi可以跨所有的虚拟机管理内存。虚拟机的一些物理内存可能映射到共享页面或未映射或换出的页面。ESX/ESXi主机执行虚拟内存管理时无需了解客户机操作系统,也不会干涉客户机操作系统自身的内存管理子系统。性能注意事项使用硬件辅助时,会消除软件内存虚拟化的开销。特别是,硬件辅助消除了使卷影页表与客户机页表保持同步所需的开销。但是,使用硬件辅助时TLB缺失滞后时间明显较长。因此,工作负载是否受益于硬件辅助主要取决于在使用软件内存虚拟化时由内存虚拟化引起的开销。如果工作负载涉及少量页表活动(例如进程创建、映射内存或上下文切换),则软件虚拟化不会引起显著开销。相反,具有大量页表活动的工作负载可能会因使用硬件辅助而受益。第3章管理内存资源VMware,Inc.25管理内存资源使用vSphereClient,可以查看有关内存分配设置的信息并对其进行更改。为了有效管理内存资源,还必须熟悉内存开销、闲置内存消耗以及ESX/ESXi主机回收内存的方式。当管理内存资源时,可以指定内存分配。如果未自定义内存分配,则ESX/ESXi主机使用适合大多数情况的默认值。可以通过几种方式指定内存分配。n使用可通过vSphereClient访问的属性和特殊功能。使用vSphereClientGUI可以连接到ESX/ESXi主机或vCenterServer系统。n使用高级设置。n将vSphereSDK用于脚本式内存分配
本文档为【vSphere 资源管理指南】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
佳乐
资深物流管理师从事采购、供应链、物流管理多年。
格式:pdf
大小:1MB
软件:PDF阅读器
页数:0
分类:互联网
上传时间:2019-05-31
浏览量:3