OpenStack_-_Kylin_Cloud：OpenStack在天河二号的大规模部署实践汇总

谭郁松国防科学技术大学计算机学院2015.1大纲天河二号的云计算需求OpenStack在天河二号上的部署与优化应用情况社区贡献1/9/20151天河二号概况目标定位满足高性能计算、高吞吐率信息服务和海量数据处理等多领域复杂应用需求1/9/20152天河二号概况异构多态的体系结构 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 与实现一期系统16000个节点双路12核E5Xeon，64GB内存定制的内部高速互联(160Gbps)总存储容量12.4PB连续四次位居国际Top500榜首3天河二号的云计算需求将广州超算中心作为支撑智慧城市建设的公共基础设施平台服务于电子政务建设、企业资源租赁、海量信息处理等信息化建设发展的多个方面与传统科学计算完全不同的应用模式业务多样：网站、数据交换平台、信息管理系统、渲染、OA、备份、CRM…软件平台多样：Linux/Windows,Oracle/MySQL/SQLServer,Apache/Tomcat/Nigix,Weblogic…资源规模弹性伸缩：重大事件/重要时间节点的突发访问可靠性、可用性与安全性要求高1/9/20154大纲天河二号的云计算需求OpenStack在天河二号上的部署与优化应用情况社区贡献1/9/20155系统部署与优化软件组成Icehousev0.80.4v2.7.11KylinCloudV2BasedonOpenStackServer12.04.2LTS1/9/20156系统部署与优化高可用性能弹性1/9/20157系统部署与优化概况在6400个节点上部署了麒麟云平台，共50个机柜。其中256个控制节点（2个机柜），其余节点为计算节点，每个机柜为一个cell。网络架构存储架构云平台的控制服务和虚拟机服务构建在以太网上所有节点形成一个全局的分布式存储池，使用时可以按需划分指定两个柜的控制节点在同一个VLAN中，提高可用性和容量的区域供不同用途使用服务持续性存储构建在高速网上，提高存储速度每个计算柜为一个VLAN，提高稳定性和隔离性提供全局块存储，用作虚拟机镜像、逻辑卷和运行实例的存储后端一块网卡用作管理网络，一块网卡用作业务网络，可以使用NI作为业务网络系统部署与优化虚拟机类型和规格提供Redhat、Ubuntu、CentOS、Windows等多个系列、不同版本的虚拟机镜像，满足用户需求虚拟机规格可从1vCPU/512M到24vCPU/60GB存储能力分布式存储：总存储裸容量6.4PB（6400个云节点，每个节点1TB），基于天河高速以太网构建，用于虚拟机镜像、虚拟硬盘的存储IP-SAN存储：总存储裸容量1PB，三套SATA盘阵，一套SAS盘阵，通过万兆以太网连接至核心交换机，千兆连接到每个节点，用于集中的文件存储或备份系统部署与优化系统参数优化MySQL数据库集群Rabbitmq负载均衡调整数据库、消息队列的参数阈值KVM参数优化HostOS的虚存优化Nova、Neutron等关键服务的参数优化高可用支持对各类控制服务、MySQL、RabbitMQ等支撑服务进行负载均衡和高可用设计，采用当前成熟的高可用 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，防止单点故障的发生虚拟机高可用：以16个物理节点为单位构建高可用区域，通过监控物理节点和虚拟机的状态，在状态发生异常时及时启动新的虚拟机支撑应用的运行大纲天河二号的云计算需求OpenStack在天河二号上的部署与优化应用情况电子政务类应用渲染类应用对HPC应用的支持社区贡献1/9/201511应用情况-对HPC类应用的支持目的将云计算的优势引入到传统的高性能计算领域，使用目前成熟的容器技术为用户提供可定制、隔离性强、可弹性伸缩、界面友好的HPC集群。主要需求接近物理机的性能充分利用天河节点的加速部件和高速网拉通HPC软件栈，实现全系统资源统一管理更好的资源共享与隔离可定制的软件环境满足弹性的资源使用需求在一定配额下用户自助申请资源1/9/201512应用情况-对HPC类应用的支持主要措施与优化使用基于容器的轻量级虚拟化LXC整合HPC软件栈直接访问MIC加速器和高速网等特殊设备面向HPC的LXC配置参数优化内存/网络/IO缺省独占每个物理节点全系统计算资源的混合调度根据Image属性判断Host1/9/201513应用情况-对HPC类应用的支持火箭发动机内流场湍流燃烧流动100个节点，2400个CPU核CPU性能折损在1%以内基于图论的基因配对研究CPU/MIC异构并行万级计算核心1/9/201514应用情况-电子政务类应用目的基于天河二号主机系统的硬件资源，与广州市电子政务中心及相关企事业合作，为各类电子政务应用提供弹性计算、存储和网络资源以及安全、可靠的服务平台。主要需求迁移已有多种系统和平台软件：Redhat/CentOS,Oracle/WebLogic/其他第三方公司开发的软件已有虚级化平台上系统的应用迁移需要支持丰富的应用软件物理/逻辑隔离服务的稳定性、持续性应对突发访问与其他服务提供商之间的容灾备份1/9/201515应用情况-电子政务类应用主要措施与优化P2V、V2V镜像转换负载感知的虚拟机规模自动伸缩网站类和信息系统类应用虚拟机高可用机制，保证业务持续性基于Ceph的软件动态加载策略基于CephRBD卷的虚拟机和虚拟卷备份每周一次全备，每天一次增备OpenStack@ARM已完成基本适配，Xen@ARM的验证1/9/201516应用情况-电子政务类应用广州市电子政务中心广州市电子政务的资源提供商广东省省级教育中心全省的基础教育库的服务平台2015年内上线14个系统，400个虚拟机广州市萝岗区电子政务广州电子政务中心数据交换平台为开发区政府机关提供资源服务，为企业提供孵化器支持已适配上线OA、容灾、云盘等多个系统全国中职管理信息系统1/9/201517应用情况-渲染类应用目的面向各文化科技公司和工作室的业务需求，基于天河二号为动漫渲染的复杂场景和特效提供强大的计算能力支撑，构建动漫渲染云，完成高质量的渲染任务和高分辨率的真实感渲染，缩短场景的渲染周期，提高动漫作品的制作效率。主要需求单个虚拟机性能要求高，一般为12核48G针对渲染任务集群的网络优化，提供高带宽、低延迟的网络传输渲染开始、结束时有大量的文件读写操作，需要对磁盘IO进行优化满足渲染中数据存取频繁的要求广东奥飞动漫文化股份有限公司弹性的资源扩充机制，满足不同渲染任务对计算能力的不同需求广泛的平台支持，支持多种渲染平台和软件1/9/201518应用情况-渲染类应用主要措施与优化限制渲染集群的规模，减轻共享读写带来的IO瓶颈开启KSM，降低内存消耗根据实际效果调整内存超售比例调整物理机的openfilelimit在渲染过程中有大量的（小）文件读写优化虚拟机的网络参数，提高带宽1/9/201519应用情况-渲染类应用华强文化科技集团已进入其生产线50多个渲染集群，约3000个虚拟机凡拓数码科技Render_Server渲染指令已进入其生产线数据读取结果写回虚拟机需求约800台渲染调度创意云Render1Render2Render3RenderN...已提供互联网渲染服务虚拟机需求1000台红鹏科技GPU支持的渲染Share_ReadShare_Write稳定使用30个节点典型渲染集群结构1/9/201520大纲天河二号的云计算需求OpenStack在天河二号上的部署与优化应用情况社区贡献1/9/201521OpenStack社区贡献积极参与OpenStack社区并贡献代码Juno版本核心组件贡献数排名国内第二团队Commit数社区排名huawei13310KylinCloud4022EasyStack3624*数据来源：http://stackalytics.com/1/9/201522Wearetheone!OpenStack25SummitHK2013251/9/201527