首页 数据中心集成与运维服务方案建议书

数据中心集成与运维服务方案建议书

举报
开通vip

数据中心集成与运维服务方案建议书数据中心集成与运维服务方案建议书 目录1. 数据中心集成与运维服务 41.1 服务业务发展 51.2 服务组织结构 61.2.1 运维管理部 71.2.2 技术研发部 81.2.3 采购部 81.2.4 客服部 81.2.5 人事部 91.3 技术支持中心 91.3.1 集成服务流程 101.3.2 运维服务流程 112. 实施前沟通和规划 112.1 实施机房环境勘察表 112.2 实施IT环境调查表 142.3 项目实施规划方案 152.3.1 需求分析与建设目标 152.3.2 PC服务器虚拟化三期改造方案 ...

数据中心集成与运维服务方案建议书
数据中心集成与运维服务 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 建议书 目录1. 数据中心集成与运维服务 41.1 服务业务发展 51.2 服务组织结构 61.2.1 运维管理部 71.2.2 技术研发部 81.2.3 采购部 81.2.4 客服部 81.2.5 人事部 91.3 技术支持中心 91.3.1 集成服务流程 101.3.2 运维服务流程 112. 实施前沟通和规划 112.1 实施机房环境勘察表 112.2 实施IT环境调查表 142.3 项目实施规划方案 152.3.1 需求分析与建设目标 152.3.2 PC服务器虚拟化三期改造方案 162.3.3 虚拟化数据中心及存储 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 方案性能分析 162.3.4 服务器虚拟化部分设计方案 192.3.5 核心应用数据同步方案 212.3.6 统一存储部分设计方案 222.3.7 各区县连接设计方案 232.3.8 视频堡垒机 272.3.9 项目实施方案 282.3.10 数据及系统迁移方案 312.3.11 项目联调及验收方案 312.3.12 系统测试方案 322.3.13 系统验收方案 332.3.14 系统实施应急方案 332.4 质量保证计划 352.5 项目运营整体质量保证 353. 项目实施工作说明书 363.1 项目范围 363.1.1 实施范围 363.1.2 实施主体 363.1.3 实施地点 363.1.4 工作时间 373.1.5 实施业务范围分解 373.2 实施服务范围 383.2.1 项目管理 383.2.2 系统管理 383.2.3 培训服务 393.3 项目计划和交付项 403.3.1 项目总体计划 403.3.2 实施阶段划分 13.3.3 各实施阶段的主要交付项 23.3.4 职责分配 43.3.5 阶段完成 53.3.6 项目完成 53.4 项目组织和条款 53.4.1 双方组织架构 53.4.2 甲方项目组织与职责 63.4.3 乙方项目组织与职责 73.5 项目变更控制流程 73.5.1 提出变更 83.5.2 接收方的响应 83.5.3 申请方的认可 83.5.4 变更实施 93.5.5 变更程序流程 94. 项目集成(实施)计划 94.1 01.项目组成员表 94.2 01.项目组织架构 94.3 02.策划任务书 94.4 03.WBS表 104.5 04.进度计划 114.6 08.状态报告 115. 专业培训支持 155.1 现场培训 155.2 专业认证培训 166. 系统持续支持 151.数据中心集成与运维服务公司作为xx地区最早的IT企业,为xx省信息化的发展做了大量的工作。随着虚拟化及私有云应用市场从概念阶段迈向快速增长的成长阶段,公司聚焦在虚拟化及私有云业务,致力于成为国内领先的虚拟化及私有云解决方案和服务提供商,帮助成长性企业带来真正业务价值。公司的核心业务团队在云计算,数据中心,虚拟化,存储,安全优化业务有超过5年以上的行业经验,积累了大量的云数据中心和传统数据中心的典型客户和应用案例。公司能够提供的服务包括:评估和规划方案咨询;实施服务,包括存储、容灾、备份归档、整合等系统的实施与集成;维保服务;增值服务,包括机房搬迁、设备租赁等;培训服务,包括数据规划、应用、安全有关的知识培训。公司由客户支持专家组成的全24小时运营网络,我们利用我们的远程支持技术及现场故障排查提供无缝的支持。用户可以选择适合您公司需要的支持级别。江计公司提供了让信息为您效力所需的支持服务。客户服务计划(ASP)规定了江计公司和客户双方的角色和职责。公司服务专家与客户一起协商制定客户专属的服务计划内容,以保证公司支持服务与客户IT目标一致。400客户服务热线7*24小时随时为客户就系统运行过程中遇到的软硬件问题进行支持。在提供任何的现场服务之前,我公司服务工程师可以通过远程支持服务工具对客户进行远程诊断,或通过其他方式如邮件,传真等为客户解决问题提供帮助。公司设有备件库,以最快的速度满足客户由于硬件损坏需要及时更换备件的需要,公司会根据当地具体项目的不同情况,可随时为客户提供必要的备件备机服务。为了更好更快的服务客户,公司会通过专业的服务团队,快速派遣离客户最近的服务人员去进行现场备件更换及相关工程工作,以使客户系统尽快恢复正常。我们具有: EMCASN服务合作伙伴,为客户提供专业的EMC实施服务 EMC极速联盟白金级别合作伙伴,为客户提供正规专业的产品支持 有超过20个专业数据中心各类型工程师 工程师具有很强的多平台操作能力和故障处理能力 工程师平均有超过5年以上的技术支持经验。 管理团队平均有8年以上的工作经验,并熟知ITIL管理体系。 在区域有超过100个以上的服务客户1.1服务业务发展IT运维服务作为公司的主营业务,公司通过不懈努力,秉承“专注、专业、简单、快乐”的核心宗旨,在充分理解客户业务规程的基础上,致力于深入挖掘客户需求,通过在区域市场内输出虚拟化数据中心和私有云建设和服务经验、构建全方位的客户服务体系,力求为不同行业的客户,量身打造全面、高效、专业、贴心的数据中心虚拟化及私有云运维服务。公司通过三十多年的不懈努力与发展,逐步建立了完善的、专业化的运维服务体系,服务业绩遍及政府、金融、医疗、教育及企业等行业,成为行业内客户最值得信任的合作伙伴。公司的运维服务体系随着信息技术的发展,经历了主机时代、小型机时代、PC服务器时代、网络\分布式计算时代,在2013年,随着虚拟化及云计算技术进入成熟阶段,结合公司在云计算运维服务的技术及业务积累,公司将发展战略聚焦于中型客户数据中心运维业务,通过服务产品化大力拓展政府、金融、医疗、教育和企业的数据中心虚拟化及私有云运维业务。目前公司专业服务团队有员工近20人,服务团队管理人员及技术人员拥有各类管理及技术认证,包含IT服务项目经理认证,ITIL认证,VMware虚拟化认证,EMC认证、IBM认证,华为认证,ORACLE认证,CISCO认证,Redhat认证等主流厂商的专业认证。公司随着服务业务的发展,对流程的标准化、规范化提出了更多的要求。为此,公司逐步建立完善的运维 管理制度 档案管理制度下载食品安全管理制度下载三类维修管理制度下载财务管理制度免费下载安全设施管理制度下载 ,IT运维完全按照制度运作,这样能够尽量减少人员变化对部门的影响。公司自建立各项管理体系以来,各部门基本都能按照公司制定的管理体系要求开展各项工作,产品质量和信息安全服务质量基本保持稳定,顾客较为满意,没有发生重大投诉;质量方针和目标充分适宜,运行以来质量目标的实施结果基本满足策划要求,体系运行基本符合标准和QMS文件要求。公司在2015年针对运维服务如何进行规范化、科学化、专业化的问题,引入ITSS管理体系,建立完善的运行维护服务体系,规范服务产品,提升服务能力。完善运行维护服务的认证和监管体系,帮助服务行业形成长效机制,推动运行维护服务产业发展。公司十分重视标准化运维体系的建设:以持续提升客户满意度为最终目标,在2015年7月开始根据ITSS体系中的GB/T28827.1《信息技术服务运维维护第一部分通用要求》国家标准的要求,建立专业化的ITSS运维服务能力管理体系,全面规范和标准化公司的运维服务,分别在四要素方面进行建设,以整体提高公司的IT运维服务能力,打造用户信赖的服务品牌。公司积极利用工具提升IT运维服务的效率和质量。展望公司的未来,数据中心运维服务业务作为公司的核心业务发展方向。公司高度重视并明确运维业务的发展战略。我公司会继续根据ITSS体系中的GB/T28827.1《信息技术服务运维维护第一部分通用要求》以及相关其他国家标准的要求,从“人员、过程、技术、资源”四方面不断的建设和提升公司IT运维服务能力,全面推动ITSS体系中的GB/T28827.1《信息技术服务运维维护第一部分通用要求》体系在我公司的进一步落地实施,实现对运维业务的制度化、规范化及标准化管理,从而进一步推动公司“做专做强IT服务,深化转型”发展战略的达成。1.2服务组织结构公司根据业务发展,总经理下设:运营部、技术部及营销部。在运营部下设:人事、行政、商务、采购、财务等部门。在技术部下设:系统集成部、运维管理部、售前方案部、技术研发部等部门。在营销部下设:销售部、市场部、产品部和客服部等部门。其中与公司运维相关的部门为运维管理部、技术研发部、客服部、人事部、商务部和采购部。运维管理部负责客户故障报修的受理、故障等工作。运营部负责备件备品备件的管理及服务内审等工作。技术研发部确保公司软件开发,应用软件及新产品研发和测试等工作。技术部负责运维质量体系管理工作。公司组织架构图如下:1.2.1运维管理部运维管理部是公司为客户提供运维业务的主体。运维管理部负责签约客户数据中心的运维管理工作,保障客户数据中心安全、稳定的运行。运维管理部根据客户服务需求及业务发展情况制定 工作计划 幼儿园家访工作计划关于小学学校工作计划班级工作计划中职财务部门工作计划下载关于学校后勤工作计划 ,依据与客户签署的运维服务 合同 劳动合同范本免费下载装修合同范本免费下载租赁合同免费下载房屋买卖合同下载劳务合同范本下载 为客户提供运维管理服务,服务过程中按照公司制定的运行维护流程进行工作的执行与管理。负责服务数据的统计和分析。负责对运维业务进行质量控制,对客服部提供的客户满意度调查结果进行分析和处理。负责客户投诉的具体处理过程。定期编写总结报告,持续改进完善维护服务能力和质量。运维管理部设立服务台,服务台从根本上来说是提供了用户和服务部门的唯一接口。此项功能常通过集中方式提供服务。服务台的根本目的是针对客户的服务请求提供初始支持,并通过变通方法、解决方案支持等手段帮助用户恢复到正常工作状态。主要工作负责监控事件的处理过程;对每个处理事件进行客户回访;接收和处理客户投诉,重要的客户投诉信息及时反馈给相关部门处理;负责服务数据的统计,并报送给相关部门。运维管理部负责知识库的管理。根据运维业务的需要规划进行知识管理规划、持续建设和分享等工作,为运维业务提供支撑。负责网络维保服务,包括:网络产品快速维护服务,备件更换、网络故障处理服务、网络产品巡检服务、网络性能分析与优化服务。负责主机维保服务,包括:服务器巡检服务、服务搬迁服务、服务器故障处理服务。负责存储维保服务,包括:存储巡检服务、存储软件升级服务、存储硬件故障更换服务、存储搬迁服务。负责虚拟化维保服务,包括:虚拟化平台首次巡检服务、虚拟化平台日常巡检服务、虚拟化平台统故障处理服务。负责数据库维保服务,包括:现场技术支持服务、数据库巡检服务、数据库故障处理服务。负责操作系统运维服务,包括:操作系统日常巡检服务、操作系统故障处理服务。负责初级技能要求服务,包括:PC或笔记本电脑安装系统、基本网络排障(消费级)、办公室日常IT运维支持。1.2.2技术研发部技术研发部与运维业务相关的主要职责为运维相关工具的研发和运维平台的维护工作。根据运维管事部的发展需求,在对其运维相关工具进行需求调研基础上,制定相关软件开发方案,组织部门人员进行软件开发工作。结合具体的运维过程,对软件开发过程及成果的适用性和有效性进行检查,对存在的问题进行总结分析,制定相应的改进计划并监督落实。1.2.3采购部采购部与运维业务相关的主要职责为备件的采购和管理。采购部备品备件的采购需按照年度采购计划进行采购,如在使用过程中有需求变化需要填写零星采购申请单进行单独采购备品备件管理人员负责备品备件的采购、入库验收登记、保管与保养、发放与流转等具体事宜1.2.4客服部客服部与运维业务相关的主要职责为服务质量及客户满意度的管理。客服部配合运维管理部建立内部审核评估机制,组织策划制定管理、审核、改进计划,通过内部审核检查服务能力的适应性和有效性,建立年度满意度评估、监控计划,组织公司级用户满意度调查 并对结果进行统计分析。制定管理评审计划并组织实施管理评审,根据评审结果提出改进方案并监督落实。同时,监督运维业务部门的服务能力改进实施过程,并进行总结。客服部负责对每个处理事件进行客户回访和满意度调查,重要的客户不满意信息及时反馈给相关部门处理。1.2.5人事部人事部与运维业务相关的主要职责为人力资源工作的规划、招聘、培训、激励、考核等工作。人事部负责运维业岗位编制规划,协助运维管理部有效的开发和利用人力,满足运维业务需要。牵头编写运维岗位的职位说明书。负责运维人员招聘和用工合同的签订。负责制定运维部门的培训计划和培训大纲,并实施。负责拟定运维部门薪酬制度和方案,建立行之有效的激励和约束机制。负责制定绩效考核管理,并对运维部门绩效评价过程进行监督和控制。1.3技术支持中心公司技术支持实行以南京为中心,覆盖全省的技术支持体系。在南京配置3~4常驻工程师,其他各区域分别配置1~2名常驻工程师,另外针对重点客户配置1名客户服务经理;技术支持中心开通统一接受服务请求专线,和对外统一接受服务请求邮箱:1.3.1集成服务流程1.3.2运维服务流程2.实施前沟通和规划2.1实施机房环境勘察表 项目编号 项目名称 表单编号   用户单位 实施单位 江苏省计算机技术服务有限公司 日期 序号 环境项 参考值 是否满足 备注 1 工作时间 非工作时间需要在机房安装部署 □满足   □不满足 2 机柜数量 42U标准机柜,且配件(托盘、螺丝)齐全 □满足□不满足   3 机柜电源 每台机柜需提供双路供电,共需要配备2个国标4位3孔10APDU(或2个不少于4位C1310APDU) □满足□不满足 4 设备存放位置 指定固定安全区域用于存放采购设备 □满足□不满足   5 空间尺寸 机柜前后有大于1米的活动空间 □满足   □不满足 6 温湿度 符合《电子信息系统机房设计规范》B级要求 □满足   □不满足 7 地板表面 防静电材料、防尘封材料 □满足   □不满足 8 楼层高度 ≥2.4m □满足   □不满足 9 墙壁和天花板 防静电材料、防尘封材料、阻燃材料、吸音和隔音材料 □满足   □不满足 10 窗户 为防止阳光对设备损害,应加以窗帘防尘和防止盐类与有害气体的腐蚀 □满足□不满足   11 网络交换机 至少提供16个千兆网络接口 □满足□不满足 勘察结论 意见:用户单位代表签字:        日期:     意见:实施单位代表签字:        日期:    电力及机柜承重 机柜号 设备名称 额定功率(W) 实际功率(W) 重量(KG) 额定总功率(W) 实际总功率(W) 重量合计(KG) 要求 光纤交换机1 110 60 18 1065 620 77 每台机柜需提供双路供电,共需要配备2个国标4位3孔10APDU(或2个不少于4位C1310APDU) 光纤交换机2 110 60 18 存储控制器 845 500 41 总计 1065 620 综上所述,本项目共需要2套42U标准机柜,每台机柜需提供双路供电,共需要配备2个国标8位3孔10APDU(或2个不少于8位C1310APDU),2个4位C19-C20PDU,8个机柜托盘,4包机柜螺丝。 勘察结论 意见:用户单位代表签字:        日期:     意见:实施单位代表签字:        日期:    2.2实施IT环境调查表2.3项目实施规划方案2.3.1需求分析与建设目标IT现状介绍及需求分析根据前期的沟通、交流,以及用户所提供的设备信息、应用系统信息,我公司专业工程师充分借鉴我们在国内外大型企业和政府企业数据中心的建设经验,并在此基础上予以提高,将我们接触到的产品和技术的最新发展,以及在项目方案设计中积累的最新经验运用到本次项目的方案设计中。经过一期的虚拟化改造工程,已经将原有40多台物理服务器全部淘汰,将原有所有应用转移到现有的3台IBM机架式服务器上运行,目前现有环境中运行了近60个虚拟机,核心应用约10个,包括所有常用和不常用的所有应用;经过统计,CPU使用约10%左右,内存使用约45-50%左右。二期项目中,扬州地税将原有的7台IBMX3650M3服务器利旧使用,扩容其CPU、内存和网络资源,并扩容原有EMCVNX5500存储,部署vmwareview虚拟桌面,供一分局大厅办税,和办公业务系统使用,替换原有使用年限很长的普通PC。2.3.2PC服务器虚拟化三期改造方案整体结构拓扑图2.3.3虚拟化数据中心及存储设计方案性能分析总体规划设计1、现有3台IBMX3850X5服务器,每台服务器配置4颗8核CPU,256G内存,两块300GSAS硬盘;7台利旧IBMX3650M3服务器,配置2颗6核CPU,112G内存,2块300GSAS硬盘;一台VNX5500存储,配置3个扩展磁盘柜;2台博科B300光纤交换机,16口授权。2、三期项目中我们增加2台相同配置的IBMX3850X5服务器,将原有的计算池扩容。每台服务器配置2块万兆网卡和2块HBA卡。3、原有存储VNX5500扩容一个磁盘柜,增加25块600G10K转企业级磁盘的同时,增加一台VNX5400存储,配置5颗100GBSSD磁盘,用作二级缓存扩展,配置45颗600G、10000转原厂SAS硬盘,配置15块2TBNL_SAS磁盘。4、两台存储同时配置mirror-view功能,可以实现两台存储数据的实时同步功能,本次项目中,我们在两台存储中各拿出2TB空间做数据实时同步,将核心应用放在这2TB空间中后,另外一台存储会实时同步一份数据,加上原有vdp的数据备份,和三期的VDP备份,核心应用的数据将达到4份,最大限度保证应用数据的安全性。5、配置vmwareVDP备份软件,将重要数据全部备份到SATA磁盘中,避免因为人为或病毒原因导致的数据的误删除或破坏导致的数据丢失问题。6、配置5块SSD磁盘,做为新配VNX5400存储的二级缓存盘,将热门数据存放一份到缓存盘中,利用SSD强大的读写能力,加快前端应用读写时的性能。7.扬州各区县所有应用全部汇总到新建的扬州市局机房,市局机房和各区县采用百兆链路互联,各区县应用所需的硬件资源全部集中由三期供应设备互相调配,极大的降低了整体硬件投资。存储系统性能分析由于在常规虚拟化平台中,存储系统I/O会是一个非常严重的瓶颈,而在本次规划设计中,预计会有120台虚拟应用系统运行在该平台之中,通常一台虚拟机操作系统每秒钟对磁盘的I/O要求大约为10个,每个并发连接客户连接在满负荷操作的情况下会产生3~8个I/O;因此,在满负荷情况下,约有1000人次并发同时访问应用系统时大概会产生120*10+8*1000=9200IOPS;本次项目中我们采用VNX5400和VNX5500组建存储池,两者共同承担和各区县所有应用的读写需求,一台存储一级缓存命中率大约为20-25%左右,本次项目中的两台EMC存储的内存大约能命中40-50%的IOPS请求,考虑极端情况,则有最高5520的IOPS需要由本地磁盘和二级缓存提供;我们同样配置了SSD盘做为二级缓存盘,根据二级缓存盘和实际数据盘对比,由EMC存储统一调配热数据,大约能命中15%-20%的IOPS读写请求,考虑极端情况,则有5520IOPS*85%=4692IOPS的读写请求需要落在普通磁盘上;本次项目中我们配置了VNX5400和原有VNX5500共有85块600GSAS磁盘,22块2TBNL_SAS磁盘,考虑到热备盘和校验盘,大约有80块SAS磁盘和20块NL_SAS磁盘提供IOPS供上层读写,共能提供80*180+20*70=15800IOPS,远远大于目前所需求的IOPS,所以在目前情况下,存储的读写需求不会成为我们虚拟化系统的瓶颈,随着应用的发展和数量的增多,在未来的3-5年内,也能满足应用的需求。网络系统性能分析三期项目汇集了市局和下辖各区县大约120个应用,一个应用满载所占带宽大概是500Mb/s左右,120个应用所需带宽大概是60Gb。本次项目中,我们给每台服务器配置2块万兆网卡,5台服务器共10块万兆网口,共提供100G网络带宽,完全满足所有应用系统的高速相应。即使所有应用同时达到满载(实际情况中一般不会出现),网络性能完全不会成为瓶颈。应用系统、数据的安全1、通过计算池,存储池,网络池的虚拟化,通过虚拟化软件VMwareVsphere的HA和VMotion功能实现应用的高可用,即使一台物理服务器出现故障,故障服务器中的应用也会在2分钟内在别的物理服务器上启动起来。当执行主动迁移时,一个应用大概会在15秒内迁移完成,全部120个应用一起迁移,万兆网卡支持8个迁移并发,总迁移时间不会超过5分钟,考虑人为操作时间,总迁移时间不超过15分钟;并且迁移过程中应用不会断线,用户几乎不会感觉到服务器的迁移过程。2、在数据安全方面,我们在VNX5400和VNX5500上各取出2TB空间,分别在对端设置一块镜像盘,将核心应用数据迁移到这2TB空间中,EMC提供mirror-view功能,可以实时将源端数据复制一份到镜像端,即使一个存储出现故障,可以保证在半小时左右将核心应用恢复使用。3.本次项目中我们配置VMwareVDP备份软件,将所有应用系统备份到VDP软件中,即使原有应用系统全部删除,也能恢复出整个虚拟机。2.3.4服务器虚拟化部分设计方案物理连接架构图方案说明:(以一台服务器为模板)1.物理服务器配置2块万兆网卡,通过光纤线分别连接两台核心交换机,核心交换机端口配置Trunk口,通过虚拟化底层的虚拟交换机配置端口组分别定义不同的vlan。2.物理服务器配置2块HBA卡,分别连接两台博科光纤交换机,形成冗余链路,即使一条链路故障,另一条链路也可以保证应用稳定运行。方案构成说明该部分主要介绍涉及到的硬件、软件与专业服务的情况:硬件部分:在现有3台IBMX3650X5服务器的基础上,扩容2台IBMX3650服务器,增加硬件计算资源池。考虑到虚拟化平台的vmotion功能,扩容的2台机架式服务器,我们采用和原来服务器完全一样的配置,本次改造工程我们服务器配置如下:4*IntelXeonProcessorXeonE7-8837/256G内存/2*146G硬盘/ServerRaid阵列卡,支持raid1/集成双千兆网卡/2*万兆网卡/2*HBA卡/冗余电源软件部分:主要配置以“6+2”方式体现,其中“6”指的是6套VMware虚拟架构套件企业版(VMwarevSphere5Enterpriseplus)使用授权;“1”指的是1套VMwarevCenterManagementServer使用授权。软件说明:VMwareVSPHERE套件按照CPU数量计算lisence,一个lisence管理1个CPU;按照2台X3850X5计算,每台X3850X5是4颗CPU,需要采购8套VMwareVsphere虚拟化套件。2.3.5核心应用数据同步方案5.1.1、物理结构拓扑图方案,如图所示:如图所示5.1.2、方案说明1.将原有VNX5500存储扩容并拿出2个2TB空间出来,和新购VNX5400存储的2个2TB空间互为对方的镜像卷,VNX5500的核心数据卷会将数据实时同步到新购的VNX5400卷中,反过来,VNX5400的核心卷也会将数据实时同步到VNX5500中。因此,核心数据在两台存储中都将有一份拷贝,并且数据是实时同步的,即使一台存储出现故障,也可以最快速度切换到另一台存储中,将核心应用启动,继续对外服务。2.其余非核心应用将采用vmwarevdp备份的方式,每天进行一次数据备份。2.3.6统一存储部分设计方案物理结构拓扑图 SSD 4块_raid1 热备盘1块 SAS 8块_raid5 8块_raid5 9块_raid5 9块_raid5 10块_raid5 1块热备盘 NL_SAS 7块_raid5 7块_raid5 1块热备盘方案说明如图所示:为保证安全,每种类型磁盘我们都配置一块热备盘,虽然损失了一块磁盘的空间,但是换来了更大的安全性;根据EMC最佳实践,raid5的方式配置磁盘是最经济实用的,并且一个raid组最多不超过10块盘,不然性能反而会下降,根据计算,我们采用7-10块盘一组进行分配raid组,保证性能的同时,最大的节省了磁盘空间。2.3.7各区县连接设计方案逻辑拓扑图方案说明市局机房和下辖各区县采用百兆带宽连接,并且都处于同一内网环境,市局机房和下辖各区县机房都是可以互相通信;我们以江都机房为例:在一期项目实施时,我们截取了市局机房到江都机房带宽使用量的截图,如下图所示分析:·红色字部分是最近300秒内每秒发送的数据量,换算公式是:{(X/8)/1024/1024}*8实际使用带宽分别为2.66;6.588;2.57;5.23;1.65;2.51单位为MB以上数据都是在实际工作时间测量得到·绿色数字部分是曾经发生的最高带宽使用发生时间接收数据:2014-02-2809:47:20带宽占用142.9M发送数据:2014-02-2509:30:34带宽占用505M这两个时间点正好是从扬州往江都迁移物理机时发生的数据传输·目前的所有应用(共32个),全部放在江都的机房,扬州和江都之间通过1GB的链路互联,根据对链路在工作时间的高峰期的统计实际使用的带宽平均为3.53MB·江都约有20个左右应用,并且并发连接数没有扬州高,预计所需的带宽约为扬州的二分之一左右。目前扬州和江都的带宽为100M,满足实际使用所需综上所述,下辖各区县应用全部集中到市局机房时,目前的百兆带宽完全满足实际使用时的带宽需求,网络上不存在瓶颈。权限管理设计方案说明我们以江都地税为例,三期改造工程实时完毕后,我们会给江都地税分配一个资源池,分配适当的CPU,内存等资源,并且会给江都地税IT技术人员建立自己的管理员账户,将江都地税资源池授权给其管理人员,如图所示:·对于管理方面,Vmware中可以设置权限,比如在上图中,Horizonsuit这个资源池就分配了两个管理员,其中root是最高权限的管理员,JECLAB.COM\liuzhen是分配的这个资源池的管理员,并且只能管理这个资源池,可以对自己的资源拥有完全的控制权。·当扬州和江都的应用在虚拟化平台中合并后,会分别建立两个管理账户,扬州和江都的管理账户具有平等的权利,分别管理自己的应用。当用江都的用户登录时,可以看到江都所有的应用虚拟机和自己扩容的存储空间,但是无法看到扬州的应用,反之,扬州的账户也是如此。·江都的账户可以在自己的资源范围拥有管理员权限,可以任意修改和增加(可根据需要禁用删除的权限)。只有在江都的账户需要使用到扬州的资源时,需要跟申请,获得批准后才可以使用。·其他县市合并过来后,也是如此,分别拥有自己的账户,可以各自管理自己的资源,但是无法看到别人的资源。当自己的资源不足,需要使用另外的资源时,需要跟扬州申请获得。数据备份方案方案说明我们采用vmwarevdp备份软件,使用SATA盘建立备份空间,建立备份策略,将需要备份的虚拟机添加到备份策略中,每天执行备份,将整个虚拟机连同内部所有数据全部备份到备份空间中当有需要时,可以通过备份软件还原的操作,将数据还原出来全局重复数据消除企业数据的冗余程度极高,在同一系统内和不同系统之间存储着许多完全相同的文件或数据(例如,发送给多个接收者的操作系统文件或文档)。编辑的文件也存在与以前版本相同的大量冗余数据。传统的备份软件一次次地重复存储所有这些冗余数据,因此进一步增加了冗余。vdp利用获得专利的全局重复数据消除技术和单实例存储技术,消除了文件和子文件数据段级别的冗余。在源位置全局消除冗余数据在备份操作期间,Vdp是在源位置解决备份数据冗余问题的,然后才跨LAN或WAN传输数据。将Vdp备份代理部署在需要保护的系统(如服务器、台式机和笔记本电脑)上,可识别并过滤掉单个系统内和多个系统之间的文件中随时间推移而重复存储的数据段。这可确保每个具有唯一性的数据段仅在整个企业内备份一次。因此,拷贝或编辑的文件、共享的应用程序、嵌入的附件,甚至每天都在变化的数据库,都只会产生少量的增量备份数据。通过仅移动新的、具有唯一性的子文件数据段,Vdp可将每日所需的网络带宽和存储量减少到1/500。通过在全局范围内只存储每个子文件数据段的单个实例,Vdp还可将总体后端磁盘存储量降低到1/50,从而实现经济高效的基于磁盘的长期恢复。可变长度数据段与固定长度数据段确定数据段大小的方法是在数据段(或子文件)级别消除冗余数据的关键因素。快照或复制技术通常采用固定块或固定长度数据段。遗憾的是,即便对数据集只进行很小的改动(例如,在文件开头插入数据),尽管这样做对数据集的实际改动其实是极小的,但也会改变数据集中的所有固定长度数据段。Vdp使用智能的方法来确定数据段的大小,这种方法通过观察数据本身来确定逻辑边界点,从而消除了低效现象。2.3.8视频堡垒机原理概述视频审计运维操作堡垒机采用旁路方式部署,如下图所示:全球眼视频频审计运维操作堡垒机部署示意图如图所示,视频审计运维操作堡垒机在部署时只需要为其分配一个独立IP地址即可,无需对网络拓扑结构进行任何调整。用户在维护操作区,使用IE或TerminalServiceClient等工具登录至堡垒机,再由堡垒机上发起对目标服务器访问。任何经过堡垒机的操作都被记录。审计人员可以方便直观地访问堡垒机的记录。部署运维堡垒机访后,内部服务器的维护端口只需开放给运维堡垒机,无需再让运维人员直接访问。对运维人员,只需开放运维堡垒机的访问端口,从而进一步加强内部服务器的安全性。10.2参数设置(1)ip地址设置根据用户现场提供的ip地址,设置堡垒机的ip地址;(2)密码设置堡垒机有两类用户:企业的IT运维人员和企业的IT审计管理员运维堡垒机提供了两个相对独立的系统供两类用户使用:(a)运维人员使用的系统称为“运维操作堡垒”,该系统是个方便的工作平台,运维人员就可以开始利用运维堡垒机,方便地对全企业的IT设备进行配置、维护的操作,“运维操作堡垒”预先收集了企业内大部分常用IT设备的登录口令、登录工具,并分类展示。“运维操作堡垒”仅是一中预装的客户端;用户在实际使用中,可以新装各类客户端工具。(b)企业的IT审计管理员使用的系统称为“操作检索与回放系统”。成功部署好运维堡垒机后,审计管理员就可以开始利用运维堡垒机记录或者回放运维人员的历史和当前的会话了,对运维人员的行为进行审计。这部分包含基本的使用指南。10.3使用(1)企业的IT运维人员请使用浏览器,访问以下的URL和port,连接“运维操作堡垒”http://server-ip/tsweb其中:server-ip是部署运维堡垒机时分配给堡垒机IP地址。(2)企业的IT审计管理员请使用浏览器,访问以下的URL和port,连接“操作检索与回放系统”http://server-ip:4884/MegaEye其中:server-ip是部署运维堡垒机时分配给堡垒机IP地址。一个浏览器窗口会打开,提示你登录,如图1.1登录。默认的用户名:admin;默认的口令:admin。2.3.9项目实施方案项目实施的重点和难点 本项目我公司推荐采用数据容灾备份整体架构方案,该方案已经在全国范围内有了众多的案例,但针对本次项目的安装实施,仍然需要有针对性的着重注意一下几点:1、网络的联调:已有的核心网络实时都在正常运行,各应用系统24小时不停机,在实施过程中必须能够保证对网络的影响在可控制的范围内;2、性能的调优:虚拟化环境和传统环境有巨大区别,必须根据应用系统情况针对计算资源、网络资源、存储资源进行调优,同时要优化安全配置策略,最大限度的使资源用在应用系统上;3、应用系统的迁移:此次平台搭建完成后,下辖各区县绝大部分应用系统都加入到此平台上来,在所有应用系统迁移过程中,存在有风险,在实施过程中必须规避风险,切实做到对应用系统影响最小;为了确保整个项目实施的顺利进行,同时重点解决这些问题,在整个项目实施过程中,我们提供优秀的、认真负责的工程师,所有实施工程师拥有原厂认证,同时针对生产系统的所有操作都要有回退空间,出现任何意外都可以及时回退原来的状态,所有的配置和数据做好备份。到货及实施前准备场地检查时间:签定购买合同前后均可进行人员:用户同我公司工程师共同进行文件:项目实施勘察表主要内容:卸货场地检查: 是否满足货车停靠及装卸设备作业;搬运通路检查: 检查台阶门槛并同用户协商处理办法,电梯及其载量,沿途所有门的高度及宽度,拐弯处的空间等;机房场地检查: 按《设备场地及环境要求》执行,确定安装位置到主机的距离,以便符合购买合同配备的电缆。物料及其他准备局域网管理IP地址: 存储系统 4个;服务器IP 4个;虚拟化 9个;备份软件 2个;相关配置网络连接线缆: 网络连接线缆若干;机柜电源: 机柜电源要求32A220V标准机柜PBU电源。项目 机柜空间 电源接口存储系统 6U 2个服务器 8U 4个项目实施人员组织配置 人员 联系方式 职务 王威 13913000605 项目经理 刘亮亮 18652098642 vmware实施工程师 刘浈 18662618170 EMC实施工程师 吴建文 13921587190 实施工程师项目实施进度安排表 任务 估计工作日 参与人员 第一天 设备收货、验货、上架 8小时 我公司工程师,用户工程师 第二天 设备加电,存储系统初始化、IBM服务器初始化配置、网络交换设备初始化工作 8小时 我公司工程师,用户工程师 第三天 虚拟化部署,安装虚拟化ESX服务器、VCenter服务器 3小时 我公司工程师,用户工程师 虚拟化服务器的高可用集群配置,虚拟网络配置 5小时 我公司工程师,用户工程师 第四天 存储设备的配置和连接 8小时 我公司工程师,用户工程师 第五天 网络设备配置和调试、虚拟化服务器的安装和配置 8小时 我公司工程师,用户工程师 第六天~第七天 数据及应用系统的迁移 16小时 我公司工程师,用户工程师 Mirrorview及备份软件的联调和配置 16小时 我公司工程师,用户工程师 第八天~第九天 Mirrorview及备份软件的调试和测试 16小时 我公司工程师,用户工程师2.3.10数据及系统迁移方案P2V的迁移由于目前大部分应用系统都正在运行在PC服务器上,目前已经有较多的用户实时连接在应用系统上,因此为了提高应用系统迁移过程成功率,同时最大限度的减少对前端用户的影响,需要采用VMware提供的P2V迁移工具:1VMware提供在线热迁移工具,直接在原服务器上安装迁移工具,通过该工具,完全在线完成迁移工作,只需要在切换时将原主机关机,将用户请求转移到虚拟化平台中来;2VMware同时还提供了冷迁移工具,我们可以通过VMware提供的系统启动光盘,引导系统启动迁移工具,通过网络将操作系统及应用程序软件及数据迁移至虚拟化平台中;32位应用程序的迁移虚拟化环境构建起来以后,形成的虚拟资源池拥有相对隔离性,在同一个平台上,32位的虚拟操作系统和64位的虚拟操作系统能够同时运行,因而所有的虚拟操作系统均可以根据P2V迁移方式实现数据迁移,迁移过程和时间与应用系统数据量有关。跨平台的迁移当前部分应用系统的核心数据库均运行于独立物理机,采用双机集群方式运行,而我们建议采用优化的X86平台刀片服务器运行,这部分数据的迁移需要跟应用程序提供商工程师进行充分沟通,提供一整套迁移、测试、规划方案从而确保数据的高可靠性和业务的连续性;对于此种环境,我们建议采用数据库的导入导出方式进行迁移。1 规划迁移及停机时间;2 搭建测试环境,进行预迁移测试,采用虚拟化环境搭建一套x86数据库RAC环境,将数据从原库导出,新库导入,在虚拟化环境中搭建中间件和应用程序服务器,进行广泛的应用系统测试;3 测试完成后,确保万无一失,进行数据迁移;4 数据库工程师、应用系统工程师对原有数据库进行导出,建议导出2~3份,确保完整可靠,导入新的数据库环境;5 对中间件和应用系统进行测试,确保可用。6对中间件和应用系统进行分布式搭建,并部署负载均衡,提供高性能的访问界面。2.3.11项目联调及验收方案项目应用系统联调前准备所有软件、硬件均完成调试、工作正常时,将环境提供给应用程序厂商用于部署应用环境,并配合进行项目整体联调工作。完全部署完成,建议联合应用程序厂商工程师、用户工程师、我公司工程师共同进行项目验收工作,预计时间一~两天。项目联调进度安排表 第一天 培训针对用户工程师、应用系统厂商工程师进行环境使用培训,配合完成应用系统部署工作包括存储系统调整、服务器配置调整、虚拟化配置调整、容灾备份配置调整 8小时 我公司工程师,用户工程师 第二天 配合部署应用程序与应用程序厂商工程师进行沟通,配合部署应用程序 8小时 我公司工程师,用户工程师项目验收方案在整个项目结束后,用户需协调我公司工程师、应用程序厂商工程师、用户运维支撑工程师进行整个项目的验收,预计时间一~两天。 设备运行状态 方法 结果 是否通过 登陆所有设备,在管理界面上针对所有部件检查运行状态 逐一登陆 状态ok 服务器高可用性测试 模拟服务器故障 应用系统正常运行 存储系统高可用性测试 模拟存储系统故障 应用系统正常运行 数据备份及恢复测试方案 执行恢复测试检查应用系统是否能够恢复正常,并且确保数据不丢失 应用系统恢复 存储容灾备份测试方案 模拟应用软件虚拟机故障,检查是否能够保证应用系统的连续性 应用正常,负载压力分摊 2.3.12系统测试方案江苏省计算机技术服务有限公司将依据双方签字同意的详细设计方案,制定并提交测试方案,确认项目实施过程中需进行的所有测试任务、测试步骤和测试标准。具体工作如下:·定义测试内容;·确认测试方法;·定义测试标准;·确认测试任务的基本人员需求;·定义错误跟踪和报告程序;·提交测试计划;系统测试系统测试验收由云计算平台信息中心负责组织,云计算平台信息中心和江苏省计算机技术服务有限公司共同参加。测试验收内容包括:Table1.网络连通性测试Table2.网络安全设备的测试Table3.服务器及存储测试Table4.服务器负载均衡测试Table5.备份系统测试2.3.13系统验收方案系统验收应履行正式手续,成立专门的项目验收委员会,负责组织、监督和裁决整个系统的验收过程。依据合同的有关规定,对江苏省计算机技术服务有限公司提供的系统按照如下的步骤实施验收:a.提出系统验收申请;b.制定系统验收计划;c.成立项目验收委员会;d.进行系统验收测试;e.形成系统验收报告;f.产品移交。验收开始之前需成立一个验收小组,由云计算平台信息中心技术及业务负责人担任小组领导。验收小组成员包括:云计算平台信息中心及江苏省计算机技术服务有限公司人员。文档的验收系统集成商在整个工程的实施过程中必须向用户提交项目的整个文档,分别为:技术文件类文档、安装计划类文档、配置类文档、测试类文档、验收类文档。2.3.14系统实施应急方案江苏省计算机技术服务有限公司针对此次云计算平台数据中心机房建设项目制定了详尽的设计、实施方案,能够保证项目实施的顺利进行。但是,在大型信息系统建设过程中,意外情况将难以完全避免。下面,我们将对项目实施的突发风险进行详细分析,并且针对各类突发事件,设计了相应的预防与解决措施,同时提供了完整的应急处理流程。应急流程系统实施应急处理流程风险分析与预防措施针对工程实施中可能遇到的各种各样的风险,江苏省计算机技术服务有限公司总结多年系统集成经验,针对一些可能出现的情况,制定了一系列预防处理措施,举例如下: 事件 预防措施 处理 货箱清点,缺箱、少箱 与设备供货商协调; 核查货物到货过程; 场地不符合施工条件,如电源、线路等 核实未实施节点场地情况 协调客户更换现场;申请延期,填写延期报告单,报工程指挥组及项目单位备案。 安装调试时,与原系统发生IP地址冲突 设计规划时应该对现场情况有详细、深入的了解 用临时IP地址或脱机配置;填写问题报告单报工程指挥组和技术支持组。 安装调试时,接口不匹配 设计规划时应该对现场情况有详细、深入的了解 在现场当地采购相应转换接口;填写问题报告单报工程指挥组和技术支持组。2.4质量保证计划2.5项目运营整体质量保证团队协调项目的实施进度和实施质量,以及后续的系统维护等各个环节都十分关键。因此,必须保证项目的按期、保质完成,同时必须具有一定的灵活性,能够在紧迫的时间压力下,最大限度地在时间、质量和实施范围上取得各方满意的平衡。为保证项目的顺利进行,项目组将充分发挥团队精神,在项目的实施全过程中积极配合,认真完成预定的各项任务。制度化管理江苏省计算机技术服务有限公司的ISO9001质量保证体系经历了建立、培训、考核、内审、管理评审等阶段,通过了认证机构的审核,取得ISO9001质量体系认证证书。江苏省计算机技术服务有限公司以国际化标准的ISO9001质量保证体系为准则,结合项目管理与系统集成工程,已形成应用过程管理&ISO9001一体化管理体系,以制度化、规范化的管理为项目按期保质地达成提供了完善的保障。设立三阶段过程管理工作模式事前进行任务分析(目的是明确其中的关键技术与业务问题,当场确定解决方案),制定实施计划并设定验收标准。事中进行质量及进度检查,发现问题马上纠正解决,保证错误不扩散。事后按照设定的验收标准进行验收。制定计划、跟踪和报告的方法集成项目计划的目的是为完成项目的工程和管理而制订的合理的计划。该计划提供完成和管理项目活动的基础,并按照集成项目的资源、约束和能力,阐述对集成项目建设双方的约定。集成项目跟踪和监控的目的是建立对实际进展的适当的可视性,使项目经理或者是更上层领导能在集成项目进程明显偏离计划时采取有效措施。集成项目跟踪和监控包括对照已文档化的估计、约定、计划评审和跟踪工程完成情况和结果,当实际结果超过《项目计划》变更的阀值时,基于实际的完成情况和结果调整《项目计划》。项目启动阶段的已文档化的《项目计划》用作跟踪工程活动、传送状态和变更计划的基础。项目经理监控工程活动,主要通过在所选出的集成工作完成时和在所选择的里程碑处,将实际的工程规模、工作量、成本和时间表与计划相比较,来确定进展情况,当确定未实现项目计划时,项目经理分析实际与计划之间产生差距的原因,并将采取纠正措施,项目经理对于自己不能处理的问题向上一级领导汇总,以获取上层的支持。项目经理主要是以《周状态报告》的方式来跟踪项目的进度,通过两种状态报告的分发和上报来向项目组成员以及上层领导汇报项目的进展情况。3.项目实施工作说明书3.1项目范围3.1.1实施范围乙方为甲方提供:1、机房环境(包括电源[正常工作需求功率11500W]、空调、线路、机柜[最少三个42U机柜])2、所有硬件设备从物流到现场开始到设备上架加电请甲方提供对应的人员支持(主要包括设备搬运到指定楼层机房及拆箱上架等工作)3、所有软硬件规划要求[网络规划、硬件空间规划]4、现有应用迁移切换需对应软件商现场协助(乙方及软件商负责协助应用及数据迁移,软件商负责应用验证。)3.1.2实施主体本次项目实施服务的主体为:服务器虚拟化、网络虚拟化、存储虚拟化、虚拟化安全、核心数据库双机及同步、备份系统、核心交换与安全防护3.1.3实施地点本项目实施地点位于甲方的指定机房(由甲方指定):机房用于安装、初始化设备及办公室用于各系统调试。乙方顾问将在上述地点开展实施管理工作。如项目需要,在其他地点工作的甲方员工,需根据项目要求到上述项目实施地点配合项目实施工作。如果项目需要乙方顾问到上述实施地点之外的其他地点开展实施工作,甲方需要承担乙方顾问与此相关的差旅及食宿费用,差旅和食宿费用标准按照乙方公司的差旅标准或双方商定的差旅标准执行。3.1.4工作时间本项目的正常工作时间为周一至周五的上午9:00-下午18:00,法定节假日正常休息。特殊情况下,如夜间数据拷贝或应用切换可按照实际情况酌情调整工作时间。3.1.5实施业务范围分解 序号 类别 范围 备注 1 存储系统 2套EMCVNX5600存储上架、安装、调试 2 2套EMCVplex存储虚拟化上架、安装、调试 3 两台EMCDS300B光纤交换机上架、安装、调试 4 存储空间划分及挂载服务器 5 服务器系统 2套IBMFlex刀片机箱上架、安装、调试 6 8把IBMFlex刀片服务器上系统安装、调试 7 4台IBMFlex刀片机箱网络交换机安装、调试 8 4台IBMFlex刀片机箱光纤交换机安装、调试 9 虚拟化系统 安装vSphereESXi平台,及vCenterServer 10 配置链接存储虚拟化挂载过来的空间 11 创建虚拟服务器并安装操作系统 12 安装NSX各组件,并配置网络虚拟化策略 13 数据库双机及同步 2台IBMFlex刀片系统安装、调试 14 在2台IBMFlex刀片系统上安装、配置OracleRAC 15 虚拟化平台配置同步容灾所需的Linux虚拟机 16 安装DSG数据库同步软件,配置同步策略 17 核心网络交换 2套H3C核心网络交换机上架、安装、调试 18 配置2套H3C核心网络交换机形成多虚一 19 对接原有网络配置,进行规划配置新数据中心网络 20 安全防护 2台山石网科核心防火墙上架、安装、调试 21 1台山石网科入侵检测IPS上架、安装、调试 22 1台思福迪数据库审计上架、安装、调试 23 1台思福迪堡垒机上架、安装、调试 24 1套趋势虚拟化防病毒DS软件安装、配置 25 备份系统 一套EMCNetworker备份服务器安装 26 EMCNetworker备份服务器备份时间表配置 27 EMCNetworker备份服务器备份策略设定 28 监控系统 EMC存储监控软件安装、配置 29 VMware虚拟化平台监控软件安装、配置 30 数据中心网管软件软件安装、配置 31 应用切换及数据迁移 虚拟化应用切换服务器Convert安装、配置 32 对应应用服务器PtoV迁移切换 33 数据库离线拷贝或同步拷贝切换 3.2实施服务范围在项目实施过程中,乙方将为甲方提供以下实施服务。3.2.1项目管理乙方提供项目实施过程中的项目管理工作,将派出一位项目经理,与甲方项目经理共同负责管理整个项目生命周期的进度、各阶段日常事务和项目质量管理。其主要的工作内容如下:·项目实施范围控制·项目计划制订和管理·项目实施进度管理·项目风险的评估、监控和管理·项目组成员的调度和工作安排·与项目相关的人员和部门的沟通协调工作·召开各项会议,向项目团队和甲乙方各级相关人员汇报项目状况·处理项目中所遇到的各种问题·定义、监控和各阶段交付项,确保交付项的质量·管理项目变更·负责项目文档的检查与审核3.2.2系统管理乙方在本项目实施过程中将向甲方提供整体项目日常运维与管理培训,主要服务内容包括:·系统管理培训乙方将对甲方的系统管理员进行整体系统管理的相关培训,使其具有独立进行各个系统管理的能力。培训将结合项目实施进行,乙方同时也提供单独的系统化的管理培训。·测试系统安装乙方将辅导甲方完成项目实施过程中的培训环境、测试环境和生产环境的安装工作。·系统维护项目实施期间系统数据的管理工作由甲方自行完成,乙方提供必要的协助,指导甲方做好数据库及其他应用系统的备份、克隆和恢复工作。3.2.3培训服务本次项目实施乙方将为甲方提供如下的培训服务:·标准功能培训:乙方将为甲方项目核心团队和关键用户提供标准功能培训,以便相关人员掌握产品的基本功
本文档为【数据中心集成与运维服务方案建议书】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: ¥17.4 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
IT人
暂无简介~
格式:doc
大小:1MB
软件:Word
页数:70
分类:互联网
上传时间:2019-10-21
浏览量:71