首页 曙光DS800-G25磁盘阵列用户手册V1.1

曙光DS800-G25磁盘阵列用户手册V1.1

举报
开通vip

曙光DS800-G25磁盘阵列用户手册V1.1DS800-G25用户手册DAWNINGINFORMATIONINDUSTRYCO.,LTD.声明本手册的用途在于帮助您正确地使用曙光公司服务器产品(以下称“本产品”),在安装和第一次使用本产品前,请您务必先仔细阅读随机配送的所有资料,特别是本手册中所提及的注意事项。这会有助于您更好和安全地使用本产品。请妥善保管本手册,以便日后参阅。本手册的描述并不代表对本产品规格和软硬件配置的任何说明。有关本产品的实际规格和配置,请查阅相关协议、装箱单、产品规格配置描述文件,或向产品的销售商咨询。如您不正...

曙光DS800-G25磁盘阵列用户手册V1.1
DS800-G25用户手册DAWNINGINFORMATIONINDUSTRYCO.,LTD.声明本手册的用途在于帮助您正确地使用曙光公司服务器产品(以下称“本产品”),在安装和第一次使用本产品前,请您务必先仔细阅读随机配送的所有 资料 新概念英语资料下载李居明饿命改运学pdf成本会计期末资料社会工作导论资料工程结算所需资料清单 ,特别是本手册中所提及的注意事项。这会有助于您更好和安全地使用本产品。请妥善保管本手册,以便日后参阅。本手册的描述并不代表对本产品规格和软硬件配置的任何说明。有关本产品的实际规格和配置,请查阅相关协议、装箱单、产品规格配置描述文件,或向产品的销售商咨询。如您不正确地或未按本手册的指示和要求安装、使用或保管本产品,或让非曙光公司授权的技术人员修理、变更本产品,曙光公司将不对由此导致的损害承担任何责任。本手册中所提供照片、图形、图表和插图,仅用于解释和说明目的,可能与实际产品有些差别,另外,产品实际规格和配置可能会根据需要不时变更,因此与本手册内容有所不同。请以实际产品为准。本手册中所提及的非曙光公司网站信息,是为了方便起见而提供,此类网站中的信息不是曙光公司产品资料的一部分,也不是曙光公司服务的一部分,曙光公司对这些网站及信息的准确性和可用性不做任何保证。使用此类网站带来的风险将由您自行承担。本手册不用于表明曙光公司对其产品和服务做了任何保证,无论是明示的还是默示的,包括(但不限于)本手册中推荐使用产品的适用性、安全性、适销性和适合某特定用途的保证。对本产品及相关服务的保证和保修承诺,应按可适用的协议或产品标准保修服务条款和条件执行。在法律法规的最大允许范围内,曙光公司对于您的使用或不能使用本产品而发生的任何损害(包括,但不限于直接或间接的个人损害、商业利润的损失、业务中断、商业信息的遗失或任何其他损失),不负任何赔偿责任。对于您在本产品之外使用本产品随机提供的软件,或在本产品上使用非随机软件或经曙光公司认证推荐使用的专用软件之外的其他软件,曙光公司对其可靠性不做任何保证。曙光公司已经对本手册进行了仔细的校勘和核对,但不能保证本手册完全没有任何错误和疏漏。为更好地提供服务,曙光公司可能会对本手册中描述的产品软件和硬件及本手册的内容随时进行改进或更改,恕不另行通知。如果您在使用过程中发现本产品的实际情况与本手册有不一致之处,或您想得到最新的信息或有任何问 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 和想法,欢迎致电400-810-0466或登录曙光公司服务网站www.sugon.com垂询。商标和版权“SUGON”及图标是曙光信息产业股份有限公司的商标或注册商标。“曙光”及图标是曙光信息产业股份有限公司的商标或注册商标,文中“曙光信息产业股份有限公司”简称“曙光公司”。“Intel”、“Xeon”图标是Intel公司的注册商标。“Microsoft”、“Windows”、“WindowsServer”及“WindowsServerSystem”是微软公司的商标或注册商标。上面未列明的本手册提及的其他产品、标志和商标名称也可能是其他公司的商标或注册商标,并由其各自公司、其他性质的机构或个人拥有。在本用户手册中描述的随机软件,是基于最终用户许可协议的条款和条件提供的,只能按照该最终用户许可协议的规定使用和复制。版权所有©2013曙光信息产业股份有限公司,所有权利保留。本手册受到著作权法律法规保护,未经曙光信息产业股份有限公司事先书面授权,任何人士不得以任何方式对本手册的全部或任何部分进行复制、抄录、删减或将其编译为机读格式,以任何形式在可检索系统中存储,在有线或无线网络中传输,或以任何形式翻译为任何文字。ii表格 目录 工贸企业有限空间作业目录特种设备作业人员作业种类与目录特种设备作业人员目录1类医疗器械目录高值医用耗材参考目录 xxii电源相关的操作说明接通服务器电源要接通服务器电源,请按“开机/关机”按钮。断开服务器电源1.备份服务器数据。2.按照操作系统文档的说明关闭操作系统。(如果操作系统自动将服务器置于待机模式,则忽略下一步。)3.按开机/关机按钮,将服务器置于待机模式。当服务器激活等待电源模式时,系统电源LED指示灯将变为红色。4.拔下所有电源线插头。系统现在即处于断电状态。电源要求安装本设备时,必须遵守当地或区域有关安装信息技术设备的电气法规,而且必须由经过认可的电气工程师来完成安装操作。本设备经过精心设计,可在符合国家供电规范的安装环境中运行。有关选件的电源额定值,请参阅产品额定值标签或随该选件提供的用户文档。安装多台服务器时,可能需要使用其它配电设备来为所有设备安全供电。请遵守以下准则:平衡可用交流电源分支电路之间的服务器电源负荷。不允许系统总的交流电流负荷超过分支电路交流电流额定值的80%。请勿使用普通的电源接线板来连接本设备。通过单独的电路为服务器供电。电气接地要求服务器必须正确接地,以使其正常运行并确保安全。必须遵照以下要求安装本设备:任何区域性或国家/地区的电气连线规程,如国际电工委员会(IEC)规程364第1至7部分。此外,您必须确保安装过程中使用的所有配电设备(如分支连线和插座)均为已列出的或经过认证的接地型设备。由于连在同一电源上的多台服务器需要将大量电流导入地下,因此曙光公司建议所用的PDU要么固定地连到建筑物的分支电路上,要么配装一根连接工业插头的不可拆卸的电线。那些符合IEC60309标准的插头均视为适用插头。建议不要使用普通的电源接线板来连接本服务器。静电释放防止静电释放为避免损坏系统,在安装系统或取放部件时应注意采取必要的防范措施。手指或其它导体所释放的静电可能损坏主板或其它对静电敏感的设备。由静电造成的损坏会缩短上述设备的预期使用时间。要避免静电损害,请注意以下事项:将产品装入防静电包装中,以免在运输和存储过程中直接用手接触产品。在将静电敏感部件运抵不受静电影响的工作区之前,请将它们放在各自的包装中进行保管。将设备从包中取出,不要放下,直接安装到服务器中。如果需要放下设备,请将它放回防静电包中。请勿将设备放在服务器外盖或金属表面上。当设备仍然在防静电包中时,将它与服务器外部未上漆的金属表面接触至少2秒。这样可以释放防静电包和您身体上的静电。减少移动。移动会导致您身体周围的静电积累。握住设备的边缘或框架,小心操作设备。请勿触摸焊接点.引脚或裸露的电路。请勿将设备放在其他人可以接触和损坏它的地方。在触摸静电敏感元件或装置时,一定要采取适当的接地措施。在寒冷的天气操作设备时应格外小心。供暖系统会降低室内湿度并增加静电。防止静电释放的接地 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 接地的方法有几种。在取放或安装静电敏感部件时,您可以使用以下一种或多种接地方法:您可以使用腕带,该腕带利用接地线与接地的工作区或计算机机箱相连。腕带必须能够灵活伸缩,而且接地线的电阻至少为1兆欧姆的10%。要达到接地目的,佩戴时请将腕带紧贴皮肤。在立式工作区内,请使用脚跟带、脚趾带或靴带。当您站在导电地板或耗散静电的地板垫上时,请在双脚上系上带子。请使用导电的现场维修工具。配合使用耗散静电的折叠工具垫和便携式现场维修工具包。危险警告声明【警告】本产品为A级产品。在生活环境中,该产品可能会造成无线电干扰。在这种情况下,可能需要用户对干扰采取切实可行的措施。电源、电话和通信电缆中的电流具有危险性。为避免电击危险:请勿在雷电期间连接或断开本产品的任何电缆,也不要安装、维护或重新配置本产品。将所有电源线连接至正确接线且妥善接地的电源插座。将所有要连接到本产品的设备连接到正确接线的插座。尽可能仅使用单手连接信号电缆或断开信号电缆的连接。切勿在有火灾、水灾或房屋倒塌迹象时开启任何设备。除非在安装和配置过程中另有说明,否则请在打开设备外盖之前断开已连接的电源线、远程通信系统、网络和调制解调器。声明1:【注意】设备上的电源控制按钮和电源上的电源开关并没有断开供给设备的电流。设备也可能有多根电源线。要使设备完全断电,请确保所有电源线都已与电源断开连接。声明2:【注意】切勿卸下电源外盖或贴有以下标签的任何部件的外盖。任何贴有该标签的组件内部都存在危险的电压、电流和能量级别。这些组件内部没有可维护的部件。如果您怀疑某个部件有问题,请联系技术服务人员。声明3:【危险】分支电路负载过高在某些情况下可能导致火灾和电击危险。为避免这些危险,请确保系统电气要求未超出分支电路保护要求。请参阅设备随附的信息以了解电气规范。在通电的服务器内部进行操作【警告】服务器通电时,释放到服务器内部组件的静电可能导致服务器异常中止,这可能会造成数据丢失。要避免出现这一潜在问题,在通电的服务器内部进行操作时,请始终使用静电释放腕带或其他接地系统。服务器(某些型号)支持热插拔设备,并且设计为在服务器开启及外盖卸下时可安全运行。对开启的服务器内部进行操作时,请遵守以下准则。避免穿着袖口宽松的衣物。在服务器内部进行操作之前,请扣上长袖衬衫袖口的钮扣;在服务器内部进行操作时,请勿佩戴袖口链扣。请勿让领带或围巾垂入服务器内部。摘下所有首饰,如手镯、项链、戒指和宽松的腕表。取出衬衫口袋中的物品,如钢笔和铅笔,因为当您在服务器上方俯身时,它们可能会掉入服务器中。避免将任何金属物品(如回形针、发夹和螺丝)掉入服务器中。声明4:【注意】为减少人身伤害、火灾或设备损坏的危险,为机架供电的交流电源分支电路不得超载。请向制定设备布线和安装要求的电气机构咨询。声明5:【注意】请使用调节式不间断电源(UPS),以免服务器受到电源波动和临时断电的影响。此设备可防止硬件因电涌和电压峰值的影响而受损,并且可在电源出现故障时使系统保持正常工作状态。声明6:【注意】当使用电缆管理臂组件时,每条电缆一定要保持松弛,以避免将服务器从机架中拉出时损坏电缆。声明7:【注意】为了减少触电或设备损坏的危险,请注意以下事项:务必使用电源线的接地插头。接地插头具有重要的安全保护功能。始终将电源线插头插入随手可及的接地电源插座中。拔下电源的电源线插头,以断开设备的供电。不要将电源线放在容易踩到的地方,也不要使其受到旁边物体的挤压。要特别注意插头、电源插座以及电源线与服务器的连接处。目录声明 ii商标和版权 iii电源相关的操作说明 iv危险警告声明 vi目录 viii插图目录 xvi表格目录 xxi1 前言 11.1 产品简介 11.2 文档结构 11.3 文档约定 21.3.1 手册描述约定 21.3.2 其他约定 21.4 术语 21.4.1 命令行界面 21.4.2 扩展柜 21.4.3 扩展柜模块 21.4.4 光纤通道 31.4.5 千兆以太网 31.4.6 图形用户界面 31.4.7 高可用性 31.4.8 Initiator 31.4.9 LUN 31.4.10 磁盘阵列管理软件 31.4.11 RAID 31.4.12 SAN 41.4.13 存储控制器 41.4.14 主柜 41.4.15 Target 41.5 资料获取方式 41.6 资料 意见 文理分科指导河道管理范围浙江建筑工程概算定额教材专家评审意见党员教师互相批评意见 反馈方式 42 产品概述 52.1 DS800-G25磁盘阵列 52.2 DS800-G25磁盘阵列典型组网介绍 53 硬件配置 73.1 硬件组成 73.1.1 主柜 73.1.2 扩展柜 83.2 硬盘安装 103.2.1 硬盘安装总体流程 103.2.2 硬盘安装方法 103.2.3 安装主柜硬盘 113.2.4 16盘位扩展柜硬盘安装说明 133.2.5 25盘位扩展柜硬盘安装说明 133.3 存储柜安装与配置 143.3.1 指示灯状态说明 143.3.2 连接扩展柜 213.3.3 连接管理PC 253.3.4 连接主机与磁盘阵列 264 磁盘阵列管理软件南 294.1 管理软件介绍 294.2 准备工作 294.2.1 管理软件安装要求 294.2.2 搭建管理网络 304.3 运行管理软件 314.3.1 安装JRE7.0 314.3.2 打开管理软件 324.3.3 查看管理软件版本及版权 334.3.4 管理设备 334.3.5 查看设备详细信息 344.4 管理软件功能导航 354.4.1 设备管理界面介绍 355 系统管理 375.1 简介 375.1.1 打开系统管理窗口 375.1.2 系统管理窗口界面介绍 385.2 快速配置设备向导 385.2.1 修改设备时间 385.2.2 配置设备时间 395.2.3 修改用户密码 405.2.4 激活License 405.2.5 配置网络 415.3 快速配置资源向导 425.4 管理License 425.5 管理网络 435.5.1 配置网口 435.5.2 配置静态路由 455.5.3 配置默认网关 465.6 管理用户 475.6.1 管理用户 475.6.2 管理登录会话 495.7 管理告警方式 495.7.1 修改邮件告警设置 495.7.2 修改蜂鸣器告警设置 515.7.3 修改SNMPTrap设置 515.7.4 修改告警语言 525.7.5 修改告警事件设置 525.7.6 管理软件告警 535.7.7 指示灯告警 536 资源管理 546.1 简介 546.1.1 资源管理简介 546.1.2 物理资源简介 546.1.3 存储池简介 556.1.4 客户端简介 566.2 管理物理资源 586.2.1 管理主柜和控制器 586.2.2 管理扩展柜(DSU)和扩展柜模块(EP) 606.2.3 管理磁盘 616.2.4 管理全局热备盘 636.3 管理存储池 636.3.1 创建存储池 636.3.2 删除存储池 646.3.3 修改存储池属性 656.3.4 创建RAID 666.3.5 删除RAID 676.3.6 修改RAID属性 676.3.7 管理RAID专用热备盘 686.3.8 RAID重建 696.3.9 创建LUN 716.3.10 扩容LUN 726.3.11 删除LUN 736.3.12 修改LUN属性 746.3.13 LUN同步 786.4 管理客户端 796.4.1 创建客户端 796.4.2 删除客户端 816.4.3 修改客户端属性 816.4.4 为客户端关联/取消关联Initiator 826.4.5 管理Initiator 836.4.6 创建Target 856.4.7 删除Target 876.4.8 修改Target属性 876.4.9 为Target关联/取消关联LUN 907 高级设置 917.1 简介 917.1.1 打开高级设置窗口 917.1.2 高级设置窗口界面介绍 927.2 设置HotCache全局参数 927.2.1 修改HotCache全局参数 927.3 设置快照全局参数 937.3.1 修改快照全局参数 937.4 设置缓存全局参数 947.4.1 修改缓存全局参数 947.4.2 修改写缓存刷新策略 967.5 设置热备盘全局参数 967.6 设置登录安全参数 977.6.1 设置登录密码有效期 977.6.2 设置登录失败锁定阈值 987.6.3 设置登录时间范围 987.6.4 设置登录管理PC标识 998 例行检查与维护 1008.1 简介 1008.1.1 打开维护中心窗口 1008.1.2 维护中心窗口界面介绍 1018.2 查看告警记录 1018.2.1 查看设备告警状态 1018.2.2 查看设备冗余状态 1028.2.3 查看邮件告警记录 1038.2.4 查看蜂鸣器告警记录 1048.2.5 查看SNMPTrap记录 1048.3 导出日志和诊断信息 1058.3.1 导出日志 1058.3.2 导出审计日志 1068.3.3 导出诊断信息 1068.4 导出/导入配置 1078.5 重启和关机 1088.6 HA接管/恢复 1098.6.1 查看设备HA状态 1108.6.2 HA接管 1108.6.3 HA恢复 1118.7 升级系统软件 1118.7.1 查看设备版本信息 1118.7.2 升级系统软件 1129 操作实例 113附录一服务器端创建iSCSI连接 119附录二服务器端配置多路径方法 128附录三系统默认值 136插图目录图21DS800磁盘阵列典型组网图 6图31主柜前视图 7图32主柜后视图 7图333U16盘位扩展柜正视图 8图342U25盘位扩展柜正视图 9图352U25盘位扩展柜后视图 9图36硬盘安装总体流程图 10图373.5寸硬盘托架示意图 10图382.5寸硬盘托架示意图 11图39硬盘安装操作示意图 11图310保留磁盘警示标签 12图311主柜硬盘槽位编号示意图 12图312条状警示标签 13图31316盘位扩展柜硬盘槽位编号示意图 13图31425盘位扩展柜硬盘槽位编号示意图 13图315电源模块示意图 14图316控制器指示灯示意图 15图3173.5硬盘托架示意图 16图3182.5硬盘托架示意图 16图319风扇模块示意图 17图320电池模块示意图 17图321FC模块示意图 18图322千兆模块示意图 18图323万兆模块示意图 19图324主柜SAS接口示意图 20图325扩展柜SAS接口示意图 20图326扩展柜模块示意图 20图3271主1从连接示意图 22图3281主2从串联示意图 22图3291主2从并联示意图 23图3302台2U与2台3U扩展柜级联示意图 24图3311台3U与3台2U扩展柜级联示意图 25图332管理PC连接盘阵示意图 25图333FC端口详细信息界面 27图334修改FC端口工作模式 28图41浏览器界面 31图42安装加载项界面 31图43安装加载项界面 32图44下载管理软件界面 32图45安装加载项界面 33图46关于管理软件界面 33图47添加存储设备界面 34图48用户登录界面 34图49设备基本属性界面 35图410设备管理界面说明 35图51系统管理主界面 37图52系统管理界面说明 38图53启动快速配置设备向导界面 38图54配置设备基本信息界面 39图55配置设备时间界面 40图56修改用户密码界面 40图57激活新License界面 41图58快速配置设备网络界面 41图59管理License界面 42图510配置网口界面 43图511创建聚合口界面 44图512修改网口设置界面 45图513配置静态路由界面 45图514添加路由界面 46图515配置默认网关界面 46图516管理用户界面 47图517创建用户界面 48图518修改用户密码界面 48图519管理登录会话界面 49图520配置邮件告警界面 49图521添加E-mail地址界面 50图522配置蜂鸣器告警界面 51图523配置SNMPTrap告警界面 51图524添加接收者界面 51图525配置告警语言界面 52图526配置告警事件界面(一) 53图527配置告警事件界面(二) 53图61设备树树状视图说明 54图62主柜基本属性界面 58图63控制器(SP)基本属性界面 58图64查看物理端口信息界面 59图65查看设备日志界面 59图66扩展柜(DSU)基本属性界面 60图67扩展柜基本属性界面 61图68磁盘基本属性界面 62图69配置全局热备盘界面 63图610创建存储池界面 64图611存储池基本属性界面 65图612重命名存储池界面 65图613创建RAID界面 66图614RAID基本属性界面 68图615重命名RAID界面 68图616配置专用热备盘界面 69图617RAID重建任务信息界面 70图618修改重建优先级界面 70图619创建LUN界面 71图620扩容LUN界面 73图621LUN基本属性界面 74图622重命名LUN界面 75图623修改LUN读缓存分配策略界面 76图624修改LUN读缓存预读策略界面 77图625修改LUN写缓存分配策略界面 78图626LUN同步任务信息界面 78图627启动LUN同步界面 79图628创建客户端界面 80图629客户端基本属性界面 81图630修改客户端描述界面 82图631修改客户端权限界面 82图632为客户端关联Initiator界面 83图633管理Initiator界面 83图634添加Initiator界面 84图635修改Initiator属性界面 85图636创建Target界面 86图637Target基本属性界面 87图638重命名FCTarge界面 88图639修改Target绑定端口界面 89图640设置Target双向CHAP认证界面 89图641关联LUN界面 90图71高级设置界面 91图72高级设置界面说明 92图73设置HotCache全局参数界面 93图74设置快照全局参数页面 94图75设置缓存全局参数界面 95图76设置写缓存刷新策略界面 96图77设置空白磁盘热备界面 97图78设置登录密码有效期界面 97图79设置登录失败锁定阈值界面 98图710设置登录时间范围界面 98图711输入管理PC标识界面 99图712配置登录管理PC标识界面 99图81维护中心界面 100图82维护中心界面说明 101图83查看设备告警状态界面(一) 101图84查看设备告警状态界面(二) 102图85查看设备冗余状态界面(一) 102图86查看设备冗余状态界面(二) 103图87查看邮件告警记录界面(一) 103图88查看邮件告警记录界面(二) 104图89查看蜂鸣器告警记录界面(一) 104图810查看蜂鸣器告警记录界面(二) 104图811查看SNMPTrap记录界面(一) 105图812查看SNMPTrap记录界面(二) 105图813导出日志界面(一) 105图814导出日志界面(二) 106图815导出审计日志界面(一) 106图816导出审计日志界面(二) 106图817导出诊断信息界面(一) 107图818导出诊断信息界面(二) 107图819导出/导入配置界面 108图820重启和关机界面 109图821开关机正常顺序示意图 109图822查看设备HA状态界面(一) 110图823查看设备HA状态界面(二) 110图824HA接管界面(一) 111图825HA接管界面(二) 111图826HA恢复界面 111图827查看设备版本信息界面 112图91资源配置流程示意图 113图92创建传统型存储池示意图 114图93创建RAID示意图 114图94创建LUN示意图 115图95创建Client示意图 115图96创建Initiator示意图 116图97为客户端关联Initiator示意图 116图98创建Target示意图 117图99为Target关联LUN示意图 117表格目录表11文档结构 1表31主柜前视图组件说明 7表32主柜后视图组件说明 8表333U16盘位扩展柜正面组件说明 8表342U25盘位扩展柜正面组件说明 9表35扩展柜背面组件说明 9表36电源模块指示灯状态说明 15表37电源模块指示灯状态说明 15表38硬盘托架指示灯状态说明 16表39风扇模块指示灯状态说明 17表310电池模块指示灯状态说明 17表311IO模块指示灯状态说明 19表312SAS接口指示灯状态说明 20表313SAS接口指示灯状态说明 21表41DS800-G25磁盘阵列管理软件兼容性列表 29表42DS800-G25磁盘阵列串口配置 30表43管理软件设备管理界面组件说明 35表51配置设备名称和备注界面参数说明 39表52创建聚合口界面参数说明 44表53修改网口设置界面参数说明 45表54添加静态路由界面参数说明 46表55创建用户界面参数说明 48表56设置邮件告警界面参数说明 50表57设置SNMPTrap告警界面参数说明 52表61客户端访问权限定义 57表62创建存储池界面参数说明 64表63存储池信息显示区页签列表 64表64创建RAID界面参数说明 66表65RAID信息显示区页签列表 67表66创建LUN界面参数说明 72表67LUN信息显示区页签列表 72表68扩容LUN界面参数说明 73表69创建客户端界面参数说明 80表610客户端户端信息显示区页签列表 80表611添加Initiator界面参数说明 84表612修改Initiator属性界面参数说明 85表613创建Target界面参数说明 86表614Target信息显示区页签列表 87表615设置Target双向CHAP认证界面参数说明 90 112前言产品简介本手册用于指导曙光DS800-G25磁盘阵列的配置、管理和维护等操作,适用于曙光员工、合作伙伴、存储架构师、系统管理员、维护人员,要求读者熟悉存储系统相关基础知识。文档结构表11文档结构 章节 简述 主要内容 前言 介绍文档相关的信息,便于您阅读文档。 介绍文档约定介绍术语介绍资料获取方式介绍资料意见反馈方式 产品概述 介绍DS800-G25磁盘阵列的基本功能和典型组网,便于您了解设备。 介绍基本功能介绍典型组网 磁盘阵列管理软件 介绍DS800-G25管理软件,便于您熟悉管理界面的使用。 运行管理软件前准备工作运行管理软件管理软件功能导航 系统管理 介绍如何进行系统管理,便于您快速掌握系统配置方法。 管理设备名称和时间管理License管理网络管理用户管理告警方式 资源管理 介绍如何进行资源管理,便于您快速掌握资源管理和分配的方法。 管理全局热备盘管理存储池管理RAID管理LUN管理客户端管理Initiator管理Target 高级设置 介绍如何调整磁盘阵列的高级参数,便于您针对应用环境的特殊需求调整设备的相关配置。 设置缓存全局参数设置热备盘全局参数设置HA参数 例行检查与维护 介绍如何收集维护相关的信息、如何规范地完成维护操作。 查看告警记录导出日志和诊断信息导出/导入配置重启和关机HA接管/恢复升级系统软件 操作实例 介绍一个完整的资源配置操作实例,以便您熟悉设备资源配置流程。 资源配置操作实例文档约定在手册中,使用一些醒目的标识显示需要您关注的内容,请您在操作的过程中特别注意。手册描述约定【说明】该部分文字表示提示信息,是对操作内容描述的补充说明。【注意】该部分文字表示重要信息,说明操作过程中需要注意的事项,不恰当的操作可能会导致事故发生,比如性能降低、数据丢失或设备损坏等。如果该部分文字使用红色字体,表示强调,需要重点关注。其他约定在下面的描述中,“曙光信息产业股份有限公司”也简称为“曙光”。术语命令行界面命令行界面(Command-LineInterface),简称CLI,是磁盘阵列的管理界面之一,通过字符的方式进行管理。扩展柜扩展柜(DiskShelfUnit),简称DSU。一个DSU中可插入扩展柜模块(EP)、磁盘模块,通过SAS线缆可连接主控柜(SPU)、上一级磁盘柜及下一级磁盘柜,实现磁盘阵列的扩容。扩展柜模块扩展柜模块,又称为扩展处理器(ExpanderProcessor),简称EP。EP可插入到扩展柜(DSU)中,实现磁盘阵列后端数据处理和分发。光纤通道光纤通道(FiberChannel),简称FC,是一种利用专用设备进行数据高速传输的网络标准。千兆以太网千兆以太网(GigabitEthernet),简称GE是一种在以太网上进行数据传输的网络标准。图形用户界面图形用户界面(GraphicalUserInterface),简称GUI,是磁盘阵列的管理界面之一,通过文字和图形的方式对设备进行管理。高可用性高可用性(HighAvailability),简称HA,是提高设备可靠性的一种方法。磁盘阵列支持双存储控制器,两个存储控制器按照Active-Active模式运行,同时对外提供业务;当任意一个存储控制器故障时,另一个存储控制器将自动接管故障存储控制器的业务,从而保证业务的连续性。InitiatorInitiator,即启动器,是SCSI协议中命令和请求的发起端,通常指应用服务器端。LUNLUN(LogicalUnitNumber,逻辑单元号),是客户端应用服务器可以访问的逻辑存储资源。磁盘阵列管理软件磁盘阵列管理软件是针对DS800-G25磁盘阵列的GUI管理工具,本文中简称为管理软件。RAIDRAID(RedundantArrayofIndependentDisks,独立磁盘冗余阵列),是一种把多块独立的物理磁盘按不同的方式组合起来形成一个磁盘组,从而提供比单个磁盘更高的存储性能,并提供数据冗余性的保护机制。根据不同的数据组织方式,常用的RAID包括RAID0、RAID1、RAID5、RAID10等。SANSAN(StorageAreaNetwork,存储区域网络),是一种连接外部磁盘阵列和服务器的架构,其连接方式可采用FC技术、iSCSI技术等来实现。该架构的特点是磁盘阵列连接到服务器后,服务器的操作系统视其为直接连接的磁盘。存储控制器存储控制器,又称为存储处理器(StorageProcessor),简称SP,可插入主柜(SPU)中,实现磁盘阵列数据收发、处理和保护。主柜主柜,也称为存储控制器单元(StorageProcessorUnit),简称为SPU,可插入存储控制器模块、电源模块、风扇模块、电池模块。通过存储控制器的前端业务接口连接客户端服务器,响应客户端请求;通过存储控制器的后端SAS接口连接扩展柜(DSU),实现磁盘阵列扩容。TargetTarget,即目标器,是SCSI协议中命令和请求的接收端,通常指磁盘阵列端。资料获取方式可登录曙光网站www.sugon.com获取最新的资料。【说明】由于软件版本升级或其它原因,资料内容会不定期进行更新,资料内容可能滞后于最新的软件版本。资料意见反馈方式曙光信息产业股份有限公司非常感谢您选用我们的产品,您在阅读或使用资料过程中有任何意见或建议,请登录www.sugon.com与我们联系,感谢您的支持。产品概述DS800-G25磁盘阵列曙光DS800-G25磁盘阵列创新性地采用最新芯片技术,设计出高性能和高可靠的硬件结构,配合磁盘阵列管理软件,为云计算时代的数据中心海量并发应用提供了大缓存、高带宽、高处理能力的百G级存储平台;为中小型数据中心提供了安全可靠的、资源弹性部署的存储平台。曙光DS800-G25磁盘阵列由以下模块化组件构成:主柜(SPU):可插入存储控制器模块(SP)、电源模块、风扇模块、电池模块、磁盘模块。扩展柜(DSU):可插入扩展柜模块(EP)、电源模块、风扇模块、磁盘模块。主柜(SPU)的存储控制器模块是整个磁盘阵列的核心模块,负责磁盘阵列的数据收发、数据处理和数据保护。存储控制器模块提供多种类型的前端业务接口,用于连接前端的应用服务器,同时提供2个x4MiniSAS接口(支持SASV2.0,单端口带宽24Gbps),用于连接扩展柜(DSU)进行存储扩容。DS800-G25磁盘阵列典型组网介绍DS800-G25管理软件实现了iSCSITarget、FCTarget等功能,支持客户端应用服务器基于iSCSI、FC等协议访问DS800-G25磁盘阵列提供的存储空间。相应的,DS800-G25磁盘阵列的硬件平台提供了多种类型的前端业务接口,包括千兆以太网接口、万兆以太网接口、FC接口等,客户端应用服务器可通过千兆IP网络、万兆IP网络、FC网络访问DS800-G25磁盘阵列。DS800-G25磁盘阵列典型组网如图2-1所示。图21DS800磁盘阵列典型组网图组网说明:DS800-G25磁盘阵列提供专用的管理接口,管理PC可以直接连接或通过千兆/万兆以太网交换机连接到管理网口。对于IP网络,DS800-G25磁盘阵列支持网口聚合功能。前端业务接口可以单独使用,也可以把多个以太网口捆绑成一个聚合口使用。如果应用服务器需要通过iSCSI协议访问磁盘阵列,要求在应用服务器上安装千兆/万兆以太网卡以及iSCSIInitiator软件,或安装专用的iSCSIHBA卡。如果应用服务器需要通过FC协议访问磁盘阵列,要求在应用服务器上安装专用的FCHBA卡,并正确安装对应的驱动软件。【注意】同一个聚合口的成员只能是千兆以太网接口或万兆以太网接口,不支持混用。如果应用服务器需要通过多路径访问DS800-G25磁盘阵列,要求在应用服务器上正确安装多路径软件。如果DS800-G25磁盘阵列的客户端是多服务器应用系统,并且要求多台应用服务器对同一存储资源具有读写权限,必须在对应的应用服务器上正确安装相关软件(比如集群软件、并行文件系统软件等),以实现多个服务器互斥访问同一存储区域,从而保证数据的准确性和一致性。硬件配置硬件组成主柜DS800-G25磁盘阵列主柜前视图如图3-1所示。图31主柜前视图前视图组件信息如表3-1所示。表31主柜前视图组件说明 组件 描述 前面板 主柜前面板,取下后是两个电池模块插槽,可插入电池模块。 磁盘模块插槽1-16 主柜提供16个3.5寸磁盘插槽,可插入3.5寸磁盘托架;3.5寸磁盘托架支持3.5寸硬盘和2.5寸硬盘。DS800-G25磁盘阵列主柜后视图如图3-2所示。图32主柜后视图主柜后面安装有控制器、风扇模块、电源模块,各个组件信息如表3-2所示。表32主柜后视图组件说明 组件 描述 防静电手环插孔 用于连接防静电手环,防止人体静电损坏敏感元器件 控制器2 主柜的2号控制器 风扇模块2 主柜的2号风扇模块 电源模块1 主柜的1号电源模块 接地端子 用于接地,防止设备漏电对人体产生电击 控制器1 主柜的1号控制器 风扇模块1 主柜的1号风扇模块 电源模块2 主柜的2号电源模块【注意】DS800-G25磁盘阵列主柜的两组控制器、风扇模块和电源模块,位于下半部的模块是正立放置,编号为1,如控制器1;位于上半部的模块是倒立放置,编号为2,如控制器2。扩展柜3U16盘位扩展柜正视图如图3-3所示。图333U16盘位扩展柜正视图3U16盘位扩展柜正视图组件信息如表3-3所示。表333U16盘位扩展柜正面组件说明 组件 描述 磁盘模块插槽1-16 扩展柜提供16个3.5寸磁盘插槽,可插入3.5寸磁盘托架;3.5寸磁盘托架支持3.5寸硬盘和2.5寸硬盘。2U25盘位扩展柜正视图如图3-4所示。图342U25盘位扩展柜正视图2U25扩展柜正视图组件信息如表3-4所示。表342U25盘位扩展柜正面组件说明 组件 描述 磁盘模块插槽1-25 扩展柜提供25个2.5寸磁盘插槽,可插入2.5寸磁盘托架。扩展柜后视图如图3-5所示。图352U25盘位扩展柜后视图扩展柜后视图组件信息如表3-5所示。表35扩展柜背面组件说明 组件 描述 防静电手环插孔 用于连接防静电手环,防止人体静电损坏敏感元器件 扩展柜模块2 扩展柜的2号管理模块 风扇模块2 扩展柜的2号风扇模块 接地端子 用于接地,防止设备漏电对人体产生电击 电源模块1 扩展柜的1号电源模块 扩展柜模块1 扩展柜的1号管理模块 风扇模块1 扩展柜的1号风扇模块 电源模块2 扩展柜的2号电源模块【注意】DS800-G25磁盘阵列扩展柜的两组扩展柜模块、风扇模块和电源模块,位于下半部的模块是正立放置,编号为1,如风扇模块1;位于上半部的模块是倒立放置,编号为2,如风扇模块2。硬盘安装硬盘安装总体流程DS800-G25磁盘阵列磁盘安装流程如图3-6所示,其中虚线框代表可选步骤,根据实际情况选择是否执行此步骤。图36硬盘安装总体流程图硬盘安装方法DS800-G25磁盘安装时具体操作步骤如下:步骤1:按箭头方向按下锁扣,硬盘托架扳手随之打开;3.5寸硬盘托架打开方法如图3-7所示。图373.5寸硬盘托架示意图2.5寸硬盘托架打开方式如图3-8所示。图382.5寸硬盘托架示意图步骤2:用手托住硬盘(不要只握住扳手),对准磁盘槽位平稳地沿箭头方向插入。磁盘插入后,用双手同时对硬盘左右均匀用例,确保硬盘平稳推进,如图3-9所示;图39硬盘安装操作示意图步骤3:当硬盘推进到一定程度,扳手碰到槽位轨道并开始合上时,用大拇指向内扣压扳手,直到锁扣完全扣上。若安装正确,可听到锁扣扣上发出的声音;步骤4:检查硬盘是否安装到位(安装完成后,硬盘托架与磁盘柜的边缘基本平齐)。安装主柜硬盘DS800-G25磁盘阵列主柜有专用的前四块硬盘,这些硬盘盘体上贴有黄色的方形标签,这四块硬盘必须安装到主柜的1-4号槽位。黄色标签如下图所示。图310保留磁盘警示标签【注意】安装硬盘时,请务必先将带有上述标签的四块硬盘装入主柜前四个槽位。主柜硬盘槽位编号每台主柜提供16个硬盘槽位,从左到右共有4列,每列4个硬盘槽位。硬盘槽位可插入3.5寸硬盘托架。在箱耳上有硬盘槽位号的指示丝印,槽位按从上到下,从左到右的顺序编号。即从左边起,第1列硬盘槽位号从上到下是1-4,第2列是5-8,第3列是9-12,第4列是13-16。如图3-11所示。图311主柜硬盘槽位编号示意图安装硬盘步骤1:首先安装主柜保留磁盘。共4块硬盘,安装到1-4号硬盘槽位。步骤2:安装到位后,贴上黄色条状警示标签。如下图所示。图312条状警示标签步骤3:再将其他普通硬盘安装到其他槽位。16盘位扩展柜硬盘安装说明扩展柜硬盘安装方法与主柜相同。16盘位扩展柜硬盘槽位编号也与主柜相同,如图3-13所示。图31316盘位扩展柜硬盘槽位编号示意图25盘位扩展柜硬盘安装说明25盘位扩展柜需要安装2.5寸硬盘托架。具体硬盘槽位编号如图3-14所示。图31425盘位扩展柜硬盘槽位编号示意图【说明】对于每个磁盘柜,若同一个存储系统中硬盘种类相同,硬盘的安装顺序为从上到下、从左到右的顺序安装;若同一个存储系统中的硬盘种类不同,尽量将同一种硬盘安装在一个磁盘柜中,装箱时按照老化时硬盘的分配方法分配硬盘。当有扩展柜时,若订单有要求,按照订单要求安装硬盘;若订单无要求,先将主柜满配,再将剩下的硬盘安装在扩展柜中。【注意】DS800-G25磁盘阵列主柜前四块硬盘有特殊用途,因此前四块硬盘必须插在前四个硬盘槽位中。前四块硬盘不得与其他硬盘更换位置!存储柜安装与配置指示灯状态说明指示灯是指示磁盘阵列在加电工作时的状态,可用于判断部件是否出现故障,从而对系统进行快速诊断,以便维修。电源模块电源模块指示灯如图3-15所示。图315电源模块示意图电源模块指示灯状态信息如表3-6所示。表36电源模块指示灯状态说明 指示灯 颜色 状态信息 电源模块指示灯 熄灭 表示未接入电源。 绿色固定频率闪烁 表示已介入电源,但系统处于待机状态。 绿色常亮 表示已接入电源,并且系统已开机运行。 黄色固定频率闪烁 表示电源模块一般告警。 黄色常亮 表示电源模块严重告警。控制器指示灯控制器指示灯示意图如图3-16所示。图316控制器指示灯示意图控制器指示灯信息如表3-7所示。表37电源模块指示灯状态说明 指示灯 颜色 状态信息 数码管 指示磁盘阵列启动状态,无参考意义 电源指示灯 熄灭 表示控制器未接入电源且已关机。 固定1Hz频率闪烁 表示控制器已接入电源且未开机 固定2Hz频率闪烁 表示控制器已由电池供电且已开机,此时不响应开关按键。 常亮 表示控制器已接入电源且已开机。 运行指示灯 熄灭或常亮 表示控制器工作异常 固定频率闪烁 表示控制器工作正常 告警指示灯 熄灭 表示控制器硬件运行正常 固定频率闪烁 表示控制器硬件一般告警 常亮 表示控制器硬件严重告警 定位指示灯 熄灭 表示未对控制器进行定位 常亮 表示正在对控制器进行定位 固定频率闪烁 表示控制器正在启动 管理千兆网口运行指示灯 熄灭 表示未连接 常亮 表示已连接,且无数据收发 固定频率闪烁 表示已连接,且有数据收发 管理千兆网口连接指示灯 绿灯、黄灯均熄灭 表示未连接 绿灯常亮 表示已连接,速率是1Gbps 黄灯常亮 表示已连接,速率不是1Gbps硬盘指示灯3.5寸硬盘托架前面板如图3-17所示图3173.5硬盘托架示意图2.5寸磁盘托架前面板如图3-18所示。图3182.5硬盘托架示意图硬盘托架指示灯状态信息如表3-8所示。表38硬盘托架指示灯状态说明 指示灯 颜色 状态信息 运行指示灯 熄灭 表示磁盘未上电 常亮 表示磁盘已上电,且未对磁盘进行读或写 固定频率闪烁 表示正在对磁盘或磁盘所属RAID进行定位 非固定频率闪烁 表示正在对磁盘进行读或写 绿灯、黄灯均固定频率闪烁 表示磁盘已经停转,可以执行拔盘操作 告警指示灯 熄灭 表示磁盘正常 常亮 表示磁盘告警或故障 固定频率闪烁 表示磁盘所属RAID正在进行重建 绿灯、黄灯均固定频率闪烁 表示磁盘已经停转,可以执行拔盘操作风扇模块风扇模块指示灯如图3-19所示。图319风扇模块示意图风扇模块指示灯信息如表3-9所示。表39风扇模块指示灯状态说明 指示灯 颜色 状态信息 运行指示灯 绿灯、黄灯均熄灭 表示风扇模块未上电 绿灯常亮、黄灯熄灭 表示风扇模块已上电,状态正常 告警指示灯 绿灯、黄灯均熄灭 表示风扇模块未上电 绿灯熄灭,黄灯常亮 表示风扇模块已上电,状态故障电池模块电池模块指示灯如图3-20所示。图320电池模块示意图电池模块指示灯信息如表3-10所示。表310电池模块指示灯状态说明 指示灯 颜色 状态信息 充电指示灯 绿灯、黄灯均熄灭 表示电池模块未上电 固定频率闪烁 表示电池模块正在充电 常亮 表示电池模块充电完成 告警指示灯 绿灯、黄灯均熄灭 表示电池模块未上电 常亮 表示电池模块故障IO模块指示灯IO模块包括FC模块、千兆(GE)模块和万兆(10GE)模块。这些模块是根据订单要求而配置的,一般不会同时出现。检查时需要根据设备状况加以判断。FC模块指示灯如图3-21所示。图321FC模块示意图千兆(GE)模块指示灯如图3-22所示。图322千兆模块示意图万兆(10GE)模块指示灯如图3-23所示。图323万兆模块示意图IO模块指示灯信息如表3-11所示。表311IO模块指示灯状态说明 指示灯 颜色 状态信息 IO插卡电源指示灯 熄灭 表示IO模块未上电 常亮 表示IO模块已上电 IO插卡告警指示灯 熄灭 表示IO模块芯片运行正常 常亮 表示IO模块芯片运行异常 FC模块指示灯 绿灯、黄灯均熄灭 表示未连接 绿灯常亮 表示已连接,速率是8Gbps 绿灯非固定频率闪烁 表示已连接,速率是8Gbps,且有数据收发 黄灯常亮 表示已连接,速率不是8Gbps 黄灯非固定频率闪烁 表示已连接,速率不是8Gbps,且有数据收发 GE接口/10GE接口运行指示灯 熄灭 表示未连接 常亮 表示已连接,且无数据收发 闪烁 表示已连接,且有数据收发 GE接口连接指示灯 绿灯、黄灯均熄灭 表示未连接 绿灯常亮 表示已连接,速率是1Gbps 黄灯常亮 表示已连接,速率不是1Gbps 10GE接口连接指示灯 绿灯、黄灯均熄灭 表示未连接 绿灯常亮 表示已连接,速率是10Gbps 黄灯常亮 表示已连接,速率不是10GbpsSAS接口指示灯主柜SAS接口指示灯如图3-24所示.图324主柜SAS接口示意图扩展柜SAS接口指示灯如图3-25所示。图325扩展柜SAS接口示意图SAS接口指示灯信息如表3-12所示。表312SAS接口指示灯状态说明 指示灯 颜色 状态信息 SAS接口指示灯 熄灭 表示未连接 常亮 表示所有内部通道都已连接且无数据收发 非固定频率闪烁 表示所有内部通道都已连接且有数据收发 固定频率闪烁 表示内部通道中部分通道未连接,不能判断是否有数据收发扩展柜模块扩展柜模块指示灯如图3-26所示。图326扩展柜模块示意图扩展柜模块指示灯信息如表3-13所示。表313SAS接口指示灯状态说明 指示灯 颜色 状态信息 电源指示灯 熄灭 表示扩展柜未接入电源 常亮 表示扩展柜已接入电源且已开机 运行指示灯 熄灭或常亮 表示扩展柜工作异常 固定频率闪烁 表示扩展柜工作正常 告警指示灯 熄灭 表示扩展柜硬件正常运行 固定频率闪烁 表示扩展柜硬件一般告警 常亮 表示扩展柜硬件严重告警 定位指示灯 熄灭 表示未对扩展柜进行定位 常亮 常亮表示正在对扩展柜进行定位加电开机后,等待盘阵进入稳定状态。此时DS800-G25磁盘阵列以及安装有硬盘的槽位指示灯状态应当如下所示:所有磁盘活动指示灯:常亮(没有安装磁盘的槽位应熄灭)所有磁盘故障指示灯:熄灭所有电源指示灯:常亮所有故障指示灯:熄灭连接扩展柜主柜连接扩展柜遵循如下原则:主柜2个控制器的SAS1口必须连接同一扩展柜2个模块的UP口;扩展柜2个模块的DOWN口必须连接同一扩展柜2个模块的UP口;主柜的SAS2口连接要求与SAS1口相同。一个主柜连接一个扩展柜连接拓扑如图3-27所示:图3271主1从连接示意图两个扩展柜之间连接拓扑如图3-28所示:图3281主2从串联示意图一个扩展柜连接两个扩展柜连接拓扑如图3-29所示:图3291主2从并联示意图【注意】由于2U25盘位扩展柜的SAS接口不同于主柜和3U16盘位的SAS接口,因此,如果需要同时连接2U25盘位和3U16盘位的扩展柜,请务必按照平均分配的原则,连接好所有3U16盘位的扩展柜,然后再按照平均分配的原则将2U25盘位的扩展柜连接上去。否则,会出现SAS线缆不匹配的情况。平均分配原则是指,主柜的SAS1和SAS2接口上,连接的扩展柜数量之差不大于1.两台3U16盘位扩展柜与两台2U25盘位扩展柜级联如图3-30所示。图3302台2U与2台3U扩展柜级联示意图1台3U16盘位扩展柜与3台2U25盘位扩展柜级联如图3-31所示。图3311台3U与3台2U扩展柜级联示意图连接管理PC使用管理网口连接磁盘阵列使用RJ45接口网线分别连接两个控制器的管理网口,接入内部局域网,然后使用串口配置控制器的IP地址。更改管理PC的IP地址,使其与盘阵IP地址处于同一网段。【注意】管理网口左侧标有“MGT”字样,注意与旁边的串口区分。具体连接方式如图3-32所示:图332管理PC连接盘阵示意图系统出厂默认IP地址为192.168.0.210和192.168.0.220。使用串口连接磁盘阵列使用串口转RJ45接口的线缆连接DS800-G25磁盘阵列的COM1口。使用如下参数登录磁盘阵列:波特率: 115200数据位: 8奇偶校验: 无停止位: 1数据流控制:无用户名: root密码: Macro3连接主机与磁盘阵列根据不同的连接方式,包括iSCSI、FC等,使用相应的线缆连接主机与磁盘阵列。需要注意的是,DS800-G25磁盘阵列的FC端口有不同的工作模式,需要根据实际情况进行配置。由于软件更新,目前DS800-G25存在两个不同版本的Firmware,分别是V1.1.21T01P02、V1.1.25T03。两个版本的FC端口工作模式配置方法不同,此处分别予以说明。V1.1.21T01P02版本Firmware对于Firmware版本为V1.1.21T01P02的DS800-G25磁盘阵列,FC接口有如下三种模式:indirect(默认):即交换型(Fabric)模式,需要过光纤交换机direct:即普通直连模式,存储设备与服务器通过光纤线直接连接p2p:存储设备与服务器通过光纤线直接连接,但主机端FCHBA卡为Brocade(博科)品牌时,需设置成p2p模式。一般不使用此模式。如果需要修改FC端口工作模式,请按照如下步骤进行操作。步骤1:根据前文说明,通过串口或SSH登录至磁盘阵列。步骤2:输入如下命令查看FC端口工作模式:/odsp/scripts/fclinkmodel.shget<FC槽位号>all其中:FC卡槽位号表示FC模块所在的槽位号,值为1或2。步骤3:根据需要,选择一种模式,输入如下命令修改FC端口工作模式:/odsp/scripts/fclinkmodel.shset<FC槽位号>all<indirect/direct/p2p>V1.1.25T03版本Firmware对于Firmware版本为V1.1.25T03的DS800-G25磁盘阵列,FC接口有
本文档为【曙光DS800-G25磁盘阵列用户手册V1.1】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
漫妮
暂无简介~
格式:doc
大小:7MB
软件:Word
页数:0
分类:互联网
上传时间:2019-07-31
浏览量:40