IT系统应急响应及恢复预案编写指南

第PAGE21页共NUMPAGES34页IT系统应急响应及恢复预案编写指南2011年7月1日目　　录TOC\o"1-3"\h\z\uHYPERLINK\l"_Toc288053129"修订说明：PAGEREF_Toc288053129\h3HYPERLINK\l"_Toc288053130"修订 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 PAGEREF_Toc288053130\h4HYPERLINK\l"_Toc288053131"1.总则PAGEREF_Toc288053131\h6HYPERLINK\l"_Toc288053132"1.1.目的和依据PAGEREF_Toc288053132\h6HYPERLINK\l"_Toc288053133"1.2.适用范围PAGEREF_Toc288053133\h6HYPERLINK\l"_Toc288053134"2.系统及资源PAGEREF_Toc288053134\h8HYPERLINK\l"_Toc288053135"2.1.系统信息PAGEREF_Toc288053135\h8HYPERLINK\l"_Toc288053136"2.2.系统描述PAGEREF_Toc288053136\h9HYPERLINK\l"_Toc288053137"2.3.运行指标PAGEREF_Toc288053137\h9HYPERLINK\l"_Toc288053138"2.4.关联系统PAGEREF_Toc288053138\h10HYPERLINK\l"_Toc288053139"2.5.物理架构PAGEREF_Toc288053139\h11HYPERLINK\l"_Toc288053140"2.6.网络拓朴PAGEREF_Toc288053140\h11HYPERLINK\l"_Toc288053141"2.7.IP及端口PAGEREF_Toc288053141\h11HYPERLINK\l"_Toc288053142"2.8.系统软硬件PAGEREF_Toc288053142\h11HYPERLINK\l"_Toc288053143"2.9.后备资源PAGEREF_Toc288053143\h13HYPERLINK\l"_Toc288053144"2.10.用户分配PAGEREF_Toc288053144\h14HYPERLINK\l"_Toc288053145"2.11.其他信息PAGEREF_Toc288053145\h14HYPERLINK\l"_Toc288053146"3.标准处置预案PAGEREF_Toc288053146\h15HYPERLINK\l"_Toc288053147"3.1.标准处置PAGEREF_Toc288053147\h16HYPERLINK\l"_Toc288053148"4.故障快速定位PAGEREF_Toc288053148\h20HYPERLINK\l"_Toc288053149"4.1.快速定位流程PAGEREF_Toc288053149\h20HYPERLINK\l"_Toc288053150"4.2.定位流程描述PAGEREF_Toc288053150\h20HYPERLINK\l"_Toc288053151"4.3.故障快速定位排查内容PAGEREF_Toc288053151\h20HYPERLINK\l"_Toc288053152"5.系统应急场景分类及描述PAGEREF_Toc288053152\h22HYPERLINK\l"_Toc288053153"5.1.故障场景分类PAGEREF_Toc288053153\h22HYPERLINK\l"_Toc288053154"5.2.硬件故障场景PAGEREF_Toc288053154\h22HYPERLINK\l"_Toc288053155"5.3.通用软件故障场景PAGEREF_Toc288053155\h26HYPERLINK\l"_Toc288053156"5.4.应用软件故障场景PAGEREF_Toc288053156\h28HYPERLINK\l"_Toc288053157"5.5.网路故障场景PAGEREF_Toc288053157\h29HYPERLINK\l"_Toc288053158"5.6.其它故障场景PAGEREF_Toc288053158\h30HYPERLINK\l"_Toc288053159"5.7.恢复回切场景PAGEREF_Toc288053159\h30HYPERLINK\l"_Toc288053160"6.附录PAGEREF_Toc288053160\h31HYPERLINK\l"_Toc288053161"附录一：人员联系表PAGEREF_Toc288053161\h31HYPERLINK\l"_Toc288053162"附录二：应急演练方案PAGEREF_Toc288053162\h32HYPERLINK\l"_Toc288053163"附录三：应急演练报告PAGEREF_Toc288053163\h32HYPERLINK\l"_Toc288053164"附录四：故障应急报告PAGEREF_Toc288053164\h32HYPERLINK\l"_Toc288053165"附录五：故障现场收集脚本PAGEREF_Toc288053165\h32修订说明：北京数据中心于2011年3月推出《北京数据中心总体应急预案V1.0》（简称总体预案）和《中国建设银行XX系统应急响应及恢复预案（模版V3.0）》（简称新预案模板）。总体预案主要适用于北京数据中心信息系统突发事件的处理，并指导各信息系统编制系统应急预案。在总体预案中，对事件分级及处置原则、中心应急组织架构及职责、应急响应及恢复流程、应急预案管理等内容进行了描述。新预案模板主要用于指导数据中心各系统应急新版预案的修订工作。新预案模板在V2.0版本基础上，对架构和内容进行了全面的修订，重点加强了系统应急管理、故障快速定位和故障场景等内容的描述。可确保特定系统发生突发事件时，应急人员能依据预案预设内容，规范处置和快速恢复应用。系统预案中相关的事件分级、处置和应急流程等在总体预案中都有详细描述。在修订过程中，编制人员可参照总体预案进行新版预案的修订。新预案模板由六章组成，分别是总则、系统及资源、标准处置预案、故障快速定位、系统应急场景分类及描述和附录。新预案模板与V2.0版预案在文档结构对照关系可参见下表：新版预案模板V3.0旧版预案模板V2.0备注1总则新增内容2系统及资源1.HYPERLINK"file:///C:\\Users\\ccbwl\\Desktop\\工作簿1.txt"\l"RANGE!_Toc224544064"应用系统简介2.系统资源配置对应旧预案第一、二章部分内容3标准处置预案新增内容4故障快速定位新增内容5系统应急场景分类及描述7.HYPERLINK"file:///C:\\Users\\ccbwl\\Desktop\\工作簿1.txt"\l"RANGE!_Toc224544107"技术应急维护操作手册对应旧预案第七章部分内容6附录HYPERLINK"file:///C:\\Users\\ccbwl\\Desktop\\工作簿1.txt"\l"RANGE!_Toc224544121"9附录对应旧预案第九章部分内容HYPERLINK"file:///C:\\Users\\ccbwl\\Desktop\\工作簿1.txt"\l"RANGE!_Toc224544089"3.管理部门及职责划分HYPERLINK"file:///C:\\Users\\ccbwl\\Desktop\\工作簿1.txt"\l"RANGE!_Toc224544096"4.应急组织设置HYPERLINK"file:///C:\\Users\\ccbwl\\Desktop\\工作簿1.txt"\l"RANGE!_Toc224544100"5．系统应急管理6．应急处理流程HYPERLINK"file:///C:\\Users\\ccbwl\\Desktop\\工作簿1.txt"\l"RANGE!_Toc224544118"8.预案演练和更新相关内容将统一出现在中心总体预案中新预案模板保持了应急预案版本建设的连贯性，减少了预案版本升级所可能产生的困难和产生的工作量，便于预案修订人员参考使用。本编写指南在主体结构与预案模板也基本保持一致，希望能帮助预案修订人员顺利完成新版应急预案修订工作。修订记录说明：每次系统升级及变更配置后，都必须对应急预案做相应的修订，确保这些变化造成的影响能够在应急预案模版中反映出来并使之符合系统现有状况。预案维护人员严格执行版本控制，在预案内容更新后时应该确保相关人员都能及时得到最新版本。示例：修订日期版本号修订说明修订人审核2007.1V1.0建立数据中心应急预案模板吴磊杨晓勤2008.1V2.0修订应急预案第五、六、七章节吴磊张翔2009.6V2.5修订第四、第七、第八章节吴磊张翔2010.3V3.0全面修订应急预案结构和内容，新增第三、第四章内容吴磊付林总则目的和依据说明：请在此简要描述本预案编制的主要目的，本预案在建设银行业务持续性突发事件应急响应及恢复工作（以下简称“应急响应及恢复工作”）过程中所发挥的作用和执行的功能，以及编制本预案的主要依据。示例：防垃圾邮件网关系统（MGAT）应急预案（以下简称MGAT预案）是邮件网关系统遇到紧急情况或运行中断后为恢复邮件网关服务所采取的快速有效的应对手段。通过建立包含应急启动、执行、恢复等流程、步骤和技术操作方案，为系统相关组织、人员处理应急情况提供指导；并作为与总行其他应急相关人员进行协调的依据。适用范围说明：请在此明确本应急预案的具体适用范围。如指明该预案适用于因XXX突发事件所导致的建设银行XXX业务发生中断，需要采取应急处置和恢复措施予以应对的操作风险事件。示例：本系统应急预案适用范围是北京数据中心与本系统有关的所有组织体系和人员，适用于北京数据中心邮件网关系统的运行所需的功能，操作和资源。该预案适用于因邮件网关系统突发事件所导致的建设银行邮件收发发生中断，需要采取应急处置和恢复措施予以应对的操作风险事件。邮件网关系统简称为MGAT，产品英文名称为Websense邮件网关。系统及资源系统信息应用系统中文全称：说明：请在此描述应用系统在北京数据中心（或ITSM系统中）的中文全称。应用系统英文缩写：说明：请在此描述应用系统在北京数据中心（或ITSM系统中）的英文简称。应用系统负责部室：说明：请在此描述应用系统在数据中心（或ITSM系统中）的负责部室。应用系统管理员：说明：请在此描述应用系统在数据中心（或ITSM系统中）的应用预案修订人员A/B角或者管理团队。平台系统管理员：说明：请在此描述应用系统在数据中心（或ITSM系统中）的平台预案修订人员A/B角或者管理团队。网络管理员：说明：请在此描述应用系统在数据中心（或ITSM系统中）的网络管理员A/B角或者管理团队。系统描述系统功能：说明：请在此描述应用系统的主要功能。支撑业务：说明：请在此描述应用系统所支撑的所有业务应用。业务影响范围：说明：请在此描述应用系统故障后可能影响的范围。运行指标说明：请在此补充应用系统的常用的一些运行指标，如恢复时间目标(RTO,RecoveryTimeObjective)恢复点目标(RPO,RecoveryPointObjective)、运行维护级别、可用性要求，性能要求，业务连续性要求，安全性要求，可管理性要求，可维护性要求等。运行指标解释：1）恢复时间目标（RTO）：是指突发事件发生并导致业务或系统中断后，从中断到必须恢复的时间要求。2）恢复点目标（RPO）：是指突发事件发生并导致业务或系统中断后，数据必须恢复到的时间点要求，即数据可容忍丢失的最大时间长度。注意：恢复时间目标（RTO）和恢复点目标（RPO）是必填项。在营业不同时间段（业务高峰、业务空闲和非业务时间）如对RTO/RPO有不同要求，请单独列举。示例：邮件网关系统运行指标恢复时间目标（RTO）：0分钟。恢复点目标（RPO）：10分钟。运行维护级别：5*8（8:30-17:30）。可用性要求：全年系统可用性达到99.9%。性能要求：系统最大并发连接数8000个TCP连接，邮件处理速度>150封/秒，邮件延迟时间平均值<1分钟，邮件错误率<0.01%。业务连续性要求：7*24连续运行。安全性要求：防攻击性能参数>170,000次/小时包括字典攻击、目录攻击、病毒攻击、压缩文件攻击等。关联系统说明：请在此描述与该系统运行相关的其它关联系统情况，如：何种关联系统？所涉及何种业务等。物理架构说明：请在此描述系统物理拓朴结构及简要描述（包括放置在哪个机房，物理如何连接、以及何其他系统的关联拓扑等）网络拓朴说明：请在此描述系统网络拓朴结构及简要描述IP及端口说明：请在此描述简要描述系统使用的IP地址及端口（请填写包括带外管理在内的所有网络地址和端口）系统软硬件主机设备说明：请在此描述主机设备的具体配置及参数。示例：主机设备一：邮件网关系统主服务器，设备用途：设备编号：操作系统及版本：WindowsServer2003R2企业版设备位置：北京洋桥2层数据库及版本：SQL2005设备型号：IBMxSeries3850中间件及版本：websenseV6.3.2设备序列号：99C4653本地硬盘RAID级别：raid5设备微码：（主要设备）本地硬盘大小及数量：146*6CPU及数量：Xeon3.0G4网卡一MAC及IP：00-14-5E-BC-7A-2E(无IP地址)内存大小：8G网卡二MAC及IP：00-14-5E-BC-7A-2F（无IP地址）网卡：3块网卡网卡三MAC及IP：00-10-18-30-69-4D(IP：11.133.190.59)其他软件配置说明：请在此描述系统安装的各种软件的具体信息及用途，请将系统所用软件按系统软件、中间件、数据库、应用等进行划分。示例：软件类型产品名称版本号用途说明操作系统WEBSENSEOS2.2.4.22-14生产数据库Mysql4.0生产应用软件RiskFilter6.3.3生产磁盘/磁盘阵列说明：请在此描述系统所用的磁盘及磁盘阵列。磁带存储说明：请在此描述系统所用的磁带存储。网络设备（如路由器、交换机、负载均衡等）说明：请在此描述系统专用的各种网络设备其它硬件设备（如加密机等）说明：请在此描述系统专用的各种硬件设备。后备资源说明：请在此描述系统各种后备资源，如系统的数据备份、硬件配件、软件备份等资源信息。数据备份说明：请在此描述系统可能有的操作系统、应用系统和应用数据备份，要说明备份等级、备份时间、备份介质、存放位置和保管人等信息。硬件配件说明：请在此描述系统可能有的各种硬件配件，如大机、小机、服务器、网络设备、计算机备件和其它相关配件。对这些配件要注明具体型号、序列号、服务期限、保存位置和保管人等信息。软件备份说明：请在此描述系统可能有的各种软件备份，如操作系统、数据库系统、应用软件备份等。对这些备份要注明具体产品名称、版本号、保存位置和保管人等信息。用户分配说明：请在此描述系统可能有的各种用户，包括系统原有和自建的用户。要明确用户角色、用户组及其它相关信息。其他信息说明：请在此描述其它与系统相关的需要描述的信息。标准处置预案说明：请在此描述系统预设的一些标准处置预案，如主备机切换、应急库切换、灾备环境标准切换、硬件设备标准关闭、硬件设备标准重启等标准处置预案。下面列举了常见的一些标准处置预案但不完善，请预案编制人员根据系统实际情况酌情修订。在预案模板中，系统标准处置预案列举如下：主备机标准切换：该处置预案应包含系统各种设备在运行中出现意外时，所涉及的各种应急切换处置步骤。设备包含大机、小机、服务器、网络设备、专用设备、存储等。应急库标准切换:该处置预案应包含系统切换应急库的相关处置步骤。灾备环境标准切换：该处置预案应包含系统切换灾备环境的相关处置步骤。硬件设备标准关闭：该处置预案包含系统硬件设备关闭时的相关处置步骤。硬件设备标准重启：该处置预案包含系统硬件设备重启时的相关处置步骤。数据库标准关闭：该处置预案包含系统数据库关闭时的相关处置步骤数据库标准重启：该处置预案包含系统数据库重启时的相关处置步骤。应用服务标准关闭：该处置预案包含系统应用服务关闭时的相关处置步骤。应用服务标准重启：该处置预案包含系统应用服务重启时的相关处置步骤。中间件标准关闭：该处置预案包含系统中间件关闭时的相关处置步骤。中间件标准重启：该处置预案包含系统中间件重启时的相关处置步骤。其它通用软件标准关闭：该处置预案包含系统其它通用软件关闭时的相关处置步骤。其它通用软件标准重启：该处置预案包含系统其它通用软件重启时的相关处置步骤。硬件模块故障标准处置：该处置预案应包含系统设备出现硬件模块故障，需要进行在线更换的相关处置步骤。涉及模块如电源、CPU、内存、RAID卡、光纤卡等。恢复回切标准处置：该处置预案应包含系统通过故障救治，排除故障后恢复到原生产环境所涉及的各种回切处置。标准处置说明：请在此对标准处置的主要用途做简要描述。修订日期：说明：请在此描述该标准处置最近一次验证和修订的日期。处置时间：说明：请在此描述完成操作需要的时间。操作步骤：说明：请在此描述具体操作步骤，要求详细到具体的操作命令。验证步骤：说明：请在此描述操作完后的验证步骤，也要求详细到具体的操作命令。示例：标准处置1：主备机切换该标准处置主要起如下作用：生产环境邮件网关设备出现故障无法工作情况下，邮件网关备机通过该标准处置可紧急接管服务。修订日期：2011年3月10日。处置时间：处置时间<20分钟。操作步骤：进入运维终端E:\日常备份\月报\邮件网关邮件服务器策略明细表，找到当日备份及证 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 备份；将备机的IP地址修改为生产主机地址(11.xxx.xxx.31)，重新启动网络；具体操作命令为：vi/etc/sysconfig/network-scripts/ifcfg-eth0），将IPADDRESS项中的地址修改为生产地址，存盘退出编辑。将邮件网关31主机的网线拔除并插到备机对应网卡中；在超级用户权限下执行应用启动命令：#/etc/init.d/smgdrestart。用administrator用户登录https://11.xxx.xxx.31/admin管理界面，进入系统设置---帮助—设置向导--，输入（验证）备份的证书序号和激活码。继续在系统设置---更新管理中，立即更新反病毒库和反垃圾邮件库。登录https://11.xxx.xxx.31:10000端口管理界面，在系统备份管理导入终端中的备份文件，恢复系统配置及策略设置为31主机状态；验证步骤：登录https://11.xxx.xxx.31/admin查看系统设置、系统面板，分别检查设置是否已经恢复成功，对外连接的服务器状态是否正常；继续在https://11.xxx.xxx.31/admin，统计与日志中，分别查看邮件日志、投递邮件、系统状态、过滤统计等，测试收发邮件是否正常工作，过滤是否正常；登录https://11.xxx.xxx.31:10000管理界面，在系统历史统计数据中，分别查看CPU、磁盘、内存、eth0网络接口卡等硬件运行情况；如以上三部分检查都正常，则说明系统主备机切换成功。故障快速定位快速定位流程说明：请在此描述当系统出现未知故障情况下，应急人员因按照何种预设流程进行故障排查，以便能快速定位系统故障。为规范和方便大家填写故障快速定位流程，在预案模版中预设一个空白的应急预案的维护流程，预案修订人员需要根据系统特点修改完善。定位流程描述说明：请根据上节的定位流程图，翔实描述各具体定位流程步骤。）1、2、故障快速定位排查内容说明：请在此详细描述在系统故障排查时，可能涉及的检查的内容、执行的命令、指标阀值等。在预案模板中预设了快速定位排查表，主要涉及应用应用软件、网络状态、硬件状态、通用软件等检查内容。预案修订人员要求认真考虑排查的优先顺序，按照最快故障排查定位的原则对优先顺序进行排序。每步排查步骤都要求有检查内容、操作步骤、操作/复核人、检查结果等具体信息。并要求根据排查结果指定下一步检查内容。如故障定位检查需要相关系统配合，也请按照排查顺序，将相关检查内容添加到排查表中。如检查内容较多，可在排查表中简要描述检查项，详细内容放在预案附录中。系统应急场景分类及描述故障场景分类说明：请预案修订人员根据系统特点，在此对故障场景进行分类并简要描述，要求故障场景分类应能覆盖系统所有可能出现的故障场景。示例：系统故障场景按照故障特点分为五类：硬件故障场景、通用软件故障场景、应用软件故障场景、网络故障场景和其它故障场景。1.硬件故障场景：主要包含系统硬件方面的故障场景。例如。。。2.通用软件故障场景：主要操作系统、数据库软件、中间件等方面的故障场景。例如。。。3.应用软件故障场景：主要包含业务应用系统方面的故障。例如。。。4.网络故障场景：主要包含与网络相关的故障场景。例如。。。5.其它故障场景：主要包含系统相关的外联系统、外部环境等方面的故障。例如。。。硬件故障场景说明：请在此详细列举并描述系统可能出现的各种硬件场景，在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。（预案编制人员在修订应急步骤时，建议参考平台部编制的通用故障处理方案，该方案内包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通过故障处理流程和应急处理步骤。）在预案模板中，系统硬件常见故障事件列举如下：大型机异常报错小型机异常报错加密机设备异常服务器异常宕机设备网卡异常设备CPU异常设备硬盘异常设备内存异常设备光纤卡异常设备RAID卡异常设备HA卡异常设备串口卡异常设备其它部件异常XX故障事件说明：请在XX处补全具体故障事件名称。修订日期：说明：请在此描述该故障事件处置最近一次验证和修订的日期。事件级别：说明：请在此设定该故障事件等级（一级/二级/三级/四级/五级/六级）。划分原则请按照《中国建设银行信息系统生产事件等级认定规定(试行)》(建总发〔2010〕138号)对事件级别的划分。授权级别：说明：请在此设定执行该故障救治步骤所需要的授权级别中心领导授权/部室负责人授权/部室日常授权)。授权级别的设定可参照中心总体预案中的授权级别设定原则。处置时间：说明：请在此在设定执行救治措施，完成故障处置该所需要的时间。场景描述：说明：请在此简要描述该故障场景可能出现的状况和现象。验证 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 ：说明：请在此简要描述可确认该故障事件验证方法和手段。现场保护：说明：请在此描述进行现场保护所使用的现场收集脚本。部分脚本可见附录。救治步骤：说明：请在此此翔实描述故障救治步骤，要求细化到具体的操作指令。如救治步骤调用前面标准处置章节的内容，则必须在此注明调用的具体章节号及名称。示例：邮件网关集群中一台设备硬件宕机修订日期：最近一次验证和修订的日期为2011年3月11日事件级别：五级事件授权级别：部室负责人授权处理时间：26分钟场景描述：应用监控人员通过邮件、短信、实时监控等渠道得知主机不可用。应用用户可以ping通主机IP地址，但不能从控制台登入操作系统，且未发现硬件故障灯亮。验证方法：（3分钟）进入主机房检查主机上是否有硬件报错或是否有黄灯闪，如果没有则说明不是因为硬件的损坏导致的主机不可用。现场保护：（3分钟）如果系统无法响应且屏幕有信息，用手机将提示信息拍下，或者用笔将文字记录下来；系统重启后，执行errspot.sh脚本将系统相关的信息和日志收集起来，以备 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 故障时使用。救治步骤：（20分钟）将备机的IP地址修改为生产主机地址(11.xxx.xxx.31)，重新启动网络；具体操作命令为：vi/etc/sysconfig/network-scripts/ifcfg-eth0），将IPADDRESS项中的地址修改为生产地址，存盘退出编辑。将邮件网关31主机的网线拔除并插到备机对应网卡中；在超级用户权限下执行应用启动命令：#/etc/init.d/smgdrestart。用administrator用户登录https://11.xxx.xxx.31/admin管理界面，进入系统设置---帮助—设置向导--，输入（验证）备份的证书序号和激活码。继续在系统设置---更新管理中，立即更新反病毒库和反垃圾邮件库。登录https://11.xxx.xxx.31:10000端口管理界面，在系统备份管理导入终端中的备份文件，恢复系统配置及策略设置为31主机状态；通用软件故障场景说明：请在此详细列举并描述系统所有可能出现的操作系统、数据库、中间件等通用软件故障场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。（预案编制人员在修订应急步骤时，建议参考平台部编制的通用故障处理方案，该方案内包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通过故障处理流程和应急处理步骤。）在预案模板中，系统通用软件常见故障事件列举如下：系统数据库崩溃数据库存储损坏数据库无法正常处理请求数据库表死锁数据库表数据无法插入逻辑日志满导致数据库挂起数据库启动失败数据库交易处理缓慢数据库表空间OffLine数据库无法连接或无响应数据库性能极剧下降数据库短时间内不可用数据库实例监听宕掉数据库实例出现大量等待事件数据库实例无法切换逻辑日志Tuxedo服务异常或僵死weblogic实例异常或僵死AIX操作系统异常或报错LINUX操作系统异常或报错HP-UX操作系统异常或报错WINDOW操作系统异常或报错中间件异常或报错应用软件故障场景说明：请在此详细列举并描述系统所有可能出现的应用故障场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。在预案模板中，系统应用软件常见故障事件列举如下：系统应用不能正常运行应用进程异常系统应用无法启动系统应用响应缓慢或无响应XX交易异常报错XX交易流量异常下降XX交易成功率异常下降用户无法登陆应用界面用户连接应用异常报错应用服务队列堵塞应用出现大量繁忙，交易时间延长应用共享空间异常应用处理性能下降部分分行应用堵塞，无法连接总行某类特定交易成功率异常某类特定交易流量异常下降网路故障场景说明：请在此详细列举并描述系统所有可能出现的网络故障场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。在预案模板中，系统网络常见故障事件列举如下：外联节点网络异常中断网络外联服务不可用AP与DB间网络异常或不可用WEB与AP间网络异常或不可用网络端口流量异常升高/下降防火墙连接数异常IP地址异常或出现冲突数据传输中出现异常丢包病毒爆发，堵塞网络网络被攻击，不可用F5服务异常或报错其它故障场景说明：请在此详细列举并描述系统所有可能出现的外部环境、外联、外部系统等故障场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。在预案模板中，系统其它常见故障事件列举如下：机柜异常掉电外联系统交易异常外联系统不可用设备被人为破坏恢复回切场景说明：请在此详细列举并描述系统所有可能出现的恢复回切场景。在预案模板中列举了一些常见的故障事件，预案编制人员要根据系统实际情况酌情修订。修订后预案表中的列举的故障事件都要求在预案随后的章节里进行详细描述。在预案模板中，系统恢复回切场景列举如下：应用回切数据库回切灾备库回切附录附录一：人员联系表说明：请在此详细描述与本系统应急相关的所有人员。在人员联系表中应至少含有中心领导层、业务部门、系统处室、网络、机房、平台、合作公司、外部机构和外部服务商等应急处置所需的人员。要求在预案模板设置的表中能明确应急处置人员的技术水平和能力，以及B角人员的技术水平是否胜任。在预案模板的人员联系表中，每个人员信息预设如下字段：姓名所属单位职务联系邮箱固定电话移动电话专业技能应急职责说明：请在此注明人员在应急中的职责。如指挥A角、指挥B角、操作员A角、操作员B角、审核员A角、审核员B角、外联人员A角、外联人员B角、公司技术人员A角、公司技术人员B角等。联系表修订日期附录二：应急演练方案说明：附录二的应急演练方案是数据中心通用演练方案模板，在组织系统应急演练时，演练人员可以参考使用。附录三：应急演练报告说明：附录三的应急演练报告是数据中心通用演练报告模板，在组织系统应急演练时，演练人员可以参考使用。附录四：故障应急报告说明：附录四的故障应急报告是数据中心通用报告模板，在进行系统应急时，应急人员可以参考使用。附录五：故障现场收集脚本说明：脚本编号编制规则如下：GXXX--通用脚本(general)，为数据中心系统平台部整理的通用故障收集脚本，在故障情况下可有系统应急人员直接使用；SXXX--特殊脚本(special)，为数据中心系统平台部整理的特殊故障收集脚本，针对不同的场景和具体问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 进行执行的脚本（脚本执行可能会对系统有一定风险，建议由专业技术人员执行）CXXX—自定义脚本(custom),数据中心预案修订人员可针对不同的场景和具体问题，自行开发的用于特定系统和应用信息收集的脚本。序号脚本名称系统脚本用途（简要说明）G001aix\general\general.aix.shAIX系统通用故障收集脚本,主要用于收集系统、硬件、IO、网络、内存、snap、Dump、系统安全方面等信息。G002bea\tuxedo\general\BEAMonitor_MP.shTuxedo通用故障收集脚本,主要用于MP模式下收集应用信息G003bea\tuxedo\general\BEAMonitor_SHM.shTuxedo通用故障收集脚本,主要用于SHM模式下收集应用信息G004hp\general\cola.shHP系统通用故障收集脚本,主要用于收集系统、硬件、IO、网络、内存、HACMP、Dump、系统安全方面等信息G005hp\general\colb.shHP系统通用故障收集脚本,主要用于收集网络、ipcs等信息G006informix\general\collect.informix.shInformix系统通用故障收集脚本,主要用于收集Onstat、env、ulimit、csdkversion、oninit、typetab、bar_act.log、online.log、sqlhosts、onconfig等信息G007oracle\general\general_script.shOracle系统通用故障收集脚本,主要用于收集数据库常用信息。G008……S001aix\special\collect_part_ports.shAIX系统特殊故障收集脚本,主要用于收集网络TCPDUMP等信息。S002aix\special\collect_spec_port.shAIX系统特殊故障收集脚本,主要用于收集网络端口等信息。S003aix\special\coredummp.shAIX系统特殊故障收集脚本,主要用于收集系统coredummp相关信息。S004aix\special\HACMPException.shAIX系统特殊故障收集脚本,主要用于收集系统HACMP相关信息。S005aix\special\Memoryhigh.shAIX系统特殊故障收集脚本,主要用于收集系统内存相关信息。S006aix\special\net.shAIX系统特殊故障收集脚本,主要用于收集系统网络方面信息。S007bea\weblogic\special\thread_dump.shWeblogic特殊故障收集脚本,主要用于收集DUMP信息。S008informix\special\collect.sp.informixInformix特殊故障收集脚本,主要用于收集informix共享内存信息。S009oracle\Special\dbv.shOracle特殊故障收集脚本,主要用于收集dbv信息。S010oracle\Special\os.shOracle特殊故障收集脚本,主要用于收集vmstat等信息。S011oracle\Special\topsql.shOracle特殊故障收集脚本,主要用于收集top等信息。S012……C001errspot.sh(示例)系统特色脚本，用于收集系统相关的应用信息，。。C002压缩包脚本描述：序号脚本名称脚本说明G001aix\general\general.aix.sh参见预案模板压缩包G002bea\tuxedo\general\BEAMonitor_MP.sh参见预案模板压缩包G003bea\tuxedo\general\BEAMonitor_SHM.sh参见预案模板压缩包G004hp\general\cola.sh参见预案模板压缩包G005hp\general\colb.sh参见预案模板压缩包G006informix\general\collect.informix.sh参见预案模板压缩包G007oracle\general\general_script.sh参见预案模板压缩包S001aix\special\collect_part_ports.sh参见预案模板压缩包S002aix\special\collect_spec_port.sh参见预案模板压缩包S003aix\special\coredummp.sh参见预案模板压缩包S004aix\special\HACMPException.sh参见预案模板压缩包S005aix\special\Memoryhigh.sh参见预案模板压缩包S006aix\special\net.sh参见预案模板压缩包S007bea\weblogic\special\thread_dump.sh参见预案模板压缩包S008informix\special\collect.sp.informix参见预案模板压缩包S009oracle\Special\dbv.sh参见预案模板压缩包S010oracle\Special\os.sh参见预案模板压缩包S011oracle\Special\topsql.sh参见预案模板压缩包C001C002