同城灾备中心建设情况及业务持续性演练方案汇报(PPT 39页)

同城灾备中心建设情况及业务持续性演练 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 汇报汇报内容同城灾备中心建设情况简介业务持续性计划演练方案简介灾备体系建设的必要性满足国家及行业监管要求《重要信息系统灾难恢复指南》GB/T20988-2007《保险业信息系统灾难恢复管理指引》2008年20号文公司业务及IT发展到一定阶段的内生性需求适应保险行业服务水平日益提高的要求应对突发灾难的最后一道防线业内主流的灾备复制技术的对比　基于存储盘阵的灾备复制技术基于数据库的灾备复制技术网络支持同步传输异步传输底层硬件必须同构支持异购产品目标端不可用可用\双活状态支持模式多对一\一对多\级联\双向多对一\一对多\级联\双向是否支持按需复制全量同步支持数据丢失量零丢失分钟级灾备软件复制原理业务系统分类容灾A类业务系统B类支持支撑系统C类业务系统RTO<=2小时，RPO<=30分钟RTO<=2小时，RPO<=8小时RTO<=24小时，RPO<=8小时核心业务系统/银保互连互通域控ADCALLCENTER系统财务系统/OFSA准入系统EAD核心报表/MIS收付系统域名解析系统DNS稽核系统保险卡系统企业服务总线ESB偿付能力系统ILOG统一认证中心AC保监上报投资系统补丁分发系统WSUS反洗钱银企直连防病毒系统审计系统DM系统SVN系统工会系统网销系统OA系统邮件代理理赔影像系统ITS人力资源系统自主查询飞天诚信令牌认证系统准备金自助机　A、B两类系统为应用级容灾，C类系统为数据级容灾我司同城灾备中心建设的方法论及路线图我司灾备中心与国家 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 对标同城灾备中心建设情况简介业务持续性计划演练方案简介监管要求保监会2008年第20号文第二十九条　保险机构所制定的灾难恢复预案，应按照由模拟到实际、从易到难、从局部到整体的原则进行测试和演练，及时总结评估，完善灾难恢复预案，通过演练使得相关人员熟练灾难恢复操作及流程。灾难恢复预案的演练包括但不限于桌面演练、模拟演练、实战演练、部分演练和全面演练。保险机构应定期组织开展灾难恢复预案的演练工作。灾难恢复预案每年至少演练一次，演练类型可以是模拟演练、实战演练、部分演练和全面演练。演练目的验证业务持续计划的完整性、易用性、明确性、有效性和兼容性；验证灾难恢复管理组织架构的领导、决策与指挥能力；验证公司灾难恢复管理组织架构中各相关部门的协同工作能力；使灾难恢复相关的技术人员与业务人员能够熟悉业务持续计划，提高员工的灾难备份和业务持续意识，提高恢复团队的实际操作技能；验证灾备技术的有效性，确认灾难恢复水平是否满足中银保险灾难恢复目标（RTO、RPO）的要求。本次演练的形式桌面演练桌面演练是所有参演人员根据预设的场景，采用会议的方式，以角色扮演为基础，就应急响应和恢复流程中的管理与指挥协调方面问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 进行桌面推演。 模拟演练模拟演练（实际测试演练）是利用备用或测试系统进行模拟的系统切换和进行业务恢复操作，不涉及真实的业务交易，不影响生产正常运行。实战演练实战演练是指对灾难备份系统进行真实切换和真实业务交流，由于系统切换的复杂性，在进行系统切换和业务恢复时，可能会存在一定的风险因素，并且带来短时间 的服务中断。通过实战演练，可以最大程度地检验灾难备份系统和业务持续计划的有效性和恢复能力。演练的范围涉及的信息系统保险卡系统演练的时间六月二十一日参演机构全辖保险卡系统拓扑演练对系统产生影响情况分析对前台服务的影响用户只能访问前台应用首页，不能进行其他任何操作，与其他系统的交互也就不能进行了。短信数据提取不到，发送不了短信。保单不能传送到后台。对后台服务的影响由于登录调用的是AC的接口校验，所以用户可以登录系统，点击左边应用菜单，但是不能进行其他任何功能性的操作。对代理服务的影响由于登录调用的是AC的接口校验，所以用户可以登录系统，点击左边应用菜单，但是不能进行其他任何功能性的操作，同时由于代理系统为银保通系统提供了服务，代理系统不能进行数据操作，银保通系统也就不能进行其他操作。对SFTP服务的影响数据不能正常提取、传送。对电子签章服务的影响由于电子签章服务不连接数据库，所以不会对该服务造成影响。AC系统使用的不是保险卡的数据库，所以保险卡数据库宕机不会对AC造成影响。演练对系统产生的影响分析技术层指挥层决策层演练组织架构相关职责灾难恢复领导组领导突发事件的应急处置，负责应急资源的协调和调度,对参与演习的各工作组进行监督管理和组织,并做出重大应急处置的决策；灾难宣告,负责与董事会沟通等。灾难恢复指挥组现场指挥应急处置、损害评估、灾难恢复；向演练领导小组汇报应急处置情况、损害评估情况、提供处置决策建议；灾难预警；监督、检查和总结灾难恢复工作。技术恢复组在指挥组的指挥下实施应急处置、灾难恢复操作；现场评估灾难损害程度；负责灾难恢复过程的记录、报告和通讯联络；分析和总结灾难恢复工作。业务恢复组负责业务功能核查，追补数据等业务恢复职责；协助技术恢复组进行突发事件和灾难恢复的处置；完成业务测试案例；负责业务恢复确认。相关职责后勤保障组负责突发事件的设备、场地、人员、工具、后勤等资源保障的管理和协调工作；负责保障人力、物力、电力、通讯、安全保卫等工作；与分支机构及合作伙伴通讯联络；负责突发事件前的资源统一准备和事件后的资源回收；负责与总行、行业协会、监管机构等相关部门的沟通，确保信息通常，避免灾难的影响扩大。厂商支持组根据双方的约定提供灾难恢复所需设备等相关资源；根据双方签订的服务合同、服务等级协议（SLA）、以及备忘录等材料提供技术支持。客户投诉支持组负责公司公共关系处理，包括对外的解释、媒体公关等事宜，减少公司由于灾难带来的负面影响。演练场景约定本次演练的场景北京西单生产中心的保险卡系统数据库系统应用和数据库分别出现宕机北京亦庄的同城灾备中心启动对应应用和数据库服务接管保险卡系统后北京西单生产中心的保险卡系统恢复正常，系统由亦庄灾备中心回切西单生产中心应急、切换、回切的全过程本次演练涉及系统示意图一（正常应用）生产WEB+APP灾备WEB+APP生产数据库灾备数据库INTERNETIPsecVPN连接池连接池本次演练涉及系统示意图二（应用切换）生产WEB+APP灾备WEB+APP生产数据库灾备数据库INTERNETIPsecVPN连接池连接池场景一场景一步骤执行人操作话述中午14点，监控系统短信告警：保险卡系统3台应用服务器中的两台已经宕机，无法对外提供服务。汇报系统管理员看到告警短信后，向技术恢复组组长汇报报告领导，目前保险卡系统3台应用服务器中的两台停机对外提供服务，目前保险卡系统仍可用，但服务响应将会减慢，我们将会尽快修复，预计修复时间为30分钟。汇报技术组组长接到保险卡系统两台应用服务器停止服务报告后，向指挥组汇报报告领导，保险卡系统3台应用服务器中的两台出现故障，无法对外提供服务，目前保险卡系统仍有一台应用服务器可用，但服务响应将会减慢。现在已经组织人员进行修复，预计修复时间为30分钟。指示指挥组组长收到报告后，进行修复工作安排知道了，一定要尽快修复。另外，安排数据库、网络相关人员随时监控保险卡系统的业务，出现问题及时汇报。修复系统管理员系统管理员在紧急修复，进展比较顺利　汇报系统管理员修复应用服务器后，向技术恢复组组长汇报报告，保险卡系统停止服务的两台应用服务器已经修复，并开始对外提供服务汇报技术组组长接到应用服务器恢复正常报告后，向指挥组组长汇报报告领导，目前保险卡系统停止服务的两台应用服务器已经修复，并开始对外提供服务，保险卡系统对外服务已经恢复正常。本次演练涉及系统示意图三（数据库切换）生产WEB+APP灾备WEB+APP生产数据库灾备数据库INTERNETIPsecVPN连接池连接池场景二场景二步骤执行人操作话述15点，监控系统短信告警：保险卡系统数据库服务器已经宕机，无法对外提供服务汇报系统管理员看到告警短信后，向技术恢复组组长汇报报告，保险卡系统数据库服务器出现故障，目前保险卡系统不可用，我们将会尽快修复，预计修复时间为30分钟。汇报技术组组长接到保险卡系统数据库服务器停止服务报告后，向指挥组组长汇报报告领导，保险卡系统数据库服务器出现故障，无法对外提供服务，目前保险卡系统不可用。现在已经组织人员进行修复，预计修复时间为30分钟。指示指挥组组长收到报告后，进行修复工作安排知道了，一定要尽快修复。另外，安排数据库、网络相关人员随时准备，一旦系统启动，立刻恢复业务，出现问题及时汇报。修复系统管理员系统管理员在紧急修复，进展不是很顺利　汇报系统管理员数据库服务器无法在预计时间内进行修复，后续修复时间预计为3小时，向技术恢复组组长汇报报告，保险卡系统数据库服务器出现硬件故障，需要向厂家调取备件后才能恢复，暂时无法恢复业务，预计备件到场时间为2小时，后续1小时进行修复，因此建议启动灾难恢复预案。汇报技术组组长接到数据库服务器无法在RTO内恢复正常报告后，向指挥组组长汇报报告领导，保险卡系统数据库服务器的修复预计还需要3小时，已经超出了我们 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 的RTO，后续该如何操作，请指示。指示指挥组组长接到数据库服务器无法在RTO内恢复正常报告后进行后续工作指示你们尽量在RTO规定时间内恢复，同时我将请示灾难恢复领导组进行灾难恢复准备工作请示指挥组组长向灾难恢复领导组汇报报告领导，保险卡系统数据库服务器30分钟前出现硬件故障，无法对外提供服务。备件到场及修复时间预计还需要3小时，超过RTO。已经责成相关人员尽快修复，目前是否开始进行灾难恢复准备工作？指示领导组组长　可以。你先通知相关人员，进行人员集结，开始进行相关应急指挥工作。场景三场景三步骤执行人操作话述下午16点，应急指挥中心成立、人员集结完毕应急指挥准备工作指挥组组长开始灾难准备工作请后勤保障组进行后勤保障及危机公关工作，请客户投诉支持组准备问题应答准备，请技术恢复组和业务恢复组对此次事件可能造成的影响进行初步评估初步影响评估技术组组长进行初步影响评估，并向灾难恢复指挥组汇报报告领导，根据指示，技术恢复组和业务恢复组人员已完成初步评估，数据库服务器备件不到场，服务器无法恢复正常。根据与厂商的协调，备件已经发出，但到场最快还需要半小时，另外修复的时间也需要最少半小时，且尚存在其他不可预估的风险，建议灾难预警。灾难预警指挥组组长决定灾难预警立即向中金灾备中心预警，请技术组准备好系统切换前的准备工作进行灾难预警技术组执行人进行灾难预警中金灾备中心，我是中银保险XXX，现通知你们进入预警状态，做好相应的保障准备工作　技术组组长汇报准备工作进展报告领导，现在一切技术准备工作已经就绪，灾备系统状态正常，可以准备进行切换。损害及影响评估指挥组组长再次进行损害及影响评估请技术恢复组和业务恢复组再次进行损害及影响评估报告损害及影响评估结果指定的灾难评估人员填写灾害评估表及灾难宣告表第一栏报告领导，与厂家联系，由于道路拥堵，备件还在路上，具体恢复时间尚无法估计。《损害评估表》、《灾难宣告表》已经填写完毕，建议进行灾难宣告，请指示向领导组汇报损害及影响评估结果指挥组组长填写《灾难宣告表》第二栏，向领导组报告损害评估结果，建议灾难宣告报告领导，根据现损害及影响评估结果，由于备件具体到场时间无法估计，业务停止时间过长，建议领导组进行灾难宣告，另保险卡系统切换时间为15分钟，请指示。答复领导组组长就灾难宣告事宜进行答复领导组将认真研究是否进行灾难宣告，以及何时进行宣告，研究结果会及时通知。同时请密切关注现场情况，有进展及时汇报。备件仍未到场，保险卡系统无法在预定RTO内恢复灾难宣告领导组组长签署《灾难宣告表》第三栏，同时进行灾难宣告经过领导组的研究，接受指挥组灾难宣告建议，对外进行灾难宣告；请指挥组组织人员进行切换工作，防范风险，务必保证在16点前恢复保险卡系统的运营；请后勤保障组根据需要向上级主管部门、董事会及其他监管部门进行解释，降低影响。灾备切换技术组进行切换工作，将保险卡生产系统切换到灾备中心运行　系统切换进展汇报技术组组长向指挥组汇报报告，保险卡系统已经切换到灾备中心，数据库运行正常，业务恢复组可以开始业务验证与恢复工作灾备切换业务组业务验证与恢复　业务恢复进展汇报业务组组长想指挥组汇报报告，经验证，业务已经恢复正常，业务数据也恢复到停止服务的时间，可以正式对外提供服务业务恢复进展汇报指挥组组长向领导组汇报报告领导，保险卡业务已经恢复正常，并正式对外提供服务，灾难切换完成灾难切换进展指示领导组组长对灾难切换进展进行指示，安排后续工作很好。请指挥组继续关注生产的恢复情况，并根据进展安排时间恢复到生产环境。同时由于由灾备环境顶替生产，请随时关注业务运行情况，以防范风险。场景四场景四步骤执行人操作话述下午17点，备件到场，保险卡数据库服务器恢复生产环境恢复汇报技术组组长汇报生产环境恢复进展报告，生产数据库服务器备件已经到场，数据库环境恢复正常，可以进行回切操作回切指示指挥组组长针对生产恢复情况进行回切指示17点15分开始，请技术恢复组进行回退操作，请业务恢复组进行回退后的业务验证与数据恢复。有情况及时汇报回切技术组回切　回切汇报技术组组长针对回切情况向指挥组汇报报告领导，系统已经回退到生产环境，数据库恢复正常，网络恢复正常，可以开始进行业务验证与恢复。回切业务组回切后业务情况验证　回切汇报业务组组长针对回切情况向指挥组汇报报告，经验证，业务已经回退到生产环境，业务数据恢复到回退前，可以对外提供服务回切汇报指挥组组长针对回切业务恢复情况向领导组汇报报告，业务已经回退到生产环境，业务数据恢复到回退前，现在已经开始利用生产环境对外提供服务，整体灾难恢复已经完成。指示领导组组长　很好，灾难恢复圆满完成。应急指挥中心解散，请安排好后续的人员、汇报、总结等工作。本次灾难恢复到此结束实战演练条件约定演练数据来源的约定演练数据来源于真实的生产数据演练数据去向的约定本次是实战演练，演练数据将进入生产演练系统的约定保险卡灾备系统演练网络的约定生产网络数据安全的约定（出现接管失败、数据丢失的恢复方案）与应用系统日志进行核对等演练前准备工作确认（一）序号　系统自查内容自查情况责任人1网络生产中心至灾备中心专线是否正常　吴震铭2生产中心内部各个域之间的网络是否畅通　3灾备中心内部各个域之间网络是否畅通　4参演机构到两个中心之间的网络是否畅通　5与短信网关等外围系统的网络畅通　胡小红6服务器确认源\目标主机可登陆　7确认源\目标主机无硬件问题　8确认源\目标主机目录空间可用　9确认源\目标主机操作系统版本一致　10确认监控、管理平台的保障　11应用确认应用对外提供服务正常　薛建龙12确认应用系统满足切换演练的条件　演练前准备工作确认（二）序号系统自查内容自查情况责任人13数据库确认数据库主备库的硬件设备的正常运行　宋国哲14确认主机资源、存储等参数满足切换需求　15确认主备库之间的实时同步队列正常进行　16确认源\目标数据库版本　17冗灾确认同步复制软件部署情况　方航18确认容灾切换流程可行性　19相关人员资源的确认　20问题跟踪解决情况　21容灾系统维护方案及容灾切换流程的可行性　22　确认保险卡系统切换手册为最新版本　23应急预案确认　实战演练流程（一）阶段序号阶段名称操作小组序号工作事项负责人操作人复核人开始时间结束时间完成情况阶段一演练准备工作技术组1下发“中银保险业务持续性演练的通知”　方航赵爱忠　　　业务组2确认演练所用的业务案例李哲峰\甘正良　　　　　技术组3确认保险卡系统切换手册为最新版本　宋国哲方航　　　领导/指挥组4演练领导小组人员就位赵爱忠　　　　　技术组5演练技术组\厂商支持组人员就位方航　　　　　业务组6演练参与人员就位并通知参演的机构确认准备工作李哲峰\甘正良　　　　　技术组7确认两中心环境状态是否正常　宋国哲\胡小红\吴震铭方航　　　实战演练流程（二）阶段序号阶段名称操作小组序号工作事项负责人操作人复核人开始时间结束时间完成情况阶段二演练正式开始技术组1向指挥组上报灾难发生场景及灾难影响评估,填写损害评估表,建议灾难宣告并进行系统切换.方航　　　　领导/指挥组2灾难宣告\指示系统切换赵爱忠　　　　　技术组3配置好复制链路　宋国哲方航　　　技术组4源端shutdownabort数据库　宋国哲方航　　　技术组5切换准备,调整目标库的fk\job\trigger　宋国哲方航　　　技术组6停止export进程　宋国哲方航　　　技术组7激活反向复制　宋国哲方航　　　技术组8应用切换到目标库.　宋国哲方航　　　技术组9灾备中心系统就绪确认　宋国哲方航　　　技术组10通知参演人员开始业务操作　宋国哲方航　　　参演机构11恢复原库　宋国哲方航　　　技术组12调整原库的fk\trigger\job　宋国哲方航　　　技术组13启动目标库export　宋国哲方航　　　参演机构14参演机构以电话及传真方式通知业务组，完成交易测试。李哲峰\甘正良　　　　　业务组15生成报表，验证灾备中心业务数据于生产中心业务数据的一致性李哲峰\甘正良　　　　　技术组16通过数据库技术验证灾备中心业务数据与生产中心业务数据的一致性　宋国哲方航　　　实战演练流程（三）阶段序号阶段名称操作小组序号工作事项负责人操作人复核人开始时间结束时间完成情况阶段三灾备系统恢复技术组1向指挥组上报生产中心系统恢复,请示回切　方航　　　　领导/指挥组2演练领导小组下发恢复指令赵爱忠　　　　　技术组3目标库停止应用　宋国哲方航　　　技术组4修改原库和目标库的fk/job/trigger　宋国哲方航　　　技术组5确认原库的sequence值比目标库大　宋国哲方航　　　技术组6停止目标库export　宋国哲方航　　　技术组7切换应用到原库　宋国哲方航　　　技术组8检查数据被复制到目标库　宋国哲方航　　　技术组9确认生产环境数据库状态是否正常　宋国哲方航　　　技术组10确认数据库关联的其他系统运行是否正常　宋国哲方航　　　业务组11用业务手段确认两中心数据一致性李哲峰\甘正良　　　　　技术组12用技术手段确认两中心数据一致性　宋国哲方航　　　实战演练流程（四）阶段序号阶段名称操作小组序号工作事项负责人操作人复核人开始时间结束时间完成情况阶段四演练总结领导/指挥组1收集“演练记录表”及演练总结报告　　　　　　技术组2编写演练总结报告方航　　　　　业务组3编写演练总结报告李哲峰\甘正良　　　　　技术角度数据一致性对比比较几个关键业务表数据（首先是记录数，然后是工具逐条比对）卡前后台同名表是否实现前后台卡业务表card销售单表sellsettledoc、sellsettleitem前台保单信息表applicant、insurant业务角度功能点及数据一致性对比测试业务系统全流程功能点测试业务功能点数据一致性检查实战演练关键风险点评估切换前检查1、检查切换环境、切换脚本、测试用例、应急方案的完备性根据切换前检查报告，演练前1天上报决策层是否进行应急演练技术组、业务组2、检查同步队列是否正常3、检查主、备数据库是否正常4、检查应用进程是否正常5、关注切换演练通知的反馈切换过程1、检查系统标记位是否正常切换根据检查结果，若没有达到预期结果，及时上报。技术组、领导\指挥组2、检查主库同步队列是否有数据未完成同步切换后测试1、检查切换后灾备数据库是否正常接管业务若办理业务失败，或数据同步不正常，及时上报技术组、业务组2、检查切换后业务是否能够正常受理3、检查切换后同步软件是否反向同步回切生产1、 检查是否能将数据方向切换回生产若通过正常手段无法回切生产或产生数据不一致，及时上报。技术组2、检查主备数据库数据一致性3、检查回切后同步软件是否正常同步4、检查数据库关联的其他系统运行情况演练流程演练方案的制定（业务持续性计划）演练方案的审批演练方案的实施演练后 评价 LEC评价法下载LEC评价法下载评价量规免费下载学院评价表文档下载学院评价表文档下载 业务持续计划的有效性和可用性；演练结果与演练目标的差距；演练过程中发现的问题；演练工作的组织；参演人员的应急能力；应急资源的协调、保障能力。业务持续性计划的生效和发布业务持续性计划的定期演练和更新维护特此汇报，谢谢