电信运营系统的数据库后台监控

电信运营系统的数据库后台监控 暨南大学 硕士学位论文电信运营系统的数据库后台监控 姓名:叶倩 申请学位级别:硕士 专业:光学 指导教师:张永林 20030101 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得学、旬，学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名:,，景,,耆 签字日期:力帅;年,月灯日 学位论文版权使用授权书 本学位论文作者完全了解酝匆川訾有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权蝥句卉学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 (保密的学位论文在解密后适用本授权书)学位论文作者签名:—京,,膏 铷签名:旅滹签字日期:炒善年多月，，日 签字日期:，呜年乒月,,曰学位论文作者毕业后去向工作 摘要 对于…个基于,,,;,,数据库的电信单位: 电话:通讯地址: 邮编: 运营系统来说，数据和数据库的管理占据了系统管理绝大部分的工作量，也是难度和范围最大的部分。为了保证基础数据的可靠和完整，以及数据库随时处于最佳状态，需要着重在数据库的性能和可靠性方面加强管理。同时，数据库管理员也需要借助有效的管理工具帮助改善工作质量。从而能够使电信运营系统运行更稳定，事务处理更快。 本课 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 的工作主要是研究电信运营系统的,,,;,,数据库后台监控软件的实现。本文首先从数据库后台监控的重要性出发，接着介绍了后台监控的现状、电信运营系统的三层体系结构、数据库监控工具的管理目标。然后开始详细讲述,,,;,,数据库后台监控软件的功能及其实现思路。并就如何采集数据库后台监控信息的数据、如何实现,,,,数据源的自动管理和采用,,, 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 实现跨平台文件访问等关键技术进行了沦述。 论文的最后是对此套后台监控软件的优点和本人在课题研究期间的研究任务进行了总结。关键词:后台监控 数据库性能优化 初始化参数文件 开放式数据库链接 ,,,,,,;, ,,, ,,,,;,, ,,,,,,,,, ,,, ,,,,,,,,,, ,,,,,, ,,,;, ,,,,, ,, ,,,;,,,,,,,,,,，,,, ,,,,,,,,,,, ,, ,,,, ,,, ,,,,,,,, ,,,, ,, ,,, ,,,, ,,,,,, ,, ,,,, ,,,,, ,,,,,,,,,,，,,, ,,,, ,,, ,,,, ,,, ,,,, ,,,,,;,,, ,,,,,(，, ,,,,, ,, ,,,,,, ,,,, ,,,,;,,,, ,,, ,,,,,,,, ,,, ,,,,,,,,,,，,,, ,,,,,, ,,,, ,,,,,,,, ,, ,, ,,, ,,,, ,,,,,,，,, ,,,,,, ,,印,,,,,,,, ,, ,,,,,,,,,,,,, ,,, ,,,,,,,,,, ,, ,,,,,,,,?, ,,,,,,,,,;, ,,,,,,,,,,,,,,(,, ,,, ,,,，,, ,,,,，,,,,,,,, ,,,,,,,,,,,,,,(,,,,),,,, ,, ,,, ,,,,;,,,,,,,,,,,,,, ,,,,, ,, ,,,,,,, ,,,,, ,,,, ？,,,,,,(,, ,,, ,,,,;,, ,,,,,,,,, ,,,,,,,,,,,,, ,,,,,, ;,, ,,, ,,,,,, ,,, ,,,,, ,;,,,,, ;,, ,, ,,,;,,,,, ,,,,,,( ,, ,,,, ,, ,, ,,,,, ,,, ,,,,,,,,,,, ,, ,,,;,, ,,,,,,,, ,,;,,,,,,, ,,,,,,,，,,,;, ,, ,,,, ,, ,,,,;,, ,,,,,,,,, ,,, ,,,,,,,,,, ,,,,,,(,,,, ,,,,, ,,,, ,,,,,,,,,,,,;, ,,, ,,,,,,,,;, ,, ,,,,,,,, ,,;,,,,,,, ,,,,,,, ,,,, ,,, ,,,,,;,,,,, ,,,,,,,,,, ,,,,,,, ,,,,, ,,,,,,,,，,,,,, ,,,,;,,,, ,, ,,,,;,, ,,,,,,,,, ,,,,,,,,,,,,, ,,,,,, ,,, ,,, ,,,,,,,,,, ,,,, ,, ,,,,,,,, ,,,,,,, ,,,,,(,,, ,,,,,, ,,,, ,,;,, ,, ,,,;,,,, ,,, ,,,,,, ,,,,, ,,,,, ,,,;,, ,,,,,,,, ,,;,,,,,,, ,,,,,,,,,,, ,, ,,,, ,,,;,,, ,,, ,,,,,,,,(,,, ,,,,, ,,, ,,;,,,,,,,,,，,,;, ,, ,,, ,, ;,,,,;, ,,,,,,, ,, ,,,,,,,, ,,,,,,, ,,,,,,,,,,,，,,, ,, ,,,,,,, ,,,,,,,,; ,,,,,,,,,, ,,,,,,，,,, ,,, ,,, ,, ,,,,,,, ,,,, ,;;,, ,,,,,,,,, ,,,,,,,,, ,,,,, ,,,,,,, ,,, ,,,,,,(，, ,,, ,,,，,,, ,,,,, ,,,, ,,,,,,,,,,, ,,, ,,,,, ,, ,,,, ,,,,,,, ,,,,,,,, ,,, ,, ,,,,(,,,,,,,,:,,;,,,,,,, ,,,,,,, ,,,,,,,, ,,,,,,,,,;, ,,,,,,， ，,,,,,, ,,,,,,,,, ,,,, ,,,,(,,,, ,,,,,,,, ,,,,,;,,,,,,) 第,章绪论 第,章绪论 ,,世纪是知识经济的时代，信息技术发展迅猛，并渗透到整个社会的每个角落。与此同时，通信网络将成为新时代的重要发展基础。目前，传统的电信网正在融合各种先进的网络技术，向下一代公用通信网络演进，光网络正是实现这种演进的重要基础网络平台。如今大量光网络的新技术都已经运用到其中，例如,,,,、光节点技术等等。 光网络的发展使得它逐渐成为了许多行业开展业务不可缺少的基础。通常我们采用,,，参考模型来描述网络层次。它的,层分别表示了不同的网络功能，分别是:物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。本文所写的课题正是针对于应用层进行的开发。,(,数据库后台监控的重要性 如今，很多大中城市的电信运营系统的底层数据库均是采用,,,;,,。在系统运行初始，由于电信客户数量较少，数据并行运算量小，系统性能表现相对稳定。但是随着人们的生活水平的日益提高，电信客户逐渐攀升。另外，电信为了争夺市场份额，其业务种类也不断推陈出新。这样，在保持原有电信系统硬件的基础上，系统负荷量增大，数据量高达数寸„到上百个,,(,,,“,,,,)级，同时由于缺乏对电信系统数据库的性能进行监控，并实施优化策略，使得系统在日常运营工作中时常会出现数据库重大问题的发生。这不仅给电信运营商造成经济上的损失，而且也给社会公众的生活带来不便。因此，针对该现象开发出一套可实时监控数据库运行性能的软件是个十分有 意义的项目。它可以帮助电信运营商的,,,及时掌握当前数据库的运行情况，并迅速做出适当的优化措施，可以防止数据库宕机或其它重大事件的爆发，从而保证电信运营系统正常工作。,(,数据库后台监控现状 就当前数据库后台监控的现状来说，虽然国外已经有几个相关软件，但是目前国内还没有开发出一套成熟、实用的监控软件。下面对几个市场上常见的国外 第,章绪论软件进行介绍和优缺点分析。 ?,,,,,, ,,,(免费) ,,,;,, ,,,,,,,,,, ,,,,,,,是一个集成化的,,,;,,数据库管理工具，它采用三层结构，对所有功能组件提供了集中的数据存储，集成的作业调度和事件管理的功能。,,,的优势在于集成性好，管理功能全面，而且免费。如果对管理水平的需求没有太高，,,,可以帮助进行管理，是很好的选择。但是在现有版本的,,,中存在,,,,问题和较多的中文支持问题，很多模块无法很好使用。 ?,,,,, ,,,,, ,,,,,,,,的,,,;,,系列产品，包括应用 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 、开发、测试、实施、监控、管理、优化、备份和负载平衡解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，受到,,,;,,用户的普遍欢迎。简单易用的图形化用户界面，灵活的模块化结构、可集成的多种产品选项，都是其受到用户青睐的原因。,,,,,产品的优势是专业化程度高，易用性强。它的使用，不仅降低了，,工作的复杂程度，提高了工作效率，也使,,人员的专业技能大大提升。主要不足体现在不支持中文，另外对管理水平的需求不高的用户来说，运行,,,,,会因为要求的硬件资源高而给客户端系统的运作造成缓慢的现象。而且费用比较昂贵，按照,,,和节点数来收取费用，对于电信系统来说起码需要,,万元以上。 ?,,,,,,,,，, ,,主要定位于大型机和开放系统的系统管理，其主要产品线为,,,;,,,,,,,,。其数据库管理的产品主要靠收购原,,,,,,,,产品，而收购的主要目的是消灭竞争对手而不是发扬数据库管理的产品线。收购后也没有对产品进行有效的整合和升级。此外，,,的管理产品中未提供,,,收集、监控和分析优化功能;在未来，数据库管理也不会作为,,的主要产品线。 ?,,,;,,, ,,,;,,,主要从调优,,,语句角度来优化应用性能，并在此基础上进行了一定程度的扩展，使其产品功能覆盖部分监控功能。由于其解决方案的不完善和开发角度的局限，使得,,,;,,,产品无法有效完成发现问题、诊断问题、解决问题和曰常维护的全过程。 综上分析，可以看出，目前市场上现有网络管理产品都有这样或者那样的不 第,章绪论足，如缺乏中文界面、运行时内存和,,,占有率太大等，基于实际情况，很有必要设计开发一个针对电信运营系统的数据库后台监控软件。,(,研究内容 本文工作在于为电信运营系统开发出一套数据库后台监控的软件，填补国内没有该功能软件的空白。主要研究内容如下: (一)对性能参数指标进行实时监控。这些关键的性能参数指标包括缓冲区命中 率、库高速缓存命中率、字典高速缓存命中率、回滚段使用情况、重做日 志活动情况和排序区情况等。软件会实时跟踪它们的最新动态，并将监控 计算得来的数据与 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 数据进行比较，如果低于标准值，则会报警引起 ,,,(即数据库管理员)的注意，与此同时，软件也会给出相应的优化 策略建议，供,,,参考。 (二)对存储指标进行监控。,,,;,,的存储类型很多，在此模块中只对表空间信 息、数据文件信息、表空间碎片检查、,,,分配情况、查询最大连续空 间情况等几个常用项目进行监控。通过它可掌握,,,;,,存储方面的动态。 (三)为,,,判断数据库问题提供信息。这个模块很重要，它可以帮助,,, 进 行常规问题检查。它是从四个方面着手，分别是当前链接情况、文件，,,、 等待事件、锁表信息。 (四)数据库安全管理。本软件的数据库安全管理主要包括,,,,,,,信息、用户 信息和用户的创建、角色信息及角色权限的授予回收。 (五)数据库基本对象管理。通过此模块可以掌握到电信运营系统里所用到的 表、索引、视图、聚集、序列、同义词、触发器和,,,等的信息。 (六)为,,,提供常用的工具，可以免除他们频繁进行重复的日常工作，从而 节省了时间，提高了工作效率。,,,常用到的工具包括,,,语句导入、 创建回滚段、分析表和索引、读取数据库,,,,,文件、编译，,,,,,,对象。 本课题是以上述工作为核心而展开的，并且已经在软件程序中将这些功能实现了。其中，课题的重点是监控性能参数指标、存储指标、数据库问题，以及怎样通过代码实现,,,所需要的常用工具。 该选题来源于福州电信局运营系统的切实需要。 第,章项,架构概述 , 第,章项目架构概述,(,电信运营系统的三层体系结构,(,(,传统的,,,模式 在传统的数据库应用体系中，客户端与数据库完全分开，在客户端上运行了大部分服务，如数据访问规则、业务规则、合法性校验等等。每一个客户端都存在数据引擎，并且每个客户端与数据库服务器建立独立的数据库连接。 基于该种体系的数据库应用系统的优势是:开发周期较短，能够适应大部分中小型数据库应用系统的要求(当客户端数量少于,,时)。 但是，随着数据库应用的日渐发展、数据容量的不断增加、客户端数量的不断增加，该种体系结构显示出了诸多缺陷，主要体现在以下几个方面: ?可扩充性 对于数据库服务器端，每当建立一个数据连接，就会占用大量的系统资源，当数据连接达到一定数量时，数据库服务器的响应速度与处理速度将大打折扣。 ?可维护性 基于传统,,,的数据库应用系统，业务规则通常置于客户端应用程序中。如果业务规则一旦发生变化(如身份证号码有可能升为,,位)时，我们就必须修改客户端应用程序，并且将每个客户端进行相应的升级。 ?可重用性 采用传统,,,的设计模式时，数据库访问、业务规则等都固化在客户端应用程序中。如果客户另外提出了,,,的应用需求，则需要在,,,服务器中重新进行数据库访问、业务规则、合法性校验等编码(例如将数据库访问写入,,,代码)，而所做的工作与客户端应用程序中的功能完全重复，从而加大了工作量。 正因为以上的诸多缺陷，使得三层(多层)体系结构成为目前数据库应用开发的首选，甚至客户有时也会提出该种技术需求。,(,(,三层体系结构 所谓三层体系结构，是在客户端与数据库之间加入了一个“中间层”，也叫 第,章项目架构概述组件层。这里所说的三层体系，不是指物理上的三层，或者简单地放置三台机器就是三层体系结构，也不仅仅有,,,应用才是三层体系结构，三层是指逻辑上的三层，即使这三个层放置到一台机器上。 网,—,典型的二层体系结构不意劁 三层体系结构包括: ?表示层 它由两部分组成:即,,,客户端和,,,服务器。,,,客户端驻留在用户计算机中，通常用来接受,,,浏览器的表格(,,,,)。,,,服务器位于,,,主机地址上，用来生成动态,,,页面和组成,,,系统的表格。表示层的任务是由,,,浏览器向网络上的某一,曲服务器提出服务请求，,,,服务器对用户身份进行验证后用,,,,,协议把所需的主页传送给客户端，客户机接受传来的主页文件，并把它显示在,,,浏览器上。 ?事务逻辑层 也就是中问层。事务逻辑层的功能可以放到单个的服务器上(三层体系结构)，也可以分布到多个服务器上(,层体系结构)。事务逻辑层的功能包括以下三个部分: 夺 访问(获取和保存)数据库层的数据。 夺从表示层获取数据。 夺执行必要的运算并且,或者处理数据。 事务逻辑层从数据库层获取数据，并根据表示层的需要来对数据进行处理。事务逻辑层也可以获得表示层提供的数据，并根据数据库层的需要对其进行处理。然后等数据库服务器将数据处理的结果提交给,,,服务器，再由,,,服务 第,章项,架构概述器传送回客户端。 ?数据库层 任务是接受,,,服务器对数据库操纵的请求，实现对数据库查询、修改、更新等功能，存储系统所处理的所有数据，并把运行结果提交给,,,服务器。 在三层体系结构的系统中，用户可以通过浏览器，向分布在网络上的许多服务器发出请求。三层体系结构极大地简化了客户机的工作，客户机上只需安装、配置少量的客户端软件即可，服务器将担负更多的工作，对数据库的访问和应用程序的执行将在服务器上完成。三层体系的应用程序将业务规则、数据访问、合法性校验等工作放到了中间层进行处理。通常情况下，客户端不直接与数据库进行交互，而是通过,,,,,,,,通讯与中间层建立连接，再经由中间层与数据库进行交互。 这样的好处显而易见: ?客户端间接连接数据库 由于数据访问是通过中间层进行的，因此客户端不再与数据库直接建立数据连接。也就是说，建立在数据库服务器上的连接数量将大大减少。例如一个,,,个客户端的应用系统，,,,个客户端分别与中间层服务器建立,,,,连接，而,,,,通讯所占用的系统资源极为有限，并且是动态建立与释放连接，因此客户端数量将不再受到限制。同时，中间层与数据库服务器之间的数据连接通过“连接池”进行连接数量的控制，动态分配与释放数据连接，因此数据连接的数量将远远小于客户端数量。 ?可维护性提高 因为业务规则、合法性校验存在于中间层，因此当业务规则发生改变时，只需更改中间层服务器上的某个组件(如,,,文件)，而客户端应用程序不需做任何处理，有时甚至不必修改中间层组件，只需要修改数据库中的某个存储过程就可以了。 ? 良好的可重用性 同样，如果需要开发,,,应用，则不必要重新进行数据访问、业务规则等的开发，可以直接在,,,服务器端调用现有的中间层(如可以采用基于，，,的,,,,,,,,开发，或直接编写,,,代码)。 第,章项目架构概述 , ?事务处理更加灵活 可以在数据库端、组件层、,,,(或,,,，)管理器中进行事务处理。,(,电信运营系统的网络拓扑结构 由于光纤信道在保证传输信号免受干扰和提高信号质量的同时，还可提供各种服务质量功能以确保短等待时间、拥塞控制、专用带宽和等时数据传输能力。基于此，电信运营系统的网络中心采用全光纤高速骨干网络，它能够保证各网点在删络主干上实现无阻塞的高速数据传输，而且具有良好的可扩展性，能够满足不断扩大的业务需求。 耸珊搿。。恻;嚣，单嚣搿。。单珊留。国。‰单焉篇 —,一…(,)—,(,?,,—,一…,)——广…(,)——,,，,，?——广一, ,咕勰 印黜炮一,,,。 ??,,:,,』～?,,, ,繁篡一善一 ,自，, ,矿謇,岁懋骖～,,鬣, 一,,一，,…,, 图,,,电信运营系统拓扑蚓 典型的结构如图,,,所示，电信局方的网络中心采用,, ,,,,,,,,,小型机做前置机，，,, ,,,,,, ,,,做主服务器，以及,,,的存储设备。其中,,,是每两台为一组，通过,,,,,实现双机热备份。中心网络设备采用,，,,,,,,,,,,, ,,,,企业级交换机和,，,,, ,,,,高端高性能路由器构成中心容错网络系统。 总部的各分部、小型服务器、前置机与主服务器之间采用光纤交换机直接相连。各个分中心采用光纤,,, 电路与中心连接，直连营业网点采用,,, ,,,与中心相连。 第,章项目架构概述,(,数据库监控工具的管理目标 数据库管理是保障关键业务系统正常运行极为重要的一个环节，据专家统计，,,,以上的系统停机和性能问题都是由于数据库引起的。由于,,,;,,数据库本身的复杂性，系统维护时面临很多挑战。对于一个典型的基于数据库的应用系统来说，需要着重在数据库的性能和可靠性方面加强管理，以保证基础数据的可靠和完整，保证数据库随时处,二最佳状态，数据和数据库的管理占据了系统管理绝大部分的工作量，也是难度和范围摄大的部分。数据库管理员需要借助有效的管理工具帮助改善:〔作质量，通过这些管理工具实现以下目标: ?保证应用系统的高可用性 对关键业务系统来说，高可用性永远是第一维护目标。为此，管理工具需要实现以下基本管理职能: 夺全面管理，即对影响数据库高可用性的各个层次进行管理，包括数据库 实例、逻辑空间管理、，,,均衡等等。因为影响数据库可用性的因素比 较多(既可是空间不足，也可能是参数配置不合理等其他因素)，缺乏 任何一方面的管理都会导致很严重问题: 夺提供主动的管理，在问题发生前解决问题。 ?改善应用系统的性能 为维护应用系统的性能，管理工具需要实现以下管理职能: 夺全面管理，包括数据库实例、逻辑空间管理、，,,均衡等等: 夺判断系统瓶颈，通过解决关键问题最大程度优化系统性能; 夺具有强大的解决问题的能力。 ?增加系统的可维护性 可维护性包括如何降低维护工作量，简化维护过程，并提高,,,的管理水平。管理工具需要实现以下管理职能: 夺产品易于安装、使用; 夺提供所有需要的管理功能，如用户管理、数据库访问等; 夺提供管理工具的集成性。 第,章系统模块划分与功能 第,章系统模块划分与功能 随着电信运营系统应用的扩大和深入，其数据库性能问题也日益突出，因此提高系统性能势在必行。当前可以采用升级现行服务器计算机的,,,、增加,,,数目或者用更强大的系统替换现有系统等手段来实现。但是这里有一个明显的局限性，就是要耗费大笔的资金来购买硬件，这对大多数电信运营商来说是得不偿失的。 另外，我们还有一个提高系统性能的办法，就是后台监控系统?氖 菘狻,哟笮陀τ孟低呈褂茫希颍幔悖欤宓木 槔纯矗 湓诵行阅懿患眩 辔 荒艹浞址?樱希颍幔悖欤?,,,,,的性能。因此后台监控,,,;,,性能，并对其进行管理、调优是十分具有应用价值的。 我们今天所生活的社会，是一个网络无处不在的社会。一日千里的光网络技术，使人们能够通过网络访问和了解到千里之外的地方所发生的事情。这就为本系统提供了很好的通信基础，只要是在能够上网的地方，数据库维护人员就能实现任何时候任何地点对数据库进行后台监控，从而掌握数据库运行状况的第一手信息。并能够根据所得到的信息，针对所出现的电信运营系统的性能问题设计出快速、合理的管理和优化策略。所以说，数据库后台监控是当前数据库应用系统所必须进行的一个重要环节。 本章首先给出软件的功能模块简图，然后详细的分析了各模块的功能。在此需要指出的是，这些模块功能在软件中都已实现。,(,功能模块简图 为了完成后台监控应该完成的任务，可用图,—,来说明系统应该具有的模块及系统各模块之间的关系。图中上方的客户端应用系统层、事务逻辑层、数据库服务器层是电信运营系统所采用的三层结构，运营系统的第一层和第三层则是本文所开发的后台监控软件的监控对象。其中监控系统的六个模块分别都需要对第三层进行监控，另外数据库问题监控模块还需要监控第一层。 第,章系统模块划分与功能 , 图,,,系统功能模块简图,(,系统的模块分析与设 计 图,一,中已经列出了系统的六个模块。下面将介绍各个模块的工作框架以及各模块监控项目的选取原理【,,一〔,,】。,(,(,性能参数指标监控 此模块中选取了一些关键的性能参数指标，它们包括缓冲区命中率、库高速缓存命中率、字典高速缓存命中率、回滚段使用情况、重做日志活动情况和排序 实时监控数据 得到各项目相 将指标数值与标 .