中石化计划统计管理信息系统设计与实现(可编辑)

中石化 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 统计管理信息系统设计与实现(可编辑) 中石化计划统计管理信息系统设计与实现 大连理工大学 硕士学位 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 中石化计划统计管理信息系统设计与实现 姓名:安然 申请学位级别:硕士 专业:软件工程 指导教师:周宽久 20090530大连理大学专业学位硕十学位论文 摘 要 中国石油化工股份有限公司是一家特大型石油石化企业集团。其日常报表、公报等 业务管理十分繁杂,市场竞争日益激烈的今天,开发出一套大型的网络数据库来管理这 些业务,对于提高工作效率从而提高企业效益是很有必要的。中石化计划统计管理信息 系统是一个覆盖中石化各非上市油田企业单位的综合信息报表系统。系统 将大量的报表工作整合为一个系统,并且可以根据生产经营情况灵活进行报表定制、指 标调整等,显著提高计划统计报表工作的效率,减轻企业管理人员的工作量。 是一个完整的大型网络数据库系统。作为系统的开发人员之一,作者参与了需 求分析、概要设计、详细设计、编码的四个阶段。系统采用面向对象方法,使用了 来辅助分析。需求分析和设计阶段,分析了系统的各方面要求以及各级用户的权限和操 作功能;数据库设计阶段,充分考虑到系统的实体完整性、参照完整性以及用户定义完 整性,满足范式;网络数据库采用,客户端临时存储数据采用数据库, 数据库的结构设计充分考虑了灵活报表定制功能的要求;系统以宝兰公 .作为开发工具,采用两层/模式,并分为管理员版本和普通用户版本, 司的 客户端软件通过组件与数据库直接连接,不需要在客户端安装客 户端。本系统运行在网络下,为了降低带宽对速度的影响,作者在设计中提出 使用本地数据库操作,/数据同步,以及多线程等技术,既可以不受网络速度影响而 提高本地操作速度,又可以保证本地数据与服务器数据的同步。 本文首先介绍了的开发背景,之后使用工具对需求分析和系统建 模做了 介绍,接下来重点介绍了数据库设计,最后是系统实现。 关键词:;报表系统;/架构;网络数据库;中石化计划统计管理信 息系统设计与实现? ’.’. .’ ., ’ .. ,, . . ., , , . . . ,’ , . ,,,, . ’ . . ../ . .’ . .. . ,/ ?. , . , . ,. , . , ’. : :; ;/ 大连理工大学学位论文独创性声明 作者郑重声明:所呈交的学位论文,是本人在导师的指导下进行研究 工作所取得的成果。尽我所知,除文中已经注明引用内容和致谢的地方外, 本论文不包含其他个人或集体已经发表的研究成果,也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处,本人愿意承担相关法律责任。 学位论文题目: 史歪丝盐划红盐篁堡焦壑丕统遮进量塞垫 作者签名: 生丛 日期:塑生年?鱼月?厶日大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定,在校攻读学位期间 论文工作的知识产权属于大连理工大学,允许论文被查阅和借 阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版,可以将 本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目: 作者签名: 日期:之卑年』月?生日 导师签名: 日期:碰年上月坐日大连理工大学专业学位硕士学位论文 绪论 . 背景介绍与意义 计划和统计工作是企业生产经营活动的重要组成部分。在激烈的市场竞争环境下, 企业需要根据市场变化和自身生产情况的统计数据,动态地制定生产经营计划,以达到 节约成本,增加效益的目的【】【】【。企业生产经营数据统计的准确性和高效率是正确制 定生产计划的基础,以往手工填写报表进行数据统计的效率远远不能满足企业需求。 计算机和网络的快速发展和应用使得企业信息化建设速度加快,许多企业实施了 系统,这也为建立完善的计划和统计管理信息系统提供了基础,越来越多的企业建 立起针对自己行业或企业的计划与统计信息系统‘】【】【】【,石油石化企业由于油价波动频 繁等原因,更是注重计划统计系统的建设【引。 “中国石化集团计划统计管理信息系统”是在大量总结、分析了非上市油 田计划、统计管理工作流程中经常用到的各种统计、分析报表的基础上,根据实际工作 的需要,为规范管理、提高工作效率、提高企业的整体信息化水平而提出来的。 .研究现状分析 据有关数据显示,我国的中小企业已达至多万家,如此之众的企业带来的社会 效益、社会贡献以及在国民经济中的作用都不可小觑,他们生产的产品或服务在国内生 产总值中占有%的比重,满足着全国人民各种各样的生活需要。同时他们也为软件行 业带来了巨大的商机,随着改革步伐的迅速迈进和全球经济的一体化,中小企业的生存 和竞争环境发生了根本性的变化,信息化战略给企业带来的竞争优势已经愈加明显,软 件供应商协助企业赶上信息化的快车就成为一项双赢的合作,即软件公司实现盈利、企 业实现信息化管理。然而企业信息化发展到今天,情况却不容乐观,不多的企业在经过 艰难探索后实现了信息化的成功,但更多的企业却在信息化发展中吃尽了苦头,耗费了 财力、物力却没有得到良好的结果,另一方面软件公司在花大成本打造出产品却入不敷 出,结果往往造成两败俱伤的局面。 目前,各企业纷纷采用或系统来提高企业的信息化管理水平,但是覆盖全 国性大型企业如中石化、中石油的计划统计系统比较少见。随着企业信息化和管理 的需要,此类系统必然是企业信息化建设的方向。系统可以用于中石化非上市油田 企业,修改后也可以用于其他大型企业,具有比较广阔的应用前景。中石化计划统计管理信息系统设计与实现 .本文的主要工作 本课题是将解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 付诸于实践,在对系统充分分析的基础上,将系统按功能划分 模块,使系统结构清晰。最终实现一个集合各部门不同处理子系统的企业管理系统。该 系统可方便各部门之间信息报送,实现信息统一发布,避免了信息资源浪费,提高了系 统的信息化水平。 系统是一个包括基础数据收集、数据统计和分析、计划制定、计划执行情况分 析的综合业务数据处理系统,它的实现除了软件编程技术外,还需要一些数理统计方法 的支持。是一个大型/结构的数据库系统,本文主要涉及以下方面内容: 业务需求分析。由于系统功能复杂,用户数量和级别较多,必须了解用户对软 件功能的具体而详尽的要求。在进行业务需求分析时,我们采用建模语言【】【】, 对业务分析建立详细的文档,使得业务需求分析 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化、规范化。 数据库结构设计。主数据库采用,客户端临时数据存储采用数据 库,两个数据的结构设计必须合理,在数据库设计中采用关系设计方法,使其结构明确, 字段设置合理,以减少数据库设计的不合理给软件设计带来的麻烦。 软件架构设计。系统可以采用/结构或/结构,/结构的特点是部署 和 修改方便,缺点是速度慢,不适用于全国性的企业。/结构的特点是功能可以设计得 比较强大,缺点是部署和修改较麻烦。经过对比和分析,系统采用/结构。 数据同步更新。由于系统部分用户采用网络,网络通讯速度很低,所以 在软件设计中必须考虑网速受限的情况。为此,我们在客户端采用数据库存储 用户数据,同时采用数据查新机制自动检索客户端和服务器端数据库内容的差别,并实 现数据库内容的自动双向同步更新。 数据的灵活组织功能。计划统计系统涉及到大量报表数据,系统必须具有报表 定制功能,以便用户扩展自己的数据库。 数理统计分析技术。计划统计系统必须配合相应的数理统计分析技术才可以得 到有意义的结论,如数据拟合、时间序列分析和预测等技术在计划统计系统中都得到了 应用。 .本文的组织结构 第一章为绪论,主要是介绍研究背景及研究现状; 第二章为系统需求分析,从系统的建设目标着手,使用工具进行建模; 第三章为系统设计,从总体设计和详细设计介绍系统,使用工具进行建模;大连理工大学专业学位硕十学位论文 第四章为系统实现,通过部分截图,详细介绍了系统实现; 第五章为系统测试,首先介绍了测试相关原理,给出了测试用例。中石化计划统计管理信息系统设计与实现 中石化计划统计管理信息系统需求分析 . 系统建设目标 该系统的开发目的是使企业及时、准确的获得企业生产经营的各种数据,有效地进 行企业经营的统计预警、生产经营过程跟踪监测、反馈调控和决策支持,实现全过程、 全方位、全要素的动态管理的监督和完善。 通过的开发和部署,要实现以下目标: 建立一体化的计划统计系统平台 通过对计划流程、统计流程的融合、对接,实现计划统计的一体化管理,实现系统 数据信息的互相调用、分析对比,以统计促进计划的准确性,以统计监督计划项目的进 展。 使企业决策更加科学、合理 及时、准确的统计信息为企业制定计划提供参考,通过对企业全方位运行结果进行 统计核算、统计分析,将信息及时反馈给下一个运行期,计划数据和统计数据的对比、 分析,可以使决策者及时了解企业生产经营的实际情况及计划的合理,依此动态校正生 产运行过程。实现由过去的分析、反映事后情况的“事后型计划统计向为经营管理提 供预测、预警服务的“前瞻型计划统计管理转变。 通过系统建设,再造计划统计管理流程 通过系统实现对企业生产经营状态的主要指标进行统计跟踪监测,以便集团领导随 时了解生产经营运行状态,及时发现计划的偏差,采取有效措施纠正或根据市场变化调 整计划,以保证企业生产经营有序运行,计划统计的管理控制能力得到进一步加强。 通过系统建设,建立信息的多层次多维度交流通道 通过系统实现与财务报表、劳资报表的连接,使综合统计信息部门和专业统计信息 部门的横向协作交流成为可能,保证数据的一致性,减少资源浪费。 减少无效劳动,提高工作效率 通过系统的建设,使管理人员从大量的、繁杂的简单数据加工、计算中脱离出来, 把更多的精力用于数据的分析和生产指导上来,从而提高工作效率、降低劳动强度。大连理工大学专业学位硕士学位论文 .系统功能需求 .. 权限分析 本系统的客户端分为管理员版和标准用户版。各上报单位所使用的客户端称为标 准用户版主要功能集中体现在数据的录入维护工作和数据的查询分析功能上,而管理 员版不仅要考虑到数据维护工作,更主要的工作是对数据的二次加工和深入提炼利用, 同时对整个系统的创建、初始化、运作和维护都提供相应的功能。 ..用例建模 客户端软件分为管理员版和标准用户版,两类用户的权限和可执行的操作不一样。 如下为系统用例: 单位管理:定义各单位的信息,各单位所能管理的报表等。 用户管理:分配用户帐号和管理权限。 报表管理:定义报表的宾栏、指标、计算和校验公式、报表打印 模板、表头格 式、报表上报单位等信息。 报表数据管理:接收和审核各单位上报报表数据。此功能涉及管理员和标准用 户之间的交互操作。 文件共享管理:管理公共区和个人区文件共享。 制度文件管理:管理指标解释、规章制度、报表制度等制度文件。 通知 关于发布提成方案的通知关于xx通知关于成立公司筹建组的通知关于红头文件的使用公开通知关于计发全勤奖的通知 管理:发布通知,检索各单位用户通知查收情况。 公文交流:发布和接收各种业务公文,如统计公报、经营分析、管理论文等。 查询与统计:包括单表查询、多表查询、图标分析、台帐管理、汇总分析等, 以实现丰富的数据查询、统计与分析功能。 队伍建设:管理各单位的人员信息。 数据同步更新:本地数据库与服务器数据库之间的同步更新,包括系统数据、 报表数据的上载和下载。 标准用户版的主要任务就是输入报表数据、接收修改的系统数据、上传报表数据、 上传和下载通知、公文等。与管理员版相比,标准用户版的功能比较简化,没有系统管 理功能,其他管理功能也都是针对本单位数据的。 报表数据管理:填写本单位的报表数据。 文件共享管理:浏览公共区文件,发布个人区文件。 制度文件管理:浏览各种制度文件。\ /, // 、、钐/ 辽 \? 纱 ?歹勿 /\ 标准用户 / 入蕊 管理员 \ . 、 ?耐 图.中石化计划统计管理信息系统用例图 。. 通知接收:接收并阅读通知。 公文交流:发布和接收各种业务公文,如统计公报、经营分析、管 理论文等。 查询与统计:查询和统计本单位的报表数据。 队伍建设:管理本单位的人员信息。 数据同步更新:本地数据库与服务器数据库之间的同步更新,包括系统数据下 戋、报表数据上载、信息数据的上载和下载。大连理工大学专业学位硕学位论文 用例图反映位于支持系统外部的相关用户,以及从系统外部用户的角度来观察和分 析系统的功能、系统为用户提供的服务,也就是通过本系统用户与系统的交互确定了系 统的边界。本系统中的用例主要是上文介绍的条,如图.所示。 .. 网络需求 一般的/系统都是部署在一个局域网内的,因为局域网的速度快,所以/系统 设计时可以充分利用/结构的特点,将所有速据都保存到服务器上,实现数据的集中 存储和分布处理,而基本不用考虑网络速度四【】【】。 但是,系统是一个部署在全国范围内的系统,涉及到中石化的许多单位,这些 单位之间通过或无线通讯网络连接,网络速度有限。为此,在设计 系统时, 要特别考虑到网络速度受限对系统的要求,不能按照一般的/系统设计,要让用户感 觉不到网络速度的影响,而同时又具有/系统数据集中存储,数据同步的特点。 因此,由于网络速度的限制,对系统的设计提出了以下的特殊要求: 不能实时操作数据库服务器的数据,大量的数据处理在本机上进行 如果按照一般的/系统工作原理,即所有数据存放在服务器上,系统启动时从服 务器获取数据然后直接对服务器上的数据进行操作,那么系统运行将非常缓慢,因 为网络速度很慢,用户将无法容忍。为此,需要在本地保存一个数据库,所有数据操作 都针对本地数据库,使得系统的操作速度不受网速影响。 本机数据库与服务器数据要保持同步更新 由于操作都针对本地的数据库,那么本地数据库与服务器数据库必须保持同步,否 则系统就是一个单机的系统了。本地数据库和服务器数据库都是不断更新的,在保持同 步时,既有下载内容也有上载内容。在保持数据同步时,只能采用 差异更新方式,而不 能采用完全更新方式,即只更新上次更新后修改过的内容,使网络数据传输量最少。 本地数据库与服务器数据库保持同步的关键是数据比对方法,即本机要知道服务器 上哪些数据是修改过的,更新时只下载这些更新过的数据,同时要知道本机数据库哪些 是在上次上载过之后更新的,只上载那些更新过的数据。关于数据比对的实现方法将在 后面章节详细介绍。 数据更新需要采用后台工作方式 由于网络速度较慢,在更新数据时可能会用比较长的时间。因此数据更新应该在后 台运行,或至少能显示更新进度,而不影响用户的操作。系统在数据更新时采用多 线程技术,数据更新可以后台运行,也可以显示更新进度,不会出现系统忙碌而停顿的 现象。中石化计划统计管理信息系统设计与实现 非功能性需求 速度 要在尽量短时间内对用户请求做出反应。 容量 储存所有用户信息及相关信息。 孙可靠性 对用户的请求做出准确反应。 可用性 要有友好的界面以及容锚功能,可以方便使用。 系统框架 系统的软件部署结构如同.所示。主要分为部分:系统数据库,管理员版 客户端,标准用户客户端。三个不同部分通过网络连接组成一个整体,实现各自的功能。 系统数据库 采用作为系统数据库,系统数据库是整个系统存储数据的核心。客户端软件 的本地数据库都与系统数据库保持同步,通过系统数据库交换数据。 .~芎 ’、、、??一/ 图. 系统软州部署结构 .掣 管理员客户端大连理工大学专业学位硕学位论文 管理员客户端软件供系统管理员使用,用来对系统进行全面的管理,包括定义和修 改各类系统表、管理标准用户帐号、获取和浏览各单位上报数据等。 管理员版客户端采用一个本地数据库用于数据存储,一般的操作都针对本 地数据库,然后通过更新机制与服务器数据库保持同步。管理员客户端与服务器数据库 的数据交换是双向的。 标准用户客户端 普通客户端供各单位使用,中石化的一个下级单位只分配一个客户端软件和帐号, 一个标准用户登录标准用户客户端软件后,只管理本单位的数据。 标准用户版也采用一个数据库作为本地数据存储,与服务器数据库之间保 持双向的数据同步。中石化计划统计管理信息系统设计与实现 中石化计划统计管理信息系统设计 . 中石化计划统计管理信息系统总体设计 ..系统模块划分 本系统的客户端分为管理员版和标准用户版。各上报单位所使用的客户端称为标 准用户版主要功能集中体现在数据的录入维护工作和数据的查 询分析功能上,而管理 员版不仅要考虑到数据维护工作,更主要的工作是对数据的二次加工和深入提炼利用, 同时对整个系统的创建、初始化、运作和维护都提供相应的功能。 作为一个数据采集系统,其设计的重点是在于对数据的有效性、完整性的校验上, 围绕这一个重点,系统的功能设计框架如图.所示: 软件功能模块 操 报 数 统 数 图 数 据 安 信 表 计 作 据 据 表 据 备 全 息 定 维 管 查 同 管 发 分 份 界 恢 布 义 护 理 询 析 步 理 面 图.系统功能模块 .. 操作界面模块:对系统用户权限进行设定和修改,同时方便查看由上级下达的 通知和公告。 报表定义模块:根据不同的报表格式进行报表定义,包括字段定义、指标定义、 计算和校验公式定义、报表打印模板定义等,从而增加系统的灵活性。 数据维护模块:对系统数据进行增加、修改、删除等维护功能。 统计管理模块:根据各单位上报数据,进行汇总、统计,形成报表台帐,供有 关单位查询使用。 数据查询模块:供使用者进行数据查询、打印等功能。 图表分析模块:根据各单位上报数据,按照指标分类,分别进行统计、汇总, 形成数据对比图形,使得系统更加实用、更加形象化。大连理工大学专业学位硕十学位论文 数据同步模块:管理员和标准用户都通过数据同步模块保持本地数据库与服务 器数据库的数据一致性。 数据的备份与恢复模块:为确保系统数据的安全性,系统可定期对数据库进行 数据备份,一旦系统发生故障或损坏,可通过恢复模块将被丢失的数据恢复到系统中, 从而最大限度地减少系统损失。 安全管理模块:用户的授权管理,操作等级认证,以及基于的网络认证。 信息公告发布:系统管理员可以把通知和一些公告信息发布到网络上,作为一 个网络发布信息系统。 ..报表的数据表现 报表基本结构 系统实际上就是一个报表数据处理系统,处理的主要数据对象就是各种二维报 表,即由行和列组成的报表。在介绍系统的数据库设计原理和软件设计原理之前,有必 要了解报表的基本样式。 一个典型的二维报表由部分组成: 宾栏:即报表的表头,一个宾栏对应着一个字段。当然,一个报表物理表还有一些 其他字段用来表示单位、报表期别等。 指标:一个指标实际上就对应着报表的一条记录,是这条记录的固定标题。 数据:对应宾栏和指标的数据。 报表的期别 量奶难动用石油储量合作开发 萤月年报 豪《移油田企业投资信息月报 萤月】月报 国月月报 月报 月报 月报 月报 月报 月报 月报 ?叭睇呈町啪呻 月报 月报 麓孵司 曾圄国国国国国圉雷圉 隧?墨 月月月月月月月月月覆 图.报表的期别 ..中石化计划统计管理信息系统设计与实现 对于一个报表来说,宾栏和指标在定义报表时就定义好了,是固 定的,而报表数据 是分期别的,即每一期有每一期的数据。 根据报表期别的类型不同,可以分为月报、季报和年报。图.是在 报表目录树中 列出的报表期别。 报表打印模版 针对每个报表都可以设计一个报表打印模板,以便用于报表数据的打印。系统 采用了在系统的报表打印模板设计和修改技术,用户完全可以自己设计新的报表打印模 板。 报表数据计算和效验公式 一个报表的某些数据项是由其他数据计算而来的,在系统里可以为报表的某个 数据定义计算公式,以便系统进行数据计算,如同中的计算数据。 . 中石化计划统计管理信息系统详细设计 .. 静态建模 图.类和类之间的关联 .. 大连理大学专业学位硕士学位论文 系统类图描述了系统中的主要的类以及各个类之间的关系受篇幅所限,仅列出关 键属性,类图提供了对类及其关系进行建模的一种图形化的表示法,关联描述了有着 共同的结构和语义的一组链接。系统所需要的报表、公文、通知 等根据表单文件产生, 所有的人员类来自于父类员工,如图.所示。 .. 动态建模 状态图 图.报表上传与审核的状态图 .. 状态图说明了由事件序列引起的状态序列,实际上是一种由状态,转移,事件和活 动组成的状态,描述了类的所有对象可能具有的状态以及引起状态变化的事件,如图. 所示为报表上传与审批处理的状态图。系统从初始状态变为了标准用户状态或者管理员 状态,当用户提出申请时,管理员对申请的上报数据进行处理,反馈又分为两种情况, 合格则申请事件审批结束,如果不合格用户可以选择结束或者重新申请上报数据,进入 审核上报数据状态。 顺序图 顺序图显示了多个对象之间的动态写作,重点是显示对象之间发送的消息的时间序 列,也显示对象之间的交互,就是在系统执行时,某个指定时间点 将发生的事情。这里 以标准用户对栏目管理为例,如图所示。标准用户输入密码和姓名,登录系统,提交维 护信息,等待内容维护模块返回待维护内容后,标准用户输入维护信息给维护模块,再 提交审核,请求数据库,数据库成功接收,反馈一个提交成功,继续返回栏目管理审核 成功,这时进行信息发布,最终返回管理员发布成功。中石化计划统计管理信息系统设计与实现 组件图 组件图描述了实现系统的元素的组织。主要目的是显示系统组件间的结构关系。图 .为系统组件图。组件是定义了良好接口的物理实现单元,是系统中可替换的物理部 件。一般情况下,组件表示将类、接口等逻辑元素打包而形成的物理模块。一个组件包 含它所实现的一个或多个逻辑类的相关信息,创建一个从逻辑视图到组件视图的映射。 翠窜 重窗蜜 匡 图.系统组件图 .. 大连理工大学专业学位硕十学位论文 活动图 活动图显示了系统的步骤序列,以普通用户从登录到退出为例, 如图.所示。用 户登陆之后判断是否为合法用户,不是失败,结束,成功则可以让 用户选择下一步所进 行的活动,修改个人信息,接收上级通知等具体参见标准用户和 管理员用例,根据 具体选择的活动再进一步进行判断。 图.活动图 .. 中石化计划统计管理信息系统设计与实现 ..网络结构 服 【二:?沙田:珂络一:一二:~卜/ /、下:二?谪?网络?。 ?~艘利副』.旺网络? \无线专网路由器 汐 .?《 维护终端 移动公司,\ 臀 图.系统网络结构 .. 中石化集团公司及所辖各油田企业地理位置分散,各公司有自己的局域网,但是各 公司的局域网之间通过连接,局域网的通讯速度快,但局域网间的通讯速度不 够高,不适合于普通的/应用。 系统网络结构充分考虑了中石化集团公司及所辖各油田企业地域的位置特点, 系统通讯采用固定网络连接光纤连接和无线网络连接种方式,以保证系统通讯的可,:连理:犬学专业学位硕士学侍论文 靠性、稳定性。其中,对于不具备固定网络方式的单位,采用无线网络或 作为数据传输的主要方式,系统网络结构图如图.。 十自化策目 辛占 白? 、。 :‖;夕 ? ‘ “趴/” 、 一囤。。。 囱 凸固?。白 &目吣 , ??? ??业 十由目 .无线阿络结构 . 无线网络解决方案可以使用户可以随时随地通过无线上网卡,进行数据上报、数据 。 查询和数掘分析,真正体现移动办公的便捷。无线网络连接图见图 利胜利油田已有的或专网,将各地的无线移动站点连接到胜利油 田网络,通过胜利油田与中石化集团的光纤连接,实现数据传输,将数据传输到集团公 司的服务器中。在中石化北京设立中心数据库,接受各地的卜传数据。在使用标准 用户版的油田企业,安装或 ,作为客户端。服务器和客户端组建 虚拟网络进行数据传输。中石化计划统计管理信息系统设计与实现 .数据库设计 .. 数据流向 在系统中,由于存在远程数据库和本地数据库,本地与远程之 间需要保持数据同步,而且由于管理员版和标准用户有不同的功能,数据流向就有点复 杂。系统的数据流向如图.所示。系统中有种数据库,其功能分别是: 图.系统数据流向浅绿色:系统数据;双向:信息;红色:报表数据.. : ;:;: 数据库:用于数据的集中存储,是管理员与标准用户交换数据的平台。 管理员端数据库:用于管理员端的操作,存储系统所有的数据。 标准用户端数据库:存储必要的系统数据和本单位的报表数据。 三种数据库之间的数据流分为三种,分别是: 系统数据流图中浅绿色单向箭头 系统数据主要包括各种报表定义表、单位定义表、用户定义表等系统相关的数据, 系统数据由管理员管理,标准用户不能修改系统数据。因而,系统数据的流向是:管理 员上载系统数据,标准用户下载系统数据,是一种单向流动。 报表数据流图中红色单向箭头 标准用户的主要功能就是录入各期别的报表数据,然后上载给服务器,管理员再从 服务器下载各单位的报表数据。每个标准用户单位只管理本单位的报表数据,管理员不 修改下级单位的报表数据,因而报表数据的流向是:标准用户上传本单位报表数据,管 理员下载各单位报表数据。实际操作中,管理员也需要管理一部分报表,这部分报表数 据上传到服务器上,作为数据备份。 信息流图中双向箭头 信息流是管理员和标准用户交换的信息,如通知的发布、接收和检索,统计公文的 发布、接收和检索。信息流需要管理员和标准用户都参与,进行发布与接收等,因而信大连理大学专业学位硕士学位论文 息流是双向的。搞清楚系统的数据流向,对于系统的数据同步至关重要。因为数据同步 首先要检索到哪些数据是上次更新后修改过的,清楚的数据流向有助于设计同步机制。 后面在介绍数据同步时将详细介绍。 ..数据库详细设计 不管是数据库还是本地数据库,数据表以及数据表之间的关系基本 上是相同的,不同之处在于某些字段的定义不同。本节从总体的角度,以数据库 为例介绍数据库的各种表类型数据表之间的关系,其他数据库的关系参考。在 数据库的设计中采用了关系型数据库设计方法,即各种关联数据表通过关键字段 和外键关联起来,这样,当主表的某个记录删除后,从表的关联记录就是自动删除,避 免出现孤立记录。下面分类介绍数据库的各类表及其关联,以及管理员版和标准用户对 这些表的操作权限和流向。 。.数据字典 数据流定义 表.数据流定义 .. 数据元素定义 ?通知 表.通知 .. 中石化计划统计管理信息系统设计与实现 ?用户 表.用户 .. ?公文 表.公文 ..?单 一?大连理工大学专业学位硕十学位论文 ?文件 表.文件 .. ? .. 图 报表处理分.图。 ?图也即实体一联系羽 ,提供了表示实体型、属性和 联系的方法,用来描述现实世界的概念模型。在本系统中分管人、 查收表、报表、字段、 指标、计算表达式、查询模版、打印模版、编制说明之间是制定 提交、定义、记录、规 范的关系相互联系在一起,如图.所示。中石化计划统计管理信息 系统设计与实现 图. 报表处理分图 ? ..单位数据管理?图 图.单位数据管理.图 ’ ? ..一?大连理大学专业学位硕十学位论文 ..表定义 下表是系统数据库的表定义,关联功能的表列在一起,并标注了 管理员版和用户版的 数据流向。对于管理员版来说,上载的是系统数据表,下载的是用 户数据,上下载的是 信息数据;对于标准用户版来说,下载的是系统数据,上载的是本 单位数据。 表.数据库表 .. 中石化计划统计管理信息系统设计与实现 表.信息流向 ....数据流图 管理各单位信息 一?大连理工大学专业学位硕十学位论文 服务器单 位清单 本单位、 职工初始 职工\善誊吐 下载 各单位爵 圃 圜一 蕈茬嶷型 位、职工 工信息 息 团\ 图.单位信息管理图 ’ .. 定义规范报表定义、单位定义、用户定义等数据流 图.规范定义 .. 报表上传、审核 来通过审核,要求重做报表的消息 图.报表审核、上传..公文、通知的发布、接收 一一中石化计划统计管理信息系统设计与实现 图.管理员端发布公文、用户端接收公文.. 用户端发布公文以及通知的发布与接收过程类似。 .数据查新 前面介绍了系统有个数据库,各数据库之间需要保持数据同步更 新,而同步更新 的关键是能检索到最新的数据,即上次更新后哪些数据改动过, 本次更新时只更新这些 修改过的数据。 为了达到高效的“数据查新,在数据表设计方面做了以下两个方 面的改进: 在管理员和标准用户的库里建立表 ,用于记录每次与服 务器数据同步时最新的记录修改时间。 ,用来记下记录 在每个需要同步的数据表里增加字段和 修改的时间和记录的唯一编号。 ..表的结构和作用 表用来记录与服务器同步时的最新记录时间,管理员和标准用户 端 各有一个 表,数据库中没有该表,因而 的内容不需 要上传或下载,完全供本地使用。 下图是管理员的 记录的部分内容,在图中可以看到. 的最新记录时间是?. ::,那么下次更新时,若 的某条记 录的在此时间之后就更新,否则不更新。有的更新还与 有关,所 。 以还需要记录 ..其他数据表的附加字段 在其他数据表中,为了表示记录的最新修改时间和唯一标识一条 记录,需要增加 和 字段。同时,一般的表中还有一个字段在表中是自动 编号字段,用于在表中唯一表示一条记录。大连理工大学专业学 位硕士学位论文 。? : 一? 一 :: 一 :一一 :: 础 :: 卸. 一一 。? ::础 。? :: ? 曩 ? :: 嚣工%础 一一一 :: :: 础 ? 一 :: 枷 一一 :: 凸工一 :: 】一础 图.管理员的 记录的内容 .. :. ’表.是』表与数据查新相关的几个关键字段。其中, 是长整型,在中是自动编号字段,用来表示中的一条记 录;是记录的最新修改时间,记录管理员端或标准用户端修改记 录的时间, 每次记录被修改后保存时就记录当前时间;?是中的自动编号字 段,用 来表示中的一条唯一记录。 表。 表用于数据杏新的几个关键字段 ..? 和 都是由数据库自动生成的,不需要程序处理, 在每次修改记录并保存时都需要更新。由于我们采用的编程软件 的特点,只需要在数据集的事件中加入一行简单的代码就可以实现此功能, 代码如下。 ..:; ’.:; 一一 :. :. :.中石化计划统计管理信息系统设计与实现 ; 数据集的事件在数据插入新记录或修改数据后保存时触发,因而在此事 件里修改字段的值就可以记录下记录修改的最新时间,而不需要管数据 是在哪段代码里修改的。任何数据表的字段的修改都可以采用这种方式, 通过 里记录的 里上次更新记录的最新时间与表里每条记录的 新的记录,因而只更新必要的数据,使网络数据传输量最小。数据同步更新的细节将在 后继章节介绍。 .相关算法 基于以上分析内容,此处介绍部分本系统中所使用的部分算法。 .. 线程同步相关算法 由于本系统存在两类本地数据库和一个数据库,/客户端软件的一 般操作都是针对本地数据库,因而需要用数据更新的方法来保持各数据库之间 的数据同步。数据同步是本系统的设计特点,也是设计难点。 数据更新时,点击开始按钮需要实现线程的同步,线程同步主要是是指数据 库与数据库信息同步,点击开始按钮时需要定义一些数据,比如指定二者之间相 关数据模块,最后启动线程。而对于引发数据同步的线程来说,要记录周围环境信息, 比如删除或者增加了哪些记录,然后下载或者上传相关信息,伪代码如下所示,具体代 码见附录: 开始按钮相应过程 默认模式为: 创建线程同步模块为; 指定数据模块; 指定数据模块; 指定临时数据集; 启动线程: .对于引发数据同步的线程: 对比,就可以查询出上次更新后需要更.大连理工大学专业学位 硕士学市论文 定义整型变量,分别用于更新记录条数,删除记录条数,进度条显 示; 定义型变量,用于记录数据状态为上传还是下载; 同步下载; 下载表的部分记录,并整理; 下载相关信息; 同步上载; 上载信息; 修改参数; 与主窗口界面保持同步刷新; ; ..基于关系代数等价变化的查询优化处理 对于本系统,查询占据了很长时间,所以一个好的查询算法是十分必要的,此处介 绍本文作者主要参与实现的基于关系代数等价变化的查询优化处理算法。 基本原理 基于关系等价变化优化算法的基本原理是:把查询问题转变为关系代数表达式,分 析得到查询树语法书,进行从全局到片段的变换得到基于片段上的查询树,然后利 用关系代数等价变换规则的优化算法,尽可能先执行选择和投影操作。这样,一方面可 以减少其后操作的操作量,另一方面可以减少操作次数。对该查询树进行优化,从而达 到查询优化的目的。 关系代数等价变换规则的优化算法是:利用关系代数等价变换规则,把查询树中的 连接和合并操作尽可能上提向树根方向移,选择和投影操作尽可能下移向树叶方 向移到片段的定义处。这就是说,尽可能先执行选择和投影操作,后执行连接和合并 操作。经过选择和投影操作不但可以减少其后操作的操作量,而 且还可以减少操作次数, 这是因为: ?如果是水平分片,把分片的限定语分片条件与选择条件进行比较,判别他 们之间是否存在矛盾,去掉存在矛盾的片段。如果只剩下一个水平分片的片段,就可以 去掉一个“并”操作至少可以减少一次并操作,达到优化查询的目的。中石化计划统计管理信息系统设计与实现 ?如果是垂直分片,把片段中的属性集与投影操作涉及的属性集进行比较,去掉 无关的所有片段。如果只剩下一个垂直分片的片段,就可以去掉一个“连接”操作至 少可以减少一次连接操作,达到优化查询的目的。 实现步骤和方法 ?将一个查询问题转换成关系代数表达式。 ?从关系代数表达式到查询树的变换:对一个关系代数表达式进行语法分析,可 以得到一棵语法树查询树,即 树的叶子:是已知关系或片段; 树的节点:是关系操作符; 树的根:是查询的最终结果。 将关系代数表达式转换为查询树的方法是:查询树的根节点是最 终的查询结果,叶 子节点是查询所涉及的所有关系或片段,中间节点是按代数表达式中的操作顺序组成的 一组关系操作符。 ?从全局查询到片段查询的转换:在具有分片透明性的系统中,是如何 将用户在一个全局关系上的查询,自动变化为对可重构该全局关系的片段上的查询这 个变换的典型方法是:把基于全局关系的查询树中的全局关系名,用其重构改全局关系 的各片段名替换,变换成相应片段上的查询树。 ?利用关系代数等价变化规则的优化算法,对片段上的查询树进行优化处理,最 后达到优化查询的目的。 有全局关系用户,用户名,,单位代码,单位名称, 如果被垂直分片,分成如下两个片段: 用户,单位代码,单位名称 用户,用户名, 现在要查询:“用户名和。 这个查询语句为: 用户名,的 它的关系代数表达式是: ?用户名。 它的查询树如图.中的左上图所示,转换成相应片段上查询树如 图.的右上 图所示,利用关系代数等价变换规则,继续变换成如图右下图和 左下图。左下图就是利 用关系代数等价变换规则,得到的最终优化结果。大连理工大学 专业学位硕士学位论文 ?舻五赢??舻名,/。一\ /弋 : : ,甲, 用户,用户名. 用户?.用户名. 去掉无关的片段 山 ?用魄 ?用户名. 圭苎兰兰 上 :户,用户名, 、:苫孟.用户名, 图.等价变换规则用于垂直分片 .. 垂直分片关系优化的基本思想是:把垂直分片所用到的属性集, 与查询条件中的投 影操作所涉及的属性集进行比较,去掉无关的垂直片段。如果剩下一个垂直片段与查询 有关时,去掉无关的垂直片段。如果只剩下一个垂直片段跟查询有关时,去掉重构全局 关系的“连接”操作。 本系统主要使用的是垂直分片关系优化,所以对于水平分片不再进行过多介绍【。。 ..数据库数据插入算法 现在已经有大量数据插入数据库,数据都是按照表结构排列。需要检查数据文件中 的每条记录,去跟数据库中的记录对比看文件中各记录的每个字段有没有变化或被修 改。如果任意两个字段信息都被修改则把该记录当做新记录插入数据库,如果只有一个 字段信息不匹配则在数据库中修改该字段数据为新值。 创建~个临时表,这个表中存储了所有的四个字段有任意一个不匹配的记录, 同时在该表中增加一个标志字段,用来标示该记录是否已经处理:主键, 主键,,,,,,,, ? 以为基准,找出其他三个字段有不一致的数据: .中石化计划统计管理信息系统设计与实现主键, 主键, 选择出来的数据就是不一致的数据了,然后将 为,表示这些列有个字段不一致: 主键; 选择出除了不一致以外,还有其他字段不一致的数据: 主键主键 主键,,, 主键,,, ?; 然后进行类似的循环,只不过在重复第三步的时候,在 条件,字段值的定义为:.未处理,一字段不一致,.除了不一致外 还 有其他字段不一致,.字段不一致,一除了不一致外还有其他字段 不一致, 字段不一致,.除了不一致外还有其他字段不一致,.字段不一致, .除了不一致外还有其他字段不一致 处理完成后,就可以按照要求将的数据进行更新,的数据进 行插入 后加上. 主键.. 中的更新. .大连理大学专业学位硕士学位论文 系统实现 .管理员版软件实现 .作为开发工具,采用两层/结构和 系统以宝兰公司的 数据库连接组件。 是一个环境下的快速应用开发工具,具有很强的界面设计功 能,提供丰富的数据库开发功能坫】。 】: 支持的数据库包括【】【 单机数据库:,,, 网络数据库: ,,,,, 提供各种数据库连接技术,包括:连接,适合于单机版数据库应用 的开发。 ,对的数据库产品,如和 支持较好。 连接,是最新的面向网络应用的高效数据库连接技术,特别适合 于三层结构的/应用开发【】】。 由于丰富的数据库连接技术和界面控件,使特别适合于/结构的 数据库应用的开发。在/应用中,客户端采用专门开发的软件,可 以根据用户需要设 计任何需要的功能,而且不像/结构那样比较容易受到浏览器的 技术影响。 /结构是网络数据库系统的一种主要应用结构,其主要特点就是将数据库和进行 数据库操作的应用程序分步在网络上的不同计算机上。/有两层结构和多层结构,多 层结构中最典型的是三层/结构【”】。 两层/结构 图.两层/结构 /.. 中石化计划统计管理信息系统设计与实现 两层/结构是最早的/结构,它的特点是客户端软件与数据库服务器直接相连, 其基本结构如下图。 两层/结构存在以下一些缺陷: 一般只能应用于局域网内,不能应用于广域网上。 如果不经过处理,客户端需要安装数据库的客户端如的客户端,需要进 行数据库配置,一般用户会感觉比较难以操作。 客户端直接与数据库相连,连接较多时,会造成数据库服务器的高负荷。 三层/结构 为了克服两层/结构的缺点,于是出现了多层/结构,典型的就是三层/结 构。三层/结构的原理如下图所示,它的主要特点就是在客户端与数据库之间增加了 应用逻辑层。 图.三层/结构 .. 三层/结构的特点是: 应用逻辑层的主要作用就是处理数据操作逻辑,相当于两层结构中客户端的数据模 块的功能。 客户端不处理数据操作逻辑,只是从应用层获取数据,或向应用层发送数据。因而, 客户端是一种“瘦”客户端,客户端不再需要安装任何数据库系统的客户端,不需要进 行任何配置。 客户端、应用服务器、数据库服务器可以分步在不同的电脑和网络上。一般将应用 服务器与数据库服务器设置在一个局域网内,以提高数据传输的速度。客户端和应用服 务器之间可以通过/,,等协议进行通讯连接,可以分布在广域网上。 应用服务器和数据库服务器分离到不同的电脑上,可以有效的降低数据库服务器的 负荷【】【】,而且还可以采用多个应用服务器,自动实现负荷分 配。