数据库集成毕业论文

目  录 目  录    1 第一章  引言    3 1.1 什么是系统集成    3 1.2 发展背景    3 1.3 系统集成的任务    3 第二章  分布式环境下异种数据库系统的集成    5 2.1 数据库系统之间的差异性    5 2.2异种数据库集成的方法和要解决的问题    5 2.2.1 平台和网络的透明性    5 2.2.2 数据模型的转换    6 2.2.3 模式转换和集成    6 2.2.4分布式事务管理    6 2.2.5 位置透明性    6 2.2.6语言透明性    7 2.3异种数据库实现数据访问方法    7 2.3.1数据库网关    7 2.3.2公共协议    7 2.3.3公共编程界面    7 第三章  WWW与数据库集成    9 3.1 背景    9 3.2  Web与数据库的连接    9 3.2.1 公共网关接口（CGI）    9 3.2.2 基于Web应用编程接口（API）    10 3.2.3 基于Java/JDBC的数据库访问    13 3.2.4  数据绑定（浏览器插件）    15 第四章  新时期数据集成技术的发展与应用    17 4.1 三层结构的处理方式    17 4.2分布式对象计算DCOM/CORBA    18 4.2.1什么叫分布式对象计算    18 4.2.2分布式组件对象模型（Distributed Component Object Model,DCOM）    18 4.2.3公共对象请求代理体系（Common Object Request Broker Architecture，CORBA）    19 4.2.4  DCOM和CORBA的比较    19 4.3利用XML对数据进行集成    21 第五章  数据仓库和数据挖掘    23 5.1数据仓库    23 5.1.1 什么是数据仓库    23 5.1.2 数据仓库的特征    23 5.1.3数据仓库的结构组成    23 5.2 数据挖掘    24 5.2.1什么是数据挖掘    24 5.2.2 数据挖掘过程组成    24 5.3小结    24 参考文献    25 致  谢    26 第一章  引言 1.1 什么是系统集成 1) 美国专门从事信息行业调查研究的IDC公司认为：系统集成是将软件，硬件与通信技术组合起来，为用户解决信息处理问题的业务。 2) IBM公司是最大的计算机制造商，也是最大的系统集成承包商。它把系统集成定义为将信息技术，产品与服务结合起来，负责实现特定功能的业务。 3) 日本通产省的定义是：系统集成是掌握用户的需求，并根据用户的需求全面负责用户系统的设计，软件开发，运行准备与维护的服务。 上述几种说法虽有不同，但基本内涵是一致的。 1.2 发展背景 系统集成的发展有一系列重要原因。 1) 近年来世界各国特别是发达国家对信息系统的投资急剧增加。 2) 现在信息系统日趋复杂，为了优化系统的设计，已不可能只采用一家计算机厂商的产品。 3) 网络技术的广泛应用增加了对系统集成服务的需求。 4) 随着信息系统规模的扩大，系统研制的风险也大幅度的增长。 5) 软件系统日趋复杂，大型应用软件很难由一个单位独立完成，合理分工协作的开发方式已经成为一种必然的发展趋势。 1.3 系统集成的任务 一个计算机应用系统，尤其是大型计算机信息系统，包括：各种计算机硬件，软件，网络和应用，它们受相应系统的功能要求，工作环境，经费预算，开发期限等因素的制约，需要有针对性的选用恰当的产品及其型号，规格和指标，同时需要采用恰当的技术手段和依据一定的规范将他们组合与集成起来，以充分发挥设备的功能，收到总体的最佳效果，这就是系统集成所要完成的任务。 下面我们可以从四个层次对系统集成的任务进行描述。 1． 应用功能的集成 应用功能集成的核心和关键是数据集成，它是指将用户的实际需求和所提出的实际应用功能在同一系统中加以实现。例如，常见的应用需求有查询，检索，分析，计算等。最终，用户是通过应用功能实现的好坏来判定系统建设的成败， 因此，应用功能的集成不仅反映出系统集成商对用户系统建设目标的理解程度，而且直接影响到后续其他层次任务的集成。应用功能的集成是在系统需求分析，系统设计及应用软件开发等阶段完成的，最终是在所建立的支撑环境中通过应用软件实现的。 2． 支撑系统的集成 支撑系统（或支持系统）的集成是为了实现用户的应用需求和功能而必须建立的支撑环境的集成。它为应用系统的集成提供统一的系统平台，特别是统一的数据库平台，以保证数据格式的一致性，避免过多的数据接口和数据转换，以提高工作效率。例如，用户需要远程查询功能，我们不仅要为用户解决远程访问的通信手段，而且还要建立供查询使用的查询信息库和相应的服务器。于是，这个系统就应提供三个支持系统：网络平台，数据库平台和服务器平台，这三个平台有共同组成了这个远程查询应用系统的支撑平台。 3． 技术集成 无论是功能目标及需求的实现，还是集成系统之间的集成，实际上都是通过各种技术之间的集成来实现的。例如，在网络平台的建设过程中，往往不仅要采用LAN技术，还要采用WAN技术；不仅需要数据通讯技术，还需要多媒体通信技术，甚至在一个LAN 建设环境中，也往往集成了10Mbps以太网技术，快速交换以太网技术，甚至ATM技术。又如，在计算机系统平台的建设过程中，可能采用以Client/Server为主的结构，但也可能部分采用多终端访问方式；在OS系统平台上不但会有UNIX,而且会有Windows NT等其它OS。以上是在同一支撑平台上不同技术的集成问题，即使在不同平台之间，技术集成的问题也大量存在。例如，异种机网络互连问题就是服务器平台集成过程中的典型技术集成问题。又如，数据库系统加载问题涉及到数据库技术，网络技术与服务器技术的综合集成。 4． 产品集成 这时系统集成最终，最直接的体现形式。因为，无论是应用功能，支撑系统，还是技术，其最终的 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 现形式都落实在具体产品和设备的集成上。例如，要实现交换以太网技术，就要选这能支持该技术的产品设备；为实现汉字远程查询访问功能，就要选择支持远程拨号能力的相关网络产品和汉字终端设备。所谓产品集成，就是把不同种类，不同厂商，不同应用的计算机产品设备（包括软件）依照设计有机的组合在一起。 我们认为，只有能够实现以上几个层次的集成，才可成为真正的系统集成商。网络实现了设备的物理连接，或者说是“物理集成”，但它远远没有解决系统的功能集成和信息系统集成，即“逻辑集成”，而后者的集成实现难度更大，技术更复杂，在实现过程中应给予特别的重视。 第二章  分布式环境下异种数据库系统的集成 一般的大型信息系统都是基于数据库系统的，所以数据（库）集成也就成为了系统集成的核心。许多企事业单位在不同时期针对某些特定的业务应用需求实施了一系列异种数据库应用系统，出于保持应用拓展的连续性和保护过去投资及信息资源等因素的需要，这些异种应用系统往往需要长期共存，因此，对异种数据库进行集成，避免形成“信息化孤岛”是很有实际应用价值的研究课题。 2.1 数据库系统之间的差异性 要对分布式环境下的多个异种数据库系统进行集成，实现相互之间的操作，首先要弄清它们之间的差异性。这里所说的异种数据库包括不同形式的数据库，不同数据模型的数据库，同数据模型不同厂商的同质异型数据库，以及同一数据库厂商的不同版本的，针对不同环境的数据库产品。 从实际运行的系统来说，有许多因素都可能造成数据库系统之间的差异性，譬如，计算机硬件，操作系统，网络通信和协议（这些就形成所谓的平台异构性），以及DBMS和数据模型的不同等等。除了平台异构性外，源自数据库系统自身的差异可以分为DBMS的差异和数据语义的差异两类。 1． DBMS的差异 数据模型的不同是DBMS差异的一个重要方面。关系数据库，层次数据库，网状数据库，以及新出现的面向对象数据库，它们所采用的数据模型各不相同，将进一步导致数据结构，约束和数据语言等的差异。 2． 数据语义的差异 数据语义的差异主要源于不同数据库对相同或相关数据的理解，解释和使用的不一致性。譬如，两个数据库中对同一属性名的具体含义定义不一样，或同一属性的数据值在两个数据库中的精度定义不同，都可能引起语义差异。 2.2异种数据库集成的方法和要解决的问题 实现分布环境下异种数据库的集成可以通过两个方面的努力：一是转换，二是 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化。 2.2.1 平台和网络的透明性 由于异种数据库系统可能运行在从桌面机到主机的多种机型上，而且操作系统也可能不同，所以要实现异中数据库的集成，首先应当提供平台的透明性，能够对依赖于不同平台的数据存储格式，浮点表示，字节排列，国际字符格式，字符集等自动进行转换，使这些差别对用户和开发人员透明。 异种数据库系统通常都是在网络环境下进行通信的。异种数据库的集成应当提供网络的透明性，支持常用的网络拓扑和协议。目前多数流行的数据库管理系统都能支持Async,DECnet,TCP/IP,SPX/IPX,X.25等常用的网络协议。 2.2.2 数据模型的转换 异种数据库集成可能是关系，网状，层次，语义和面向对象等多种数据模型的数据库的集成，这就需要在不同的数据模型间进行转换，使得用户能够采用与本地数据库一致的方式访问到远程数据库中不同数据模型中的数据。 数据模型的转换有两种方法：一种是进行数据库语言的转化，譬如在层次数据库，网状数据库中提供支持SQL语言的机制；另一种是采用公共模型，其它模型均可与这种公共模型进行双向转换 ，从而实现不同模型之间的转换。 2.2.3 模式转换和集成 每个本地数据库都有描述自身数据结构的本地模式，面向用户的数据库结构则可用用户模式来描述。各个本地模式要构成全局模式以便于跨数据库系统的数据操作。由于不同数据库中的本地模式，全局模式和用户模式可能各不相同，应当能够将本地模式转换并集成为全局模式，并从全局模式构造出不同的用户模式。 2.2.4分布式事务管理 分布式事务是包括一条以上语句的任一事务，这些事务可修改两个以上不同节点上的数据。异种数据库集成应当有分布式事务管理功能，保证一个事务的所有语句作为一个单元进行提交或回退，通常是通过两个阶段提交来完成的。 2.2.5 位置透明性 位置透明性是指用户和编程人员不必知道数据库中数据的具体存放位置，便能直接访问它。通常用户和编程人员只要指明数据项的逻辑名，系统就能自动把逻辑名映射到该数据的物理位置的地址上。 2.2.6语言透明性 异种数据库集成应当提供语言的透明性，让用户使用一种公共的标准语言集就能访问不同数据库的数据。选择公共语言集有两种方法：一是选不同数据库语言的公共集或标准集；二是取某种数据库的操作语言作为公共语言。SQL语言已成为事实上的标准语言。 2.3异种数据库实现数据访问方法 当前，异种数据库系统集成主要采用三种方法：数据库网关（Gateway）,公共协议（Common Protocol）,公共编程接口（Common Programming Interface）,它们都是基于Client/Server体系结构的。 2.3.1数据库网关 数据库网关是一个转换器，客户只要通过它就可以访问异种数据库。采用数据库网关可以较为满意的解决数据库的互操作问题，通过网关，可以把第三方的开发工具连接到自己的数据库产品上。用户无需废弃现有的应用程序，就可利用网关把它们与新的数据库技术互连起来，从而保护已有的投资，但是，几个异构数据库构成的复杂系统中，要实现任意两个数据库见的互操作，就必须提供n(n-1)/2个网关，而且数据库网关价格昂贵，这在实际应用中是很难投入实用的，而且，有些异构数据库间的数据格式，语义或语法的转换是行不通的，利用数据库网关访问这些数据库不易达到完全透明。 2.3.2公共协议 采用公共协议指对用户和服务期间通信的格式和协议（frame and protocal）以及对数据库语言进行标准化，这是一种最理想的解决异种数据库系统集成的方法。目前比较典型的有关FAP的标准是ANSI/ISO的RDA标准（ISO/IEC9579）和IBM的分布式关系数据库体系结构（DRDA）。在数据库语言方面，ISO有数据查询语言SQL的标准（如：ISO9075），很多数据库产品部分或完全支持它。 2.3.3公共编程界面 公共编程界面包括客户应用编程界面（CAPI）和服务器应用编程界面 （SAPI）。CAPI是一组程序库，通常以TSR方式或DLL方式驻留在客户工作站上，一个CAPI通常可装载后端专用的驱动程序以访问不同的数据源。SAPI提供一个应用编程界面，并提供控制服务器与客户应用请求和目标数据库之间的交互，像Microsoft的ODBC，Oracle的SQL NET以及IDAPI就是这类用途的API。 以上三种方法在异种数据库集成中可以配合使用，并不相互排斥。 第三章  WWW与数据库集成 3.1 背景 数据库技术经过几十年的发展，其功能越来越强大，但随着以网络为中心的计算机时代的到来，以往被广泛使用的用DBMS建造的数据库资源不能被Web直接访问，这种状况影响了数据库资源的共享，造成了资源浪费。 当前数据库系统的应用环境由可控制的环境变成多变的异质信息集成环境和WWW环境。可以说Web就是一个巨型数据库，Web上的数据，数据量大，类型多，管理不足。而这恰恰是数据库的优势，因此，数据库技术与Web技术的结合已成为当前研究的重点。 一方面，网络技术的发展推动了Web技术的发展，Web上巨大的数据量再也不能忍受文件系统的管理模式，迫切需要采用数据库技术进行管理。用数据库技术进行管理可使Web页面更具交互性，动态性和灵活性。另一方面，传统的数据库管理系统也需要引入Web技术，以便与信息在网络上的访问和发布。 3.2  Web与数据库的连接 3.2.1 公共网关接口（CGI） CGI(Common Gateway Interface)是服务器和HTML文件之间的接口程序，它负责处理HTML文件与运行在服务器中的程序之间的数据交换。当读者输入他们的信息后，便激活了一个CGI程序，一个CGI程序就是一个散发器，它负责传送请求给适当的数据库应用服务器。该CGI 程序又可以调用操作系统下的其它程序如数据库应用服务完成读者的查询任务。当系统完成查询任务之后，又将查询结果传给CGI，通过CGI传给服务器，其结构如图1。 优点：通用性  由于CGI是作为Web服务器提供一般的接口而设计，因此，几乎所有的服务器都支持CGI，开发者可以使用任一Web服务器内置语言编写CGI程序，如VB,VC等。 缺点： 1. 运行慢，开销大。从上述实现过程我们不难看出，对每个Web用户提交的请求，服务器都需进行格式转换。即把HTML格式转化成服务器所需要的格式。而且服务器将每一个CGI调用作为一个进程来运行，每一次对数据库进行操作时，都不许进行数据库服务器的登录，打开数据库，操作结束后关闭数据库和注销。这些都无疑增加了处理的开销，而且消耗了大量时间和资源。在用户增多情况下，表现尤为突出。 2. 由于用户对数据库操作时是以批处理方式发送用户名，用户口令，因此Web服务器只能控制用户所在的域，而不能用数据库级特权来控制存取权限，这样使得对用户的访问变得难以控制。 3. CGI程序的编译，连接是与一个具体的数据库管理系统相联系的，因此该程序只能访问一个具体的数据库。 对开发者来说，CGI编程十分复杂，仅一个简单的查询就需要上百条语句实现。 3.2.2 基于Web应用编程接口（API） 针对CGI的缺陷，一些Web服务器厂商推出了各自的Web服务器应用编程接口API(Application Programming Interface)，如Microsoft的Web服务器IIS(Internet Information Server)的ISAPI，Netscape的NSAPI等。但是开发API程序要比CGI程序复杂的多，开发者须具备进程同步，直接协议编程等方面的专业知识。因此，为使Web与数据库之间的连接更为简洁，方便，Netscape和Microsoft在各自的Web服务器软件中提供了基于API的编程接口。微软在其IIS2.0(Internet information Server)中提供了基于ISAPI的IDC(Internet Database Connector),Netscape Enterprise Server提供了基于NSAPI的LiveWire。 在此，谈谈在Microsoft公司的产品IIS中如何访问数据库的。 ? 利用IIS2.0中的IDC连接数据库 IDC是IIS的一个动态链接库（Httpodbc.dll）, 运行在Web服务器上的，它是通过ODBC接口访问各种数据库的，浏览器利用HTTP协议递交需求给Internet服务器，服务器用HTML语言格式的文档响应，服务器通过调用IDC完成对数据库的访问。其过程如图2。 从图2中看出，整个过程分为6步： 1. Internet Information Server 接收URL（Uniform Resource Locator）。 2. Internet Information Server 载入HTTPODBC.DLL并且提供URL中保留的信息，.IDC文件被映射到HTTPODBC.DLL,HTTPODBC.DLL载入并且包含从URL传递到服务器上的Internet 数据库连接器文件。 3. HTTPODBC.DLL读Internet数据库连接器文件。 4. IDC与ODBC数据源连接，执行包含在Internet 数据库连接器文件中的SQL查询语句。 5. IDC从数据库中反馈查询结果。并将该结果放入HTML扩展文件 .HTX中。 6. IDC发送信息给服务器，服务器将该信息反馈给客户。 图 2 我们可以看出，对数据库的一个字段进行浏览，可用如下的程序实现：第一部分为 .HTML(超文本文件)，第二部分为.IDC(数据库连接文件)，第三部分为.HTX(反馈文件)。因此，只要简单掌握了SQL语句，运用超文本语言，访问数据库是十分容易和方便的事，不像编写CGI程序那样需要有一定的专业知识，同时又需要专门的软件。编写.IDC文件不需要特殊的软件，同编写HTML语句一样，用Windows的记事本就可以编写，故在设计一些具有固定格式的动态Web页面时是非常合适的。另一个区别在于用ISAPI创建的应用程序被编译成动态链接库（DLL）,在WWW服务器启动时被装载，由于程序常驻内存，ISAPI程序比CGI 应用程序运行速度快。