一个轻量级的异构数据库同步系统(1)

一个轻量级的异构数据库同步系统(1)一个轻量级的异构数据库同步系统(1) 摘要本文主要论述了通过Java语言、Hibernate框架和消息队列中间件实现异构数据库的同步。Java的平台无关性很好的地解决了平台问题，Hibernate作为一种新的ORM映射工具，可以支持几乎所有的流行的数据库服务器，所以它基本能满足对数据进行有效、安全处理的需要。同时通过MQSeries classes for Java，利用网络传输，能够实现数据的同步传输。关键词消息队列; Hibernate; 异构数据库; 同步;1 引言目前，信息化建设正以前所未有的速度...

一个轻量级的异构数据库同步系统(1) 摘要本文主要论述了通过Java语言、Hibernate框架和消息队列中间件实现异构数据库的同步。Java的平台无关性很好的地解决了平台问题，Hibernate作为一种新的ORM映射工具，可以支持几乎所有的流行的数据库服务器，所以它基本能满足对数据进行有效、安全处理的需要。同时通过MQSeries classes for Java，利用网络传输，能够实现数据的同步传输。关键词消息队列; Hibernate; 异构数据库; 同步;1 引言目前，信息化建设正以前所未有的速度发展，各种各样的数据急剧膨胀。在这种大背景下，数据的传输、处理能力已经成为信息化程度的一个重要标志。但是，由于各单位现在使用的软硬件平台、数据库系统不尽相同，当各单位之间需要进行数据交流时，其效率及准确性、及时性必然受到影响，对数据进行有效、安全的传输和处理成为一个重要的技术课题。目前的一些解决方案系统功能复杂、过于庞大而且费用较高，而对于中小型企业一般只需要数据层的一部分进行同步。本文提出了采用Java、Hibernate框架和消息队列来实现异构数据库的同步方案，该方案是一种轻量级的架构，可满足中小型企业需求，并且能够以手工迁移的方式来保证网络出现故障时数据库的同步。2 国内外发展状况异构数据库同步是异构数据库集成技术的一种应用。目前国内外几家大型的数据库厂商提出的异构数据库复制方案主要有：Oracle的透明网关技术，IBM的CCD表（一致变化数据表）方案，微软公司的出版者/订阅者方案。国外的如土耳其中东科技大学的MIND系统，美国密歇根-迪尔波恩大学、斯坦福大学的TSUNMMIS项目，国内的如中关村科技软件有限公司、华中科技大学的Panorama系统都有过类似系统的研究。但是由于上述系统致力于解决异构数据库间复杂的交互操作，大而全，并不符合一些中小企业的需求，如IBM的CCD表方案实现复杂且CD表占用资源较多维护费用高昂，微软公司的出版者/订阅者方案只能在NT运行等。而其它的系统大多都存在此类问题。3 所用技术简介3.1 Hibernate技术介绍 Hibernate 是一个开源对象/与持久性和查询相关的框架，Hibernate 帮助基于普通的Java对象模型的持久对象的创建，从而允许持久对象拥有复杂的结构如混合类型、集合和属性，还可以拥有用户自定义的类型。现在这些持久对象可以有效的反映出底层数据库模式的复杂结构。为了提高效率，Hibernate包括了一些策略，如与数据库交互时的多重最优化，包括对象的缓存、有效外部连接的获取、必要时SQL语句的执行，并且Hibernate支持几乎所有流行的数据库服务器。3.2 MQSeries classes for Java 简介消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。下图1是消息队列本地通讯和远程通讯的原理图。图1 MQ的工作原理 MQSeries classes for Java (MQ base Java) 允许以 Java 编程语言编写程序： (1)作为 MQSeries 客户机连接到 MQSeries； (2)直接连接到 MQSeries 服务器。它支持 Java 小应用程序、应用程序以及小服务程序对 MQSeries 发出调用并查询。4 解决方案4.1 解决方案的主要框架图针对当前存在的这个问题，现提出基于Hibernate和消息队列来实现异构数据库间数据同步的方案，该方案是一种轻量级低成本的方案，可以满足中小企业对于异构数据库数据同步的需求。下面图2是整个解决方案的原理结构图：图2 Hibernate MQ实现异构数据库的数据同步根据系统的工作特点，将系统工作模块分为下列四块，解决方案的主要模式图如图3所示。图 3 解决方案模式图4.2 各模块设计简介4.2.1 数据的捕获、分发、同步数据的捕获是数据库同步的基础，变化数据的捕获主要有基于快照法、基于触发器法、基于日志法、基于API法、影子表法和控制表变化法。基于快照法效率比较低一般不能用于同步，可使用基于触发器法、基于日志法或基于API法和控制表变化法进行变化数据的捕获。消息队列可以负责可靠的异步传输，将数据安全的发送至目的地。消息队列可以配置多种通讯模式（点对点通讯、多点广播、发布/订阅(Publish/Subscribe)模式、群集(Cluster)），可以适合多种不同的通讯需求。此外在同步过程发生冲突的话，消息队列还负责传递仲裁结果和控制信息，来负责协调整个系统。共2页: 1 [2] 下一页论文出处(作者):

                    本文档为【一个轻量级的异构数据库同步系统(1)】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
                    图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。 
 该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。

                    [版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。

                    本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。

                    网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
                

下载需要：免费已有0 人下载

立即下载

一个轻量级的异构数据库同步系统(1)

你可能还喜欢