DB2数据迁移方案

DB2数据迁移方案 DB2数据迁移方案 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 1 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 目 录 第一章 GoldenGate解决方案 ...................................................................................................... 3 1.1 概览 .................................................................................................................................... 3 1.2 GoldenGate工作原理 ........................................................................................................ 3 1.3 GoldenGate TDM的好处 ................................................................................................... 4 1.3.1 实时性 .................................................................................................................... 5 1.3.2 持续可用性 ............................................................................................................ 5 1.3.3 异构支持 ................................................................................................................ 5 1.3.4 高性能，低影响 .................................................................................................... 5 1.3.5 事务一致性 ............................................................................................................ 5 1.4 GoldenGate技术介绍 ........................................................................................................ 6 1.5 方案实现技术细节 .......................................................................................................... 13 1.5.1 准备工作 .............................................................................................................. 13 1.5.2 步骤 新产品开发流程的步骤课题研究的五个步骤成本核算步骤微型课题研究步骤数控铣床操作步骤 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 .............................................................................................................. 14 第二章 数据迁移工具解决方案 ................................................................................................... 16 2.1 概览 .................................................................................................................................. 16 2.2 数据移动 格式 pdf格式笔记格式下载页码格式下载公文格式下载简报格式下载 .................................................................................................................. 16 2.3 工具介绍 .......................................................................................................................... 17 2.3.1 导出(EXPORT)工具 ....................................................................................... 17 2.3.2 导入( IMPORT )工具 ................................................................................... 17 2.3.3 导入 LOAD 工具 ............................................................................................... 18 2.3.4 db2move工具 ....................................................................................................... 18 2.3.5 db2look工具 ......................................................................................................... 19 2.4 方案实现技术细节 .......................................................................................................... 19 2.4.1 跨平台数据迁移 .................................................................................................. 19 2.4.2 同平台数据迁移 .................................................................................................. 20 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 2 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 第一章 GoldenGate解决方案 1.1 概览 为了应对这样的现状，我们推荐Oracle 公司的GoldenGate软件，该软件提供了事务数据管理(TDM)平台，支持异构数据库DB2，用于持续性的源系统和目标系统之间传递大量事务数据，并确保投递速度快，事务完整，系统整体开销影响小。 采用GoldenGate的数据复制技术，实现数据实时备份，确保核心数据的安全，同时避免引入过多种类的软硬件产品，降低了运营维护的复杂度和投入，有利于灾备系统的恢复和切换以及数据迁移。 目前GoldenGate提供免费试用，但不提供技术支持。 1.2 GoldenGate工作原理 GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库实时同步(real-time data synchronize)、双活(active-active high availability)。GoldenGate软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制，其工作原理如下: 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 3 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com DB2 DB2 1.3 GoldenGate TDM的好处 满足整个企业的实时数据需求，一技多用，保证业务不间断和实时数据传输。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 4 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 1.3.1 实时性 随着一个新事务在数据源端产生，数据马上被捕获，转换(如果有必要)，并且在极短时间内被传送给目标端系统 1.3.2 持续可用性 GoldenGate工作不需要专门的时间窗口或者系统中断，它的架构可以保证即使遇到计划或非计划断电也不会影响可用性。 1.3.3 异构支持 只要源和目标端都是主流数据库，主流平台，即使在在异构环境下，也可以使用TDM进行系统间数据复制，这就确保了IT部门的灵活性。 1.3.4 高性能，低影响 GoldenGate能够支持每秒数千的事务交易，同时对源系统和目标系统仅仅有极小的性能影响。 1.3.5 事务一致性 尽管事务是在源和目的两个不同的系统之间传递的，GoldenGate依然可以确保其参照完整性和事务一致性。GoldenGate只复制成功提交的事务，防止源和目标的不一致性。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 5 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 1.4 GoldenGate技术介绍 关于 GOLDENGATE GoldenGate 是高可用和实时数据整合的最优方案。GoldenGate 协助关键系统保持 24*7 小时运作，满足最终用户连续可用的要求。GoldenGate 帮助组织在企业范围内快速分发关键数据，以便及时和准确的决策。简而言之，GoldenGate 解决方案就是实时获取实时信息。 GoldenGate解决方案由GoldenGate Transactional Data Management (TDM)支撑，提供异构系统间事务数据实时捕获、路由、转换和投递，同时系统消耗最低。 全球逾400家客户信赖GoldenGate解决方案，包括Visa, Bank of America, US Bank, UBS, Sabre Holdings, DIRECTV, Comcast, MGM Mirage, Chase Paymentech, AMD, Mayo Foundation, Retail Decisions 和 Overstock.com等。 GoldenGate拓展全球市场，和领先技术提供商建立战略合作关系，他们包括 ACI Worldwide, Amdocs, Business Objects, Cerner, Eclipsys, Fujitsu, GE Healthcare, HP, IBM, Ingres, Microsoft, Teradata。 高可用和容灾解决方案 GoldenGate 高可用和容灾解决方案消除计划外和计划内停机时间，同时提高性能和可伸缩性，满足数据和使用量激增需求。 , GoldenGate 实时备用 显著加快关键业务系统的恢复。 , GoldenGate 零停机时间操作 系统升级、移植和维护操作时不中断业务运 作。 , GoldenGate 活动-活动 通过均衡负载实现两个或更多数据库性能和扩展性 的提升。 , 数据库分层 使公司确保他们的生产系统的最高性能，同时还容易支持必要 只读操作。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 6 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 实时数据整合解决方案 GoldenGate 实时数据整合解决方案提供为数据仓库、商店经营数据、报表系统，或其他OLTP数据库提供实时变化数据。 无须批处理窗口，并且性能影响最小 , GoldenGate 实时数据仓库在OLTP系统和数据仓库之间连续、实时地 捕获、转换和投递最近变化的数据。这也可以和现有ETL系统整合。 , GoldenGate 实时报表 以廉价次等系统分担生产数据库的报表负载。实 时报表总能获取最新数据。 , GoldenGate 事务数据完整性 在OLTP系统之间实时保证点对点数据 完整性，并且系统影响最小。 GoldenGate可以在异构的IT基础结构之间实现大量数据的秒一级的数据捕捉、转换和投递。GoldenGate可以支持几乎所有常用操作系统如和数据库平台，如下表所示: 操作系统 数据库 MS NT, 2000, XP, Linux, Sun Solaris, Oracle, DB2, MS SQL Server, MySQL, HP-UX, IBM AIX, HP NonStop, Enscribe, SQL/MP, SQL/MX, TRU64, IBM z/OS，OS/390 Sybase, Teradata, 其他ODBC 兼容 数据库 GoldenGate软件提供了一个单一的平台，这个平台可以为任何企业环境实现秒一级的灾难备份。GoldenGate是一种基于软件的数据复制方式，它从数据库的日志中解析数据的变化(数据量只有日志的四分之一左右)，GoldenGate将数据转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式如Oracle Net，而且可以通过高达9:1的压缩比率对数据进行压缩，大大降低带宽需求。在目标端，GoldenGate可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在秒一级实现大量数据的复制。 1.4.1.1 复制模式 ， 单向数据复制 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 7 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com GoldenGate的数据复制原理是:利用捕捉进程(Extract Process)在源系统端读取Online Redo Log或Archive Log，确定需要进行的复制(增、删、改)操作，并通过队列(Extract 队列)，将相关信息传送到目标系统。目标系统端的投递进程(Deliver 进程)接受相关内容，通过Replicate 进程创建实现数据复制或同步的SQL语句，并在目标系统中予以执行。 ， 双向数据复制 双向数据复制是基于单向数据复制原理之上，两端互为源/目的数据复制对象，两端生产系统同时保持Active状态。 为了避免出现刚被复制进对端目的数据库数据马上又被捕捉进程复制回源端，陷入死循环的状态。GoldenGate采用了相应的判别机制来保证对捕捉数据的识别，当应用程序和GoldenGate复制进程同时更新同一个表时, 捕捉进程使用了一个跟踪表机制。在配置双向数据复制时, 需要通过命令行向两边的数据库中加入跟踪表。当捕捉进程读到一个交易中有针对跟踪表的更新, 捕捉进程就知道这个交易是由复制进程产生的并且把这笔交易忽略掉. 如果没有针对跟踪表的更新, 捕捉进程就知道这个交易是由应用程序产生的并且把这笔交易读取出来. 通过以上处理机制后，就可以很好的解决双向数据复制中所担心的重复捕捉变化数据的操作出现。显然，上述过程的实现，与基于文件复制原理的数据同步完全不同。无论从网络资源占用、执行效率和对系统性能影响等方面考虑，都比其它方案有较大的优势。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 8 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com GoldenGate提供了灵活的应用方案，基于其先进、灵活的技术架构可以根据用户需求组成各种拓扑结构，如图所示: GoldenGate各种拓扑结构示意图 1. 广播复制:由一个数据库向多个数据库复制，利用GoldenGate的数据 过滤功能可以实现数据的有选择分发; 2. 集中复制:由多个数据库向一个数据库复制，可以将分布的、跨平台或成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 9 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 异构的多个数据库集中到一个数据库。此种模式广泛应用于n+1模式的 容灾，通过将多个系统数据库集中到一起，可以充分利用备份中心的设 施，大幅减少投资;另外也用于跨平台多系统的数据集成，为这些提供 系统提供一个统一视图便于查询和统计数据。 3. 多层复制:由A数据库向B复制，同时又由B向C复制，可以在以上 几种模式基础上无限制扩展。 由此可见，GoldenGate的复制模式非常灵活，用户可以根据自己的需求选择特定的复制方式，并根据系统扩展对复制进行扩展。 1.4.1.2 关键特性 GoldenGate是一种基于数据库日志的数据复制产品，可以利用极少的系统开支，实时复制数据库，改善数据可用性。GoldenGate可以在数据移植、在线维护等场合应用，以减少或消除数据库的停机时间。同时，它还可用于数据容灾、负载均衡、数据集中、数据分布等应用中。GoldenGate可确保在这些工作进行时，源系统的正常事务处理得以继续进行，功能上不受影响。 作为一种软件方案，GoldenGate 可以采用非常灵活的方式加以配置，包括双向复制和多层次的数据复制。特别是其在双向数据复制领域的技术先进性，可以满足用户在本地或广域网络环境中的各种复杂需求。 GoldenGate的TDM软件的几个关键特性? 1. 本机数据改变捕捉–作为一个基于日志的同步解决方案，将对源系统和 网络的影响减少到最低。 2. 灵活性–源和目的系统不需要有一样的操作系统、数据库及模板(例如? 表，索引，等)。GoldenGate能在同一个系统的多个数据库实例之间实 现数据复制，或把数据复制到局域网内的其它数据库实例，或把数据复 制到广域网上的远端数据库实例。 3. 无需宕机时间的移植–GoldenGate能在不同版本的数据库和操作系统 之间同步数据。数据库，操作系统或应用系统的更新可以在辅助系统里 进行。一旦更新后的辅助系统通过了完整的测试，所有的处理工作就可 以切换到辅助系统，然后更新主系统。一旦主系统的更新完成了，主与 辅助系统之间能够再一次同步而无宕机时间。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 10 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 4. 不依赖于硬件和数据库–GoldenGate不依赖于操作系统，数据库和硬 件。数据可以在不同的环境之间移动，因而消除了客户对任何拓扑结构 的依赖性。 5. RPO与RTO的目标–GoldenGate提供了立即恢复备份的装备。这是因 为源和备份系统可以配置或构架 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 为双向”端到端”的功能。 6. 双向复制–GoldenGate提供了两个或两个以上生产系统之间的数据复 制功能。这些系统无须具有一样的属性或相同的操作系统，数据库或数 据库版本。 7. 数据一致性–备份数据库支持读一致性的查询活动(交易的一致性在任 何时候都受到保护)。 8. 灵活的拓扑结构–在数据库和表一级实现了多种相关数据的分部方式。 例如?支持一对多，多对一，多对多以及分层的配置。 9. 映射与转换功能–列转换能够适应特别的备份需要，包括查看和执行存 储过程。 10. 数据选择–选择性的复制数据而不是全部，例如表，行和列。 1.4.1.3 应用方式 GoldenGate 是一种基于log 的复制解决方案，支持不同的配置方式，以满足用户的各种数据复制和同步化要求。其用途和应用方式包括: ， 建立报表系统 GoldenGate 可以将源系统的数据实时复制到目标系统，从而建立一个可以被访问的即席查询和报表系统。目标系统可以是源系统的全集或子集。 通过将查询和报表系统放在不同的数据库实例中运行，可以平衡服务器负载并提高OLTP类生产系统的性能。一方面， 可以减少OLTP应用和查询报表应用之间 的磁盘I/O冲突，提高OLTP应用的效率。 另一方面，GoldenGate支持不同模式间的 复制。可以分别面向OLTP和查询系统的报表实例使用特点来进行设计，如建立索引，设置数据库表的参数等等。 ， 实现高可用性 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 11 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 保证数据高可用性和数据库系统能够从灾难中迅速恢复是一个非常具有挑战性的工作。GoldenGate可以通过LAN或WAN进行复制，这样当生产环境出现紧急事件或要进行例行维护时，可以将应用 切换到复制数据库中。 有了生产数据库的实时拷贝，用户可以保证 应用系统7*24不间断运行的情况下进行维护工作 高可用性 ，如进行操作系统和数据库的升级等等。 ， 多数据源配置 多数据源配置允许你将不同的用户分布到不同 的服务器，让每个数据库能够反映其他数据库的变 化。在这种配置模式下，GoldenGate采用必要的 冲突处理机制来解决可能发生的冲突。 多数据源 ， 数据分布和数据集中 GoldenGate通过LAN或WAN进行实时复制，将生产数据库中的数据拷贝到需要它们的地方。对广播复制来说，远程用户可以访问这些实时数据而不用登录生产服务器。因此，提高了网络性能和生产环境下的OLTP应用的性能。 集中复制 广播复制 ， 层次化企业数据分布 GoldenGate 支持层叠复制，可以向不是直接 相连的数据库复制数据。使用这种配置，可以在远 程数据库间进行复制(如从北京到上海)。 GoldenGate 支持多种复杂的场景来满足复制需 求。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 12 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 1.5 方案实现技术细节 采用Oracle GoldenGate数据实时DB2同步迁移解决方案，需要在源与目标系统均安装GoldenGate相应软件模块，系统架构图如下: 目标系统 DB2 DB2 1.5.1 准备工作 , 确保生产系统运行在归档模式下 Log retain for recovery status = RECOVERY User exit for logging status = YES , 数据库进行全库备份 db2 stop force db2 start db2 backup db , 记录源数据库管理系统配置参数，以备迁移过后数据库系统性能调 优 , 导出源数据库系统的数据集 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 13 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com , 在生产系统和目标系统安装Goldengate，最好建立单独的用户 1.5.2 步骤分析 1. 正常运行情况下，数据同步方向为生产系统到目标系统。我们需要启动上图中绿色实线方向的GoldenGate进程，同时停止红色虚线方向的GoldenGate进程。数据同步进程如下: a) 在生产系统上需要运行GoldenGate捕获进程，负责实时读取DB2 数据库交易日志中的数据变化，并根据需要可以执行过滤操作，仅 将感兴趣的数据捕获过来，写入本地的源队列文件中。根据实际测 试，写入队列文件的数据量约为交易日志文件的四分之一。 b) 在生产系统上还需要运行GoldenGate DataPump进程，该进程负 责将源队列文件的内容发送到目标队列文件中。通过压缩机制(最 大压缩比可以达到9:1)，网络传输的数据量，最佳情况下约为源队 列文件内容的九分之一。 c) 变化数据到达目标系统后，目标系统上的GoldenGate进程将实时 读取这些交易变化数据，根据其在生产系统上的交易顺序，完全一 致地应用到目标系统，保证了两边交易数据的一致性。 2. 当生产系统迁移完成，无需对外提供服务时，需要将应用系统切换到目标系统。完成迁移过程。系统切换后可以原系统为备机，此时，GoldenGate需要实现反向的数据同步，即灾备系统到生产系统的实时数据同步。因此，在启用灾备系统的同时，需要同时启动反向数据同步的GoldenGate集成，即上述架构图中红色虚线方向的GoldenGate进程，同时停止绿色实线方向的GoldenGate进程。此时，数据同步过程如下: a) 灾备系统上的GoldenGate捕获进程实时读取灾备系统交易日志的 变化数据，写入灾备系统本地的源队列文件中; b) 如果网络正常，则灾备系统上的GoldenGate DataPump进程将把 变化数据从源队列文件压缩/加密传输到生产系统的目标队列文件 中，而此时，生产系统不必处于正常运行状态; 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 14 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com c) 当生产系统数据库恢复运行时，生产系统上的GoldenGate交付进 程会自动将积累在目标队列文件中的变化数据应用到生产系统数据 库中，保证生产系统与灾备系统的交易数据同步。 3. 当生产系统完全恢复运行后，需要将应用从灾备系统切换回生产系统 时。在应用切换的同时，启动生产系统到灾备系统的所有GoldenGate 进程，并在确保灾备系统到生产系统所有已有变化数据已处理的情况下， 停止灾备系统到生产系统的所有GoldenGate进程，从而实现灾备系统 到生成系统的恢复切换过程。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 15 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 第二章 数据迁移工具解决方案 2.1 概览 数据迁移通俗的说就是将数据从一个地方转移到另一个地方。主要使用场景有:根据正式系统搭建测试环境、从内网复制到外网、数据库服务器硬件升级等。根据需要迁移的数据量大小、系统架构，可采取不同的迁移方法。 客户端A客户端B 数据文件单表操作数据文件IMPORT EXPORTLOAD 多表操作 数据库A数据库A数据库B DB2MOVE DB2LOOK 数据库A 数据库操作 脚本文件 2.2 数据移动格式 目标数据库源数据库 文件 EXPORTIMPORT LOADDELASCWSFIXF 图中有两个数据库，分别为源数据库和目标数据库 ，使用 Export 工具，可以将数据库中的表导出为文件，导出的文件格式可以为: ASC = ASCII 非定界ASCII码文件 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 16 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com DEL = Delimited ASCII 定界ASCII码文件 WSF = Worksheet format 二进制文件格式 IXF = Integrated Exchange Format 其中: ---ASC和DEL 格式的文件是文本文件，可以用任何文本编辑器打开 ---WSF格式的文件可以将数据迁移到电子 表格 关于规范使用各类表格的通知入职表格免费下载关于主播时间做一个表格详细英语字母大小写表格下载简历表格模板下载 软件中，例如 Excel ---IXF 格式文件包括了数据表的数据描述语言(DDL )和里面的数据。使用 IXF 格式是非常方便的，利用它可以重建数据表，而其他格式则没有办法这么做。 2.3 工具介绍 2.3.1 导出(EXPORT)工具 Export 用于将数据从数据表中导出到前面介绍那几种格式的文件中。其实，它执行了一个 SQL 的SELECT 操作。基本语法: EXPORT TO of [LOBS TO ] [LOBFILE ] [MODIFIED BY ] [MESSAGES ] 下面的例子将一个 (sample数据库)staff数据表中的 10行数据导出到 staff.ixf 文件中: export to staff.ixf of ixf select * from staff fetch first 10 rows only export to staff.del of del select * from staff fetch first 10 rows only 优点:能快速实现单表的导出，而且能安装筛选条件进行导出 缺点:不能实现整库导出 2.3.2 导入( IMPORT )工具 Import 用于将前面介绍的数据文件导入到数据表中。它其实执行了 SQL 的INSERT 操作。和INSERT 操作一样，Import 执行的时候会激活触发器，所有的约束会强制实现，而且会使用数据库的缓冲池. 下面的例子将 IXF 格式的 staff.ixf 中所有的数据导入到 staff_copy 数据成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 17 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 表中。 import from staff.ixf of ixf replace_create into staff_copy import from staff.del of del replace into staff_copy 优点:能保证数据完整性 缺点:不能实现整库导入，速度比LOAD慢 2.3.3 导入 LOAD 工具 Load工具可以更快的将数据文件导入到数据表中。Load工具不会与DB2 数据引擎发生交互，所以当使用 Load工具时，不会触发触发器也不会使用缓冲池，而且必须单独实现数据表的约束。Import 工具执行起来比 Load慢是因为它是低层次的数据操作工具，它分LOAD ，BUILD ，DELETE 三个阶段对硬盘上的数据页面来进行直接的处理。 下面的例子将 IXF 格式的 staff.ixf 文件里面的所有数据导入到表 staff_copy 。 LOAD FROM staff.ixf OF IXF REPLACE INTO staff _copy 优点:Load比Import 快 缺点:单独实现数据表的约束 2.3.4 db2move工具 Export ，Import 和Load每次都只对一个表进行操作。但是您若使用它们来写一段脚本，就可对一个数据库中的所有的表进行操作。另一个工具 db2move可以更方便地完成同样的工作。 下面的例子展示怎么样使用db2move并结合export 和import 选项来对 SAMPLE数据库进行整体操作. db2move sample export db2move sample import 优点:能实现全库的导入导出 缺点:不能按照条件和单表进行导入导出 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 18 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 2.3.5 db2look工具 由前面可以知道 Export 、Import 、Load和db2move工具可以在同一个数据库或者跨数据库的数据表之间进行数据的迁移。而 db2look 工具则可以将 DDL 语句、数据库统计状态、表空间参数导出到一个脚本文件中，这个文件可以用于不同系统的数据库。 下面的例子使用 db2look 工具，将 SAMPLE数据库的表空间、缓冲池、DDL 语句导出并存储到sample.ddl 中。我们建议您运行下面的命令并且查看它的输出文件 sample.ddl 。 优点:根据条件导出数据库的DDL，并可定向编辑 缺点:不能导出数据 2.4 方案实现技术细节 2.4.1 跨平台数据迁移 由于我们需要将DB2数据库跨平台进行迁移，结合以上的工具: 目标数据库源数据库脚本文件 DB2LOOK执行脚本文件 数据库结构 数据库数据 DB2MOVE EXPORTDB2MOVE IMPORT 中间文件 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 19 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 第一步，在源系统中的 DB2 服务器上运行 db2look 工具，得到数据库的结构并将这个结构存储到脚本文件中，然后将这个脚本文件拷贝到 目标平台上的 DB2 服务器上运行，运行后得到一个克隆的数据库。这时，源平台上的这个克隆数据库和目标平台上的源数据库有着相同的结构。 , 记录源数据库管理系统配置参数，以备迁移过后数据库系统性能调优; , 检查源数据库系统对象，明确要迁移哪些数据库系统对象; , 导出源数据库系统的数据集; , 生成源数据库系统的数据对象定义语句; 第二步，在 DB2 源 服务器上运行带 export 选项的 db2move工具，并将所产生的所有文件拷贝到DB2 目标服务器上，再次运行 db2move工具，利用 import 或者 load 选项将所有的文件导入到克隆的数据库中，执行完这个步骤后，这两个不同平台上的数据库就是一模一样的了。顺利实现DB2数据库的迁移。 , 在目标平台创建新的数据库，参照源系统进行设置; , 导入源数据集; , 检查数据集导入过程日志，排除可能的错误; , 执行数据对象定义语句; , 检查数据对象语句执行日志，排除可能的错误; , 检查更新存储过程的定义; , 连接应用系统，测试数据库迁移是否成功。 2.4.2 同平台数据迁移 当您的工作需要处理不同操作系统上的数据库的时候，您可能会进行上面的步骤。如果数据库服务器运行在同样的平台上，很可能倾向于使用备份和恢复命令，这两个命令使这个整个数据迁移过程更加简单和直接。 源数据库目标数据库 RESTOREBACKUP 备份镜像 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 20 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com , 全库备份: DB2 STOP FORCE DB2 START DB2 BACKUP DB , 恢复数据库 DB2 RESTORE db [from ] [taken at ] 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 21 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 第三章 InfoSphere CDC解决方案 3.1 概览 InfoSphere? Change Data Capture (InfoSphere CDC) 是一个复制解决方案，用于捕获正在发生的数据库更改并根据 InfoSphere CDC Management Console GUI 应用程序中配置的表映射将这些更改传递到目标数据库、消息队列或 ETL 解决方案(例如 InfoSphere DataStage?)。 对于包括动态数据仓储、主控方数据管理、应用程序合并或迁移、运营 BI 以及启用 SOA 项目之类的关键信息管理活动，InfoSphere CDC 能够以影响性较低的方式捕获数据更改并高速传递这些更改。另外，通过仅发送已更改的数据，InfoSphere CDC 还可以帮助降低处理开销和网络流量。您可以持续进行复制，也可以定期进行复制。传输来自源服务器的数据时，可以在目标环境中对这些数据进行重新映射或变换。 CDC架构图 3.2 InfoSphere CDC工作原理 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 22 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com InfoSphere? CDC 通过读取数据库日志或向数据库表应用数据来与数据库交互时，会创建对该数据库的依赖性。此依赖性表现为以下几个方面: , 日志管理 , 资源利用率和可用性 , 更改管理 a) 日志管理 日志管理需要保留从 InfoSphere CDC 读取一直到诸如 InfoSphere CDC 已从中复制数据之类的时间为止的日志。可用于大多数 InfoSphere CDC 引擎的 dmshowlogdependency 命令会通知您有关 InfoSphere CDC 继续依赖的数据库日志。只有在诸如发出该命令时数据库日志不再出现在所显示的日志列表中时之类的时间之后，才应除去这些数据库日志。 b) 资源利用率和可用性 InfoSphere CDC 经常安装在与要执行复制的源或目标数据库相同的服务器上。为此，请务必确保分配以供 InfoSphere CDC 使用的内存实际上是机器上的物理可用内存。缺省情况下，一些数据库可以配置为使用机器上的所有可用内存。此类配置对 InfoSphere CDC 无效，因为这会导致它在运行时没有任何内存可用。至少需要从数据库保留分配给 InfoSphere CDC 的内存量，以确保 InfoSphere CDC 能够运行。 c) 更改管理 更改管理(有时称为模式演进)是指对数据库表结构更改进行规划的必要性，InfoSphere 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 23 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com CDC 将通过 InfoSphere CDC 的操作来复制并协调这些更改，以确保更改不会干扰复制。 3.3 InfoSphere CDC的优点 从系统性能角度，通过读取数据库的日志来获取变化的数据，InfoSphere CDC 对源数据库造成的影响极低;从系统资源角度，通过仅发送已更改的数据，InfoSphere CDC 还可以减少处理开销和网络流量。从用户体验角度，InfoSphere CDC 提供一个 Eclipse 风格的管理控制台，方便用户轻松创建、配置、监控与管理各种数据复制任务。 基于日志的复制，可忽略对于重要生产系统的影响，不需要时间窗口，不要时间戳来探测变化。不需要改变应用或者表结构，没有额外的硬件需要，只复制变化，意味这最小的网络带宽，交易一发生，就转换发送给目标，增加数据量，缩短处理窗口。 3.3.1 低延迟 一旦提交了对源表进行的修改，并从日志中读取到这些修改，这些变化就立即发送 出去。 3.3.2 高吞吐量 Q Capture程序始终可以跟踪在源表发生的快速变化，并且Apply程序使用多线程， 使得它能够及时跟踪通信通道中的消息。 3.3.3 低网络流量 消息使用一种压缩格式在队列中传送，而且在发送数据的选项中允许选择传送最少 量的数据。 3.3.4 异步性 消息队列使得Apply程序可以不连接源数据库或者源子系统就可以接收事务。如果 QCapture程序或者Apply程序停止，需要进行处理的消息在程序准备好之后后，将仍 然存在于队列中。由于消息是永久的，所以源表和目标表即使在系统或设备故障的情况 下仍可以保持同步。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 24 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 3.3.5 实时性 随着一个新事务在数据源端产生，数据马上被捕获，转换(根据条件)，并且在极 短时间内被传送给目标端系统。 3.3.6 高性能 每小时捕捉到高达2亿个处理 3.3.7 典型的微小影响 日处理300GB以上的信息，只需要0.05%的系统资源 3.3.8 异类平台支持 从广泛的来源范围中捕捉数据,把数据应用到广大的目标范围中,以下是 支持的数据量类型。 3.4 InfoSphere CDC技术介绍 3.4.1 复制模式 InfoSphere CDC 主要支持三种数据复制模式，分别为:Refresh、Net change(或称为 Scheduled End)、Continuous mirroring 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 25 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 数据复制模式 描述说明 使用场景 Refresh 源数据全部复制到目标数据 常用于初始化数据装载 Net change 基于时间调度复制变更的数据 定期数据复制 Continuous mirroring 实时监控并复制变更的数据 实时数据复制 3.4.2 功能特征 , 功能性: 复制、过滤、表映射、数据转化、审核 , 过滤: , 数据转化: 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 26 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com , 可用性: 数据接口、冲突检测&消解策略、变更管理 , 可靠性: 保证数据完整性、监控 , 数据处理以它在来源中产生时同样的顺序应用到目标 , 目标认可每一个应用操作以保证交付 , 即使连接线路变得不可用也不会丢失任何数据 3.4.3 灵活安装 支持复杂的布局和环境，扩展性好，全图形界面操作 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 27 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 3.4.4 应用方式 百分比 应用 25% 实时把数据更新到ODS 、BI系统、数据集市/数据仓库 25% 应用集成、数据分发& 移植 20% 业务连贯性, 高可用和灾难备份 10% 电子商务, 网站服务 5% 数据核计/监控 15% 其他，包括:数据库/移动/无线……等业务深入使用 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 28 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 3.5 Golden Gate VS. IBM CDC 3.6 方案实现技术细节 采用InfoSphere CDC实时同步迁移DB2解决方案，能在线实现TB级数据迁移。可选择全库或者部分数据的复制，同时支持复制过程数据格式的转换。系统架构图如下: 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 29 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 3.6.1 准备工作 , 确保生产服务器运行在归档模式下 Log retain for recovery status = RECOVERY User exit for logging status = YES , 数据库进行全库备份 db2 stop force db2 start db2 backup db , 记录源数据库管理系统配置参数，以备迁移过后数据库系统性能调 优 , 导出源数据库系统的数据集 3.6.2 分析步骤 正常运行情况下，数据同步方向为生产服务器到迁移服务器，不过迁移 成功后，也可以把生产服务器作为迁移服务器的备库使用。 1) 我们先需要在远程控制端启动CDC AcessServer,然后通过配置工具创 建CDC实例。并给予CDC实例访问生产服务器和迁移服务器的权限。 2) 启动CDC实例后，通过CDC管理控制端建立CDC复制环境:需要先后通 过管理控制端创建CDC用户和CDC数据存储，并指定用户访问数据存储 权限。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 30 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com 3) 开始迁移表:可以预先定义一个预定，并制定表的映射，并根据实际需 要(过滤、合并、筛选等)定制迁移表，当然也可以什么都不变。然后 根据复制模式启动该预定，实现迁移。 成都卡莱博尔信息技术有限公司 电话:+86-28-69360919 传真:+86-28-69360932 31 / 31 地址:成都市高新区天府大道中段1268号天府软件园E1区10楼4号 网址:www.cdcalabar.com