TongIntegratorETL技术白皮书

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　技术白皮书TongTech®TongIntegratorETL技术白皮书北京东方通科技公司2012年目录TOC\o"1-3"\h\z1.前言32.ETL概述33.TongIntegratorETL简介44.TongIntegratorETL体系结构44.1.TongIntegratorETL产品组成结构44.2.TongIntegratorETLStudio集成开发工具54.3.TongIntegratorETL服务器64.4.TongIntegratorETL资源库65.TongIntegratorETL主要功能与特点76.TongIntegratorETL应用实例81.前言随着信息技术的不断发展，企业、政府部门等在信息化建设上投入了大量的资金、人力，逐步形成了适合自身某些部门或某些业务需要的管理信息系统，如办公自动化、客户关系管理CRM、企业资源计划ERP、生产制造系统、人力资源计划HR等，这些管理信息系统，在企业和政府某些部门或业务的管理上，基本发挥了信息电子化、 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 自动化、管理科学化的重要作用。但是，企业和政府现有的管理信息系统，由于投入的时间、使用的部门、生产的厂家及实现技术等各不相同，造成企业和政府现有的应用信息系统各自独立运行，数据不能共享，各自业务流程不能自动衔接，造成企业和政府内部许多自成体系的信息化孤岛，各个应用系统不能相互协作，形成统一高效的有机整体。在这种背景下，企业应用集成（简称EAI，EnterpriseApplicationIntegration）应运而生。EAI通过建立底层交换平台，联系企业内的各种异构系统、应用、数据源等，实现在企业内部各种业务系统（如ERP、CRM、SCM等）、数据库、数据仓库等之间无缝地进行数据交换和服务调用。其中数据集成是企业应用集成的重要环节，通过数据集成，可以充分使用已有数据，减少数据的重复采集，避免重复的投入。在实施数据集成的过程中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享。因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。ETL是实现数据集成的主要技术。2.ETL概述ETL是Extract（抽取）、Transform（转换）、Load（加载）首字母的缩写，其主要提供数据抽取、数据转换、数据加载功能。数据抽取即从源数据源系统抽取目的数据源系统需要的数据；数据转换即将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；数据加载即将转换后的数据装载到目的数据源。ETL早期作为数据仓库的关键环节，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 处理、数据挖掘的基础。随着ETL的发展和成熟，其逐渐演化成数据集成的独立解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，提供包括数据清洗过滤、数据验证、高可靠性、元数据管理等重要特性。图 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 1ETL结构3.TongIntegratorETL简介TongIntegratorETL（简称TIETL，TongIntegratorExtract-Transform-Load）作为东方通科技公司的企业数据集成产品，提供对企业数据的集成功能。通过TongIntegratorETL用户可以从不同结构的数据源中抽取数据（Extract），对数据进行复杂的加工处理（Transform），最后将数据加载到各种存储结构中（Load）。例如实现从多个异构的数据源（不同数据库、结构化文件等）抽取数据，并加工成统一的数据格式，最后加载到数据仓库中，供BI等应用使用。TongIntegratorETL提供一个简单易用的开发、管理工具，提供从数据集成逻辑的设计、开发、调试、部署，到运行、管理、监控各个生命周期不同阶段的集成开发工具。通过TongIntegratorETL可以实现对数据集成流程的开发和部署；通过监控和日志功能，可以实现对数据集成的运行过程进行实时监视，对集成流程历史数据进行分析。TongIntegratorETL基于Java技术和标准数据库接口（JDBC、ODBC等）提供对各种系统平台的支持和各种主流数据库的支持。TongIntegratorETL能够无缝集成东方通公司其他的中间件产品，如基于JMS1.1规范集成消息中间件TongLINK/Q。另外，它还可以无缝集成其他主流厂商的应用系统或开源应用，如消息中间件ActiveMQ。4.TongIntegratorETL体系结构4.1.TongIntegratorETL产品组成结构TongIntegratorETL产品架构由统一集成开发工具TIETLStudio、TIETL服务器、资源库三大核心部分组成，如图所示。图表2产品组成架构图4.2.TongIntegratorETLStudio集成开发工具TongIntegratorETLStudio集成开发工具是一个集开发、调试、配置、部署、执行、监控、日志、管理等功能于一体的平台。通过该平台实现从数据集成需求到实现的快速转化，并实现对整个生命周期的管理。开发/调试TongIntegratorETLStudio提供大量的任务组件和转化组件，通过这些组件，以图形化的方式，实现数据集成流程的快速编排。TongIntegratorETLStudio还提供了功能强大的调试预览功能，可以在开发过程中实现数据行级别的调试和预览，跟踪和观察每一行数据经过数据集成流程中每一个转化组件进行加工处理的结果。最后可以将完成开发的数据集成流程保存到资源库中。远程管理TongIntegratorETLStudio通过ETL服务器的远程接口，实现对服务器的管理。包括数据集成流程的分布式部署、远程执行、对执行状态的实时监控、对执行日志进行查看和分析。TongIntegratorETLStudio的监控管理功能可以对运行中的流程执行暂停、开始、停止、解部署等控制，同时还可以对数据处理状态进行实时监控，包括每个组件处理的记录数、过滤的记录数，并且可以得到每个组件处理数据的性能指标和整个集成流程的性能指标。TongIntegratorETL服务器包含两个执行引擎，任务引擎和转换引擎，分别实现对任务的调度管理和完成实际数据抽取、加工处理、加载的执行。此外TongIntegratorETL服务器基于HTTP协议开放服务器的监控管理等功能。TongIntegratorETL资源库用于存储TongIntegratorETL的元数据，包括TongIntegratorETL的ETL服务器的配置信息、任务流程信息、转换流程信息、基础资源信息（如数据库连接）等。4.3.TongIntegratorETL服务器TongIntegratorETL服务器是一个TongIntegratorETL的逻辑节点，包含对数据集成流程的执行能力，并通过HTTP协议对外开放对服务器的管理接口。ETL引擎TongIntegratorETL服务器包含了执行数据集成流程（任务流程和转换流程）的任务引擎和转换引擎。在TongIntegratorETL服务器启动时，可以检查部署在该节点上的数据集成流程，并执行配置为启动执行的流程。监控管理接口TongIntegratorETL服务器还提供了对运行时的监控和管理功能，这些功能都通过HTTP接口对外开放。通过这些接口，可以实现对TongIntegratorETL的远程管理，如流程部署、流程控制、转换监控、日志查看等功能。认证授权TongIntegratorETL服务器提供了完善的认证授权机制，只有通过认证和授权的用户，才可以通过监控管理接口实现对服务器的管理和监控。4.4.TongIntegratorETL资源库TongIntegratorETL资源库用于持久化存储节点信息、数据集成流程、数据库信息、基础资源信息等元数据。TongIntegratorETL提供基于关系型数据库和文件系统的资源库。一般文件系统资源库为本地库，在开发阶段使用；基于关系型数据库的资源库为共享库，可以作为开发库和生产库使用。TongIntegratorETLStudio可以连接多个资源库，在数据集成的开发调试阶段，可以将任务流程、转换流程和其他资源存储在开发库中。而对于已经完成开发调试，进入发布阶段的流程，可以方便的导入到生产库。TongIntegratorETL服务器也可以配置一个或多个资源库，并可以根据部署描述符从资源库中获取实际的流程信息，根据这些信息实例化实际运行的集成流程。资源库的使用不仅可以方便数据集成流程的开发和管理，还可以有效提高数据集成流程的部署效率。5.TongIntegratorETL主要功能与特点跨平台基于Java提供多平台支持。丰富的系统适配功能基于标准的JDBC、ODBC接口，实现对各种主流数据库系统的支持。如Oracle、DB2、SQLServer、MySQL、KingBase等提供丰富的数据抽取和加载组件，支持包括普通文本、CSV、XML、Excel等多种格式的文件。资源统一存储资源库为TongIntegratorETL的元数据提供了统一的存储机制，并对元数据提供各种管理功能，同时资源库还为TongIntegratorETL的分布式部署提供支撑。丰富的组件TongIntegratorETL内置大量的任务组件和转换组件，用户可以通过拖拽的方式快速完成各种复杂数据集成需求和集成的调度控制。如多源的数据合并、数据的路由、数据行列转换、字典表查询、定时重启、循环调度、流程告警等。快速集成通过TongIntegratorETL内置的大量组件和TongIntegratorETLStudio的可视化图形界面，可以实现数据集成流程的快速开发。高效数据处理TongIntegratorETL采用并行处理的方式实现数据的高效处理，数据在TongIntegratorETL中类似于流水线上的产品，逐行流经流程中的每个组件，每经过一个组件就被加工成一个既定格式的中间状态。数据经过一个组件的处理后被迅速交给下一个组件处理，同时当前的组件已经开始处理新的数据。异常恢复任务流程提供多个调度机制和异常恢复机制，在异常后，支持自动和手动恢复。异常恢复可以保证恢复的流程从异常点开始重新同步，保证数据的最终完整性和一致性。数据完整性和一致性保证提供按批次抽取功能，并为每一批次数据提供整体事务的控制，一旦出现异常，可以从数据处理的中间状态进行恢复，并保证数据的最终完整性和一致性。多种同步模式支持各种数据抽取模式，如全量同步、增量同步（触发器、CDC）、双向同步等。插件式组件管理提供插件式的组件管理机制，对于特殊的场景（如客户自定义结构的文本）可以方便的进行扩展开发，以插件的方式集成到TongIntegratorETL中使用。6.TongIntegratorETL应用实例示例中是一个用户的信息采集系统，由于系统 规划 污水管网监理规划下载职业规划大学生职业规划个人职业规划职业规划论文 阶段没有制定统一的标准，各个地市根据自身情况分别部署了该采集系统：地市A采用Oracle地市B采用Mysql地市C采用结构化文本（Excel和XML）现阶段省中心也部署该采集系统相应的数据分析系统，希望对各个地市采集的数据进行统一的分析和管理。省中心采用Oracle由于业务需求和系统供应商的差异，各个地市和省中心的数据结构上存在很大差异，用于提出了以下建设目标：能够无差异化处理异构数据库及文件中的数据：通过集成工具在对数据的加工处理过程中屏蔽实际数据结构和数据源类型各地市的数据根据不同业务需要自由选择全量或增量方式进行抽取：地市A采用OracleCDC增量抽取、地市B采用触发器增量抽取、地市C采用基于文件的全量抽取简单、方便、快捷地处理各地市数据结构与省中心数据结构的映射地市和省中心之间数据实现跨网段传输保证数据的实时性：对于采用增量抽取的地市A和地市B，保证省中心能够实时查看地市数据采集情况，对于采用全量抽取的地市C根据数据采集频度自由调整数据同步到省中心的时效性在跨网络环境中，保证数据的完整性和一致性：省中心的数据是各地市采集数据的汇总对错误数据进行清洗，保证省中心数据的正确性监控数据同步过程，及时了解数据同步情况通过部署TongIntegratorETL，可以完全满足用户集成需求：自描述的数据结构，无差异化处理Oracle、Mysql、Excel、XML等不同存储源的数据丰富的数据抽取组件，提供对Oracle、Mysql等数据库的增量和全量抽取，以及对各种结构化文本文件（Excel、XML等）的抽取图形化的配置界面和丰富的数据处理组件快速完成数据加工处理流程的编排通过TongLINK/Q构建联网拓扑结构，利用TongIntegratorETL和TongLINK/Q的本地数据接口，实现数据的跨网传输高效并行处理机制，保证数据同步的实时性完善的任务调度和异常控制机制，结合TongLINK/Q提供的数据网络传输事务机制，保证数据在本地处理和跨网传输的完整性和一致性数据验证组件，通过丰富的验证逻辑，实现对错误数据的清洗通过集成开发平台可以实现对流程的健康状况、执行日志、数据处理情况进行实时监控结束语：本公司相信，我们所提供的独具特色的最新产品，将是你们独具慧眼的最佳选择。本公司将在不断创新的路上，伴你同行，与你共赢。PAGE2