oracle数据库高可用之OGG的基础配置

     oracle数据库高可用之OGG的基础配置                  前言：本文主要内容为当初刚开始接触OGG高可用架构时的部署，包含了我看到的一些比较好的文章的引用。目的都是为了让更多同学能更快的掌握相关知识，如果原创作者对此觉得损害了您的权益请留言。目录：理论、概念基础实验理论、概念，有助理解OGG的理解。学习必备。感谢原文作者，原文地址：飞机票理论、概念一.OGG概述OGG全称OracleGoldenGate。历史：GoldenGate公司于1995年成立于美国加州旧金山，它的名称源自旧金山闻名于世的金门大桥。两位创始人EricFish和ToddDavidson最初旨在为Tandem计算机公司设计一个容错系统，由于GoldenGate的健壮性和出色的数据复制功能，银行用它来把ATM网络的交易数据发送到IBM大型机，后来广泛地应用到金融行业及要求数据复制高效、健壮的各个行业。该公司于2009年9月被Oracle公司收购，在此之前Oracle和GoldenGate公司就有了长达超过10年的合作关系。在Oracle收购GoldenGate以后，与Oracle原有的DataGuard互为补充，共同为企业提供跨平台实时数据同步的解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。GoldenGate软件分类说明：（1）GoldenGate：包括GoldenGateCapture,Deliver和ActiveDataGuard,XStreamonOracleDB，并支持各种开放数据系统，是我们通常讲的OGG的概念。（2）GoldenGateDirector：实际上，在下载的时候，可以发现没有Director的类目了，替换的是一个GoldenGateManagementPack的包，其实这个就是之前的OGGDirector。ManagementPack是基于浏览器的管理工具包，有限使用WebLogicSE，所以配置MP，需要先安装weblogic。（3）GoldenGateVeridata：跨平台比较复制的源库和目标库，为GoldenGate源端和目标端提供数据比对和校验的功能。另外，也有不太常见的：（1）GoldenGateforMainframe：包括GoldenGateCapture,DeliverforHPNon-Stop,IBMDB2onMainframe,plusSyncfile。（2）GoldenGateAdapters：对Java、FlatFile、Siebel等的接口包。二、OGG架构支持的异构平台：支持的架构形式：实现的功能：三、目录结构目录说明BRboundedrecover需要的checkpointfilescfg配置OGG监控所需要的property和XML文件dirchkExtract或者Replicat进程创建的checkpointfile。cpe和cpr后缀dirdattrial文件的默认存放位置，2个用户定义的字符+6个数字组成dirdef异构数据定义文件，由DEFGEN生成dirjarOGGmonitor相关的jar包dirpcs进程状态文件dirprm参数文件dirrpt进程 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 的存储目录dirsqlSql脚本dirtmp超出分配内存的事务临时存储目录四、OGG进程在OracleOGG12c中，有如下组件：（1）Extract（2）Datapump（3）Replicat（4）Trails或extractfiles（5）Checkpoints（6）Manager（7）Collector重点理解图：简单逻辑架构（单向）：源目标mgr（管理进程）mgr（管理进程）extract（抽取进程）Replicat（复制应用进程）datapump（发送进程）1.Extract进程Extract进程负责数据抽取工作。Extract可以配成如下两种模式：（1）InitialLoad:在初始化装载过程中，Extract进程直接从源对象中抽取当前的数据。（2）Changesynchronization:为了保证源数据和其他对象保持数据的一致，extract进程会捕获源对象自初始化同步以后的DML和DDL的变化。如果接收到的是rollback，那么Extract会清除该事务之前的所有 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 。如果接收到的是commit，Extract会将之前存储的事务信息进行持久化，即将事务信息写入磁盘上的trail文件，然后按队列传送到目标库。2.DataPump进程Datapump进程是OGG源库上的一个辅助ExtractGroup。3.Replicat进程Replicate进程运行在目标系统上，该进程会读取目标端的trail中的文件，并将解析为DML或者DDL语句，然后在目标数据库执行。Replicate可以配置成如下模式：（1）Initialloads:（2）Changesynchronization4.Trails文件为了支持连续的extraction和replication数据的改变，OGG抓取这些改变的数据临时存放在一个序列化的磁盘文件里，这个文件就叫trail。Trail文件可以放在源端或者目标端的系统里，甚至可以放到临时中转的系统上，这主要取决与GG的配置，如果存放在localsystem上，就叫extracttrail或者localtrail，如果存放在remotesystem上就叫作remotetrail。创建和维护Trail文件：默认情况下，trails存放在GG安装目录的dirdat子目录下。默认情况下，每个trails的文件是10M，为了保证进程的正常运行必须不断的创建的新的trail文件。这个过程由OGG自动实现，并且不影响OGG的运行。每个新生成的文件，文件名都会继承旧trail文件的前2个字母，然后加上6个数字，这样来进行唯一性约束。数字从000000到999999。当数字到达999999时，又继续从000000开始。之前的trail文件被覆盖。补充：（ExtractFiles）Extractfile可以是一个文件，或者配置成多个文件。配置成多个文件可以避免触及操作对单个文件最大大小的限制。Extractfile和trail文件很类似，但是Extractfile中不会存储checkpoints的信息。Extractfile会在运行时自动创建。5.Checkpoints机制Replicate都会checkpointtable和checkpointfile中记录事务的位置。我们也可以不使用checkpointtable。6.Manager进程Manager是GoldenGate的控制进程，Manager必须在所有的GoldenGate端运行，并且要在Extract或者Replicat进程启动之前运行。在Extract或者Replicat进程运行期间，需要一直保证Manager进程的运行，这样才能管理相关的资源。Manager进程有如下功能：（1）启动Golden　Gate进程（2）启动其他相关的进程（3）维护进程的端口（4）管理trail进程（5）创建event，error和threshold的报告。7.Collector进程target的一个后台进程。Collector进程做如下工作：（1）将源端Extract进程的请求发送到Manager进程，扫描并绑定可用的端口，并将端口信息返回给Manager进程，然后分配给请求的的Extract进程。（2）Collector进程会接收源库Extract进程发送过来的改变的数据，并将数据写入target系统的trail文件中。若srouce端pump进程起不来，collector会锁trail文件。那么我需要确认是哪个pump进程出现问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ，viewreportpump#，查看后找到collector，kill-9杀死。补充说明：每个Extract和Replicat进程需要大约25-55M的内存。==========================================================================（风景分割线）再回忆一下架构：简单逻辑架构（单向）：源目标mgr（管理进程）mgr（管理进程）extract（抽取进程）Replicat（复制应用进程）datapump（发送进程）部署实验============================================================这里测试开启DDL同步，忽略初始化过程的单向同步。Oracle测试模式为test。os：oel6.5db：11.2.0.4ogg：11.2.1.0.1本测试在源端没有使用pump进程。1、安装GoldenGate1.1解压安装文件源端和目标端都使用oracle用户进行下列操作：创建ogg目录并安装：mkdir-p/u01/oggtarxvffbo_ggs_Linux_x64_ora11g_64bit.tar-C/u01/ogg1.2添加环境变量在源端和目标端编辑oracle用户环境变量，在文件~/.bash_profile中加入下列行：exportPATH=/u01/ogg:$PATHexportLD_LIBRARY_PATH=/u01/ogg:$LD_LIBRARY_PATH并使其生效：source~/.bash_profile1.3使用ggsci创建目录在源端和目标端都执行：[oracle@oraclesrcogg]$ggsciGGSCI(oraclesrc)1>createsubdirs2、配置源端数据库强制归档查看源端数据库归档情况：SQL>selectlog_mode,supplemental_log_data_min,force_loggingfromv$database;LOG_MODESUPPLEMEFOR-----------------------NOARCHIVELOGNONO修改归档模式：SQL>shutdownimmediateSQL>startupmountSQL>alterdatabasearchivelog;SQL>alterdatabaseopen;SQL>alterdatabaseforcelogging;SQL>alterdatabaseaddsupplementallogdata;3、开启DDL同步配置DDL同步需要在源端执行以下操作3.1创建存放DDL信息的userSQL>createuseroggidentifiedbyoggdefaulttablespaceuserstemporarytablespacetemp;Usercreated.SQL>grantconnect,resource,dbatoogg;Grantsucceeded.SQL>grantcreatetable,createsequencetoogg;Grantsucceeded.SQL>grantexecuteonutl_filetoogg;Grantsucceeded.在目标端同样创建一次该用户，用来存放同步相关信息。3.2执行脚本进入OGG目录执行以下脚本：[oracle@oraclesrc~]$cd/u01/oggSQL>@marker_setup.sqlMarkersetupscriptYouwillbepromptedforthenameofaschemafortheOracleGoldenGatedatabaseobjects.NOTE:Theschemamustbecreatedpriortorunningthisscript.NOTE:StopallDDLreplicationbeforestartingthisinstallation.EnterOracleGoldenGateschemaname:oggMarkersetuptablescriptcomplete,runningverificationscript...PleaseenterthenameofaschemafortheGoldenGatedatabaseobjects:SettingschemanametoOGGMARKERTABLE-------------------------------OKMARKERSEQUENCE-------------------------------OKScriptcomplete.SQL>@ddl_setup.sqlOracleGoldenGateDDLReplicationsetupscriptVerifyingthatcurrentuserhasprivilegestoinstallDDLReplication...YouwillbepromptedforthenameofaschemafortheOracleGoldenGatedatabaseobjects.NOTE:ForanOracle10gsource,thesystemrecyclebinmustbedisabled.ForOracle11gandlater,itcanbeenabled.NOTE:Theschemamustbecreatedpriortorunningthisscript.NOTE:StopallDDLreplicationbeforestartingthisinstallation.EnterOracleGoldenGateschemaname:oggWorking,pleasewait...Spoolingtofileddl_setup_spool.txtCheckingforsessionsthatareholdinglocksonOracleGoldenGatemetadatatables...Checkcomplete.UsingOGGasaOracleGoldenGateschemaname.Working,pleasewait...DDLreplicationsetupscriptcomplete,runningverificationscript...PleaseenterthenameofaschemafortheGoldenGatedatabaseobjects:SettingschemanametoOGGCLEAR_TRACESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsCREATE_TRACESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsTRACE_PUT_LINESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsINITIAL_SETUPSTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsDDLVERSIONSPECIFICPACKAGESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsDDLREPLICATIONPACKAGESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsDDLREPLICATIONPACKAGEBODYSTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsDDLIGNORETABLE-----------------------------------OKDDLIGNORELOGTABLE-----------------------------------OKDDLAUXPACKAGESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsDDLAUXPACKAGEBODYSTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsSYS.DDLCTXINFOPACKAGESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsSYS.DDLCTXINFOPACKAGEBODYSTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsDDLHISTORYTABLE-----------------------------------OKDDLHISTORYTABLE(1)-----------------------------------OKDDLDUMPTABLES-----------------------------------OKDDLDUMPCOLUMNS-----------------------------------OKDDLDUMPLOGGROUPS-----------------------------------OKDDLDUMPPARTITIONS-----------------------------------OKDDLDUMPPRIMARYKEYS-----------------------------------OKDDLSEQUENCE-----------------------------------OKGGS_TEMP_COLS-----------------------------------OKGGS_TEMP_UK-----------------------------------OKDDLTRIGGERCODESTATUS:Line/posError-------------------------------------------------------------------------------------NoerrorsNoerrorsDDLTRIGGERINSTALLSTATUS-----------------------------------OKDDLTRIGGERRUNNINGSTATUS----------------------------------------------------------------------ENABLEDSTAYMETADATAINTRIGGER----------------------------------------------------------------------OFFDDLTRIGGERSQLTRACING----------------------------------------------------------------------0DDLTRIGGERTRACELEVEL----------------------------------------------------------------------0LOCATIONOFDDLTRACEFILE------------------------------------------------------------------------------------------------------------------------/u01/app/oracle/diag/rdbms/orasrc/orasrc/trace/ggs_ddl_trace.logAnalyzinginstallationstatus...STATUSOFDDLREPLICATION------------------------------------------------------------------------------------------------------------------------SUCCESSFULinstallationofDDLReplicationsoftwarecomponentsScriptcomplete.SQL>@role_setup.sqlGGSRolesetupscriptThisscriptwilldropandrecreatetheroleGGS_GGSUSER_ROLETouseadifferentrolename,quitthisscriptandthenedittheparams.sqlscripttochangethegg_roleparametertothepreferredname.(Donotrunthescript.)YouwillbepromptedforthenameofaschemafortheGoldenGatedatabaseobjects.NOTE:Theschemamustbecreatedpriortorunningthisscript.NOTE:StopallDDLreplicationbeforestartingthisinstallation.EnterGoldenGateschemaname:oggWrotefilerole_setup_set.txtPL/SQLproceduresuccessfullycompleted.RolesetupscriptcompleteGrantthisroletoeachuserassignedtotheExtract,GGSCI,andManagerprocesses,byusingthefollowingSQLcommand:GRANTGGS_GGSUSER_ROLETOwhereistheuserassignedtotheGoldenGateprocesses.SQL>grantGGS_GGSUSER_ROLEtoogg;Grantsucceeded.SQL>@ddl_enable.sql;Triggeraltered.至此DDL同步配置完成。4、配置OGG进程4.1配置Manager进程在源端和目标端配置Manager进程并启动：注意当前目录为ogg。[oracle@oraclesrcogg]$ggsciOracleGoldenGateCommandInterpreterforOracleVersion11.2.1.0.1OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBOLinux,x64,64bit(optimized),Oracle11gonApr23201208:32:14Copyright(C)1995,2012,Oracleand/oritsaffiliates.Allrightsreserved.GGSCI(oraclesrc)1>infoallProgramStatusGroupLagatChkptTimeSinceChkptMANAGERSTOPPEDGGSCI(oraclesrc)2>editparamsmgr输入：PORT7809这里输入了端口号，保存退出。GGSCI(oraclesrc)3>startmanagerManagerstarted.4.2配置源数据库的extract进程测试登录数据库：GGSCI(oraclesrc)4>dbloginuseridogg@orasrc,passwordoggSuccessfullyloggedintodatabase.配置extract进程GGSCI(oraclesrc)5>addextractext1,tranlog,beginnowEXTRACTadded.GGSCI(oraclesrc)6>addrmttrail/u01/ogg/dirdat/lt,extractext1EXTTRAILadded.GGSCI(oraclesrc)7>editparamsext1加入如下行：extractext1useridogg@orasrc,passwordoggrmthost172.26.181.103,mgrport7809rmttrail/u01/ogg/dirdat/ltddlincludemappedobjnametest.*;tabletest.*;GGSCI(oraclesrc)8>infoallProgramStatusGroupLagatChkptTimeSinceChkptMANAGERRUNNINGEXTRACTSTOPPEDEXT100:00:0000:03:264.3配置目标数据库的replicat进程测试连接：GGSCI(oracledest)3>dbloginuseridogg@oradest,passwordoggSuccessfullyloggedintodatabase.GGSCI(oracledest)4>addcheckpointtableogg.checkpointSuccessfullycreatedcheckpointtableogg.checkpoint.GGSCI(oracledest)5>addreplicatrep1,exttrail/u01/ogg/dirdat/lt,checkpointtableogg.checkpointREPLICATadded.GGSCI(oracledest)6>editparamsrep1添加如下行：replicatrep1ASSUMETARGETDEFSuseridogg@oradest,passwordoggdiscardfile/u01/ogg/dirdat/rep1_discard.txt,append,megabytes10DDLmaptest.*,targettest.*;5、启动同步源数据库：GGSCI(oraclesrc)1>startextractext1SendingSTARTrequesttoMANAGER...EXTRACTEXT1startingGGSCI(oraclesrc)2>infoallProgramStatusGroupLagatChkptTimeSinceChkptMANAGERRUNNINGEXTRACTRUNNINGEXT100:16:4700:00:00目标数据库：GGSCI(oracledest)7>startreplicatrep1SendingSTARTrequesttoMANAGER...REPLICATREP1startingGGSCI(oracledest)8>infoallProgramStatusGroupLagatChkptTimeSinceChkptMANAGERRUNNINGREPLICATRUNNINGREP100:00:0000:00:016、测试效果此时源库和目标库test用户数据如下：SQL>conntest/testConnected.SQL>select*fromt1;norowsselected在源库插入数据并创建新 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf ：SQL>insertintot1values(1);1rowcreated.SQL>commit;Commitcomplete.SQL>createtablet2asselect*fromt1;Tablecreated.在目标库查看数据同步情况：SQL>select*fromt1;C1----------1SQL>select*fromt2;C1----------1DML及DDL同步正常。7、注意事项实际部署生产系统时，可能需要在目标端replicat参数中添加以下行，来禁止triggers和constraintdeferred：DBOPTIONSSUPPRESSTRIGGERS（ForOracle10.2.0.5andlaterpatchesto10.2.0.5,andforOracle11.2.0.2andlater11gR2versions）DBOPTIONSDEFERREFCONST（ForOracle9.2.0.7andlater）在更早的Oracle版本下，就需要手动禁止trigger和constraintdeferred了。另外还需要禁止带有DML的JOB。最后还需要在源端配置pump进程。参考原文：飞机票==================================================================================双向同步有点问题(需要调整一个参数)同步模式：如果以上搭建，太过基础，不能满足需求。这里有篇非常详细的博客，送上优秀部署文章飞机票：真飞机 -全文完-