使用下游挖掘數(shù)據(jù)庫的GoldenGate Integrated Capture
發(fā)布于：2021-01-28 10:39:07
在我之前的文章中，我們討論了使用本地部署模型的GoldenGate 11g Integrated Capture功能。
現(xiàn)在讓我們看一下Integrated Capture模式的Downstream Capture部署模型。
應(yīng)該注意的是，集成捕獲模式和經(jīng)典捕獲模式的主要區(qū)別在于，提取過程不再讀取Oracle數(shù)據(jù)庫的聯(lián)機(jī)（或歸檔）重做日志文件，但是此任務(wù)由數(shù)據(jù)庫日志挖掘服務(wù)器執(zhí)行它以邏輯更改記錄（LCR）的形式讀取更改，然后由提取過程訪問這些記錄，并將其寫入GoldenGate跟蹤文件。
日志挖掘服務(wù)器所在的位置是Integrated Capture的本地和下游部署模型的差異。
在本地部署中，源數(shù)據(jù)庫和挖掘數(shù)據(jù)庫相同。
在下游部署中，源數(shù)據(jù)庫和挖掘數(shù)據(jù)庫是不同的數(shù)據(jù)庫，而日志挖掘服務(wù)器位于下游數(shù)據(jù)庫中。我們配置重做傳輸（類似于Data Guard中的操作），并且日志通過網(wǎng)絡(luò)從源數(shù)據(jù)庫傳遞到下游數(shù)據(jù)庫。下游數(shù)據(jù)庫中的日志挖掘服務(wù)器，以邏輯變更記錄的形式從重做日志（或存檔）文件中提取變更，然后將其傳遞到GoldenGate提取過程中。
由于logmining活動會在運(yùn)行數(shù)據(jù)庫的過程中增加額外的開銷，因?yàn)樗鼤砑悠渌M(jìn)程并消耗SGA中的內(nèi)存，因此將處理過程從源數(shù)據(jù)庫轉(zhuǎn)移到下游數(shù)據(jù)庫是有益的。
我們可以將下游數(shù)據(jù)庫配置為與目標(biāo)數(shù)據(jù)庫相同的數(shù)據(jù)庫，或者除了目標(biāo)數(shù)據(jù)庫外，我們還可以有其他下游數(shù)據(jù)庫。
但是，請記住，在Integrated Capture的下游部署模型中，源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的Oracle數(shù)據(jù)庫版本和平臺必須相同。
設(shè)置和配置
源數(shù)據(jù)庫
創(chuàng)建源數(shù)據(jù)庫用戶帳戶，其憑據(jù)摘錄將用于從源數(shù)據(jù)庫中獲取數(shù)據(jù)和元數(shù)據(jù)。該用戶可以是我們在設(shè)置和配置GoldenGate時(shí)創(chuàng)建的同一用戶。
通過dbms_goldengate_auth.grant_admin_privilege過程（11.2.0.3及更高版本）為Extract授予適當(dāng)?shù)奶貦?quán)以在集成捕獲模式下運(yùn)行。
將v $ database上的select授予同一用戶。
配置Oracle Net，以便源數(shù)據(jù)庫可以與下游數(shù)據(jù)庫通信（例如Data Guard）。
創(chuàng)建密碼文件，并將密碼文件復(fù)制到托管下游數(shù)據(jù)庫的服務(wù)器上的$ ORACLE_HOME / dbs位置。請注意，密碼文件在所有源數(shù)據(jù)庫和挖掘數(shù)據(jù)庫中必須相同。
配置一個LOG_ARCHIVE_DEST_n初始化參數(shù)，以將重做數(shù)據(jù)傳輸?shù)较掠瓮诰驍?shù)據(jù)庫。
在源數(shù)據(jù)庫（以及下游挖掘數(shù)據(jù)庫）上，設(shè)置LOG_ARCHIVE_CONFIG初始化參數(shù)的DG_CONFIG屬性以包括源數(shù)據(jù)庫和下游數(shù)據(jù)庫的DB_UNIQUE_NAME
下游數(shù)據(jù)庫
在下游數(shù)據(jù)庫上創(chuàng)建數(shù)據(jù)庫用戶帳戶。提取過程將使用這些憑據(jù)與下游日志挖掘服務(wù)器進(jìn)行交互。我們可以使用在目標(biāo)數(shù)據(jù)庫上設(shè)置和配置GoldenGate時(shí)創(chuàng)建的同一用戶（如果目標(biāo)數(shù)據(jù)庫和下游數(shù)據(jù)庫相同）。
通過執(zhí)行dbms_goldengate_auth.grant_admin_privilege過程，為下游挖掘用戶授予適當(dāng)?shù)奶貦?quán)以使其在集成捕獲模式下運(yùn)行。
將v $ database上的SELECT授予同一下游挖掘用戶。
下游數(shù)據(jù)庫必須在ARCHIVELOG模式下運(yùn)行，如果要在實(shí)時(shí)集成捕獲模式下運(yùn)行Extract，則應(yīng)配置本地重做日志文件的歸檔。如示例中所示，使用LOG_ARCHIVE_DEST_n參數(shù)。
創(chuàng)建備用重做日志文件（與聯(lián)機(jī)重做日志文件大小相同，并且組數(shù)應(yīng)比現(xiàn)有的聯(lián)機(jī)重做日志組大一）。
配置數(shù)據(jù)庫以在本地存檔備用重做日志文件，這些文件從源數(shù)據(jù)庫的聯(lián)機(jī)重做日志接收重做數(shù)據(jù)。如示例中所示，使用LOG_ARCHIVE_DEST_n參數(shù)。
一些與下游集成捕獲有關(guān)的新GoldenGate參數(shù)。
MININGDBLOGIN –在注冊摘錄之前，我們必須使用適當(dāng)?shù)臄?shù)據(jù)庫登錄憑據(jù)連接到下游日志記錄數(shù)據(jù)庫。
TRANLOGOPTIONS MININGUSER ggate @ testdb2 MININGPASSWORD ggate –在下游提取參數(shù)文件中指定。
TRANLOGOPTIONS INTEGRATEDPARAMS（downstream_real_time_mine Y） –在下游提取參數(shù)文件中指定此值，并且是實(shí)時(shí)捕獲所必需的。
例
此示例說明了實(shí)時(shí)集成捕獲，因此我們還必須配置備用日志文件。
源數(shù)據(jù)庫是testdb1，下游/目標(biāo)數(shù)據(jù)庫是testdb2。
源數(shù)據(jù)庫以及下游/目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)庫用戶帳戶均為GGATE。
我們已經(jīng)設(shè)置并測試了從源到下游/目標(biāo)數(shù)據(jù)庫的Oracle Net連接。在這種情況下，我們在兩個服務(wù)器的tnsnames.ora文件中都設(shè)置了TNS別名testdb1和testdb2。
源數(shù)據(jù)庫（testdb1）
授予特權(quán)
SQL> EXEC DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(grantee => 'ggate', privilege_type => 'capture', grant_select_privileges=> true, - do_grants => TRUE); PL/SQL procedure successfully completed. SQL> GRANT SELECT ON V_$DATABASE TO GGATE; Grant succeeded.
配置重做傳輸
SQL> ALTER SYSTEM SET LOG_ARCHIVE_DEST_2='SERVICE=testdb2 ASYNC NOREGISTER VALID_FOR=(ONLINE_LOGFILES,PRIMARY_ROLE) DB_UNIQUE_NAME=testdb2'; System altered. SQL> ALTER SYSTEM SET LOG_ARCHIVE_DEST_STATE_2=ENABLE; System altered. SQL> ALTER SYSTEM SET LOG_ARCHIVE_CONFIG='DG_CONFIG=(testdb1,testdb2)'; System altered.
下游數(shù)據(jù)庫
授予特權(quán)
SQL> EXEC DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(grantee => 'ggate', privilege_type => 'capture', grant_select_privileges=> true, - do_grants => TRUE); PL/SQL procedure successfully completed. SQL> GRANT SELECT ON V_$DATABASE TO GGATE; Grant succeeded.
準(zhǔn)備挖掘數(shù)據(jù)庫以存檔其本地重做
SQL> ALTER SYSTEM SET LOG_ARCHIVE_DEST_1='LOCATION=/u01/oradata/testdb2/arch_local VALID_FOR=(ONLINE_LOGFILE,PRIMARY_ROLE)'; System altered.
創(chuàng)建備用日志文件
SQL> ALTER DATABASE ADD STANDBY LOGFILE GROUP 4 '/u01/oradata/testdb2/standby_redo04.log' SIZE 50M; Database altered. SQL> ALTER DATABASE ADD STANDBY LOGFILE GROUP 5 '/u01/oradata/testdb2/standby_redo5.log' SIZE 50M; Database altered. SQL> ALTER DATABASE ADD STANDBY LOGFILE GROUP 6 '/u01/oradata/testdb2/standby_redo06.log' SIZE 50M; Database altered. SQL> ALTER DATABASE ADD STANDBY LOGFILE GROUP 7 '/u01/oradata/testdb2/standby_redo07.log' SIZE 50M; Database altered.
準(zhǔn)備挖掘數(shù)據(jù)庫以存檔從源數(shù)據(jù)庫接收到的備用重做日志中的重做
SQL> ALTER SYSTEM SET LOG_ARCHIVE_DEST_2=’LOCATION=/u01/oradata/testdb2/arch_remote VALID_FOR=(STANDBY_LOGFILE,PRIMARY_ROLE)’; System altered. SQL> ALTER SYSTEM SET LOG_ARCHIVE_DEST_STATE_2=ENABLE; System altered.
在下游挖掘數(shù)據(jù)庫中設(shè)置DG_CONFIG
SQL> ALTER SYSTEM SET LOG_ARCHIVE_CONFIG='DG_CONFIG=(testdb1,testdb2)'; System altered.
設(shè)置集成的捕獲提取過程（myext）
[oracle@pdemvrhl062 ggate]$ ./ggsci Oracle GoldenGate Command Interpreter for Oracle Version 11.2.1.0.3 14400833 OGGCORE_11.2.1.0.3_PLATFORMS_120823.1258_FBO Linux, x64, 64bit (optimized), Oracle 11g on Aug 23 2012 20:20:21 Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved. GGSCI (pdemvrhl062) 1> DBLOGIN USERID ggate@testdb1 PASSWORD ggate Successfully logged into database. GGSCI (pdemvrhl062) 2> MININGDBLOGIN USERID ggate, PASSWORD ggate Successfully logged into mining database. GGSCI (pdemvrhl062) 5> REGISTER EXTRACT myext DATABASE 2013-01-31 18:02:02 WARNING OGG-02064 Oracle compatibility version 11.2.0.0.0 has limited datatype support for integrated capture. Version 11.2.0.3 required for full support. 2013-01-31 18:03:12 INFO OGG-02003 Extract MYEXT successfully registered with database at SCN 2129145. GGSCI (pdemvrhl062) 6> ADD EXTRACT myext INTEGRATED TRANLOG BEGIN NOW EXTRACT added. GGSCI (pdemvrhl062) 7> ADD EXTTRAIL /u01/app/ggate/dirdat/ic , EXTRACT myext EXTTRAIL added. GGSCI (pdemvrhl062) 8> EDIT PARAMS myext EXTRACT myext USERID ggate@testdb1, PASSWORD ggate TRANLOGOPTIONS MININGUSER ggate@testdb2 MININGPASSWORD ggate TRANLOGOPTIONS INTEGRATEDPARAMS (downstream_real_time_mine Y) EXTTRAIL /u01/app/ggate/dirdat/ic TABLE sh.customers;
創(chuàng)建復(fù)制過程（myrep）
GGSCI (pdemvrhl062) 14> ADD REPLICAT myrep EXTTRAIL /u01/app/ggate/dirdat/ic REPLICAT added. GGSCI (pdemvrhl062) 17> EDIT PARAMS myrep REPLICAT myrep ASSUMETARGETDEFS USERID ggate, PASSWORD ggate MAP sh.customers, TARGET sh.customers;
開始提取和復(fù)制過程
GGSCI (pdemvrhl062) 19> info all Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING MYEXT 00:00:00 00:00:03 REPLICAT RUNNING MYREP 00:00:00 00:00:03
測試–在源數(shù)據(jù)庫上，更新CUSTOMERS表的行
SQL> update customers set cust_city='SYDNEY'; 55500 rows updated. SQL> commit; Commit complete.
在目標(biāo)數(shù)據(jù)庫上，確認(rèn)更新語句已被復(fù)制
[oracle@pdemvrhl062 ggate]$ sqlplus sh/sh SQL*Plus: Release 11.2.0.3.0 Production on Thu Jan 31 18:39:41 2013 Copyright (c) 1982, 2011, Oracle. All rights reserved. Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production With the Partitioning, OLAP, Data Mining and Real Application Testing options SQL> select distinct cust_city from customers; CUST_CITY ------------------------------ SYDNEY
查看下游Extract myext的統(tǒng)計(jì)信息
GGSCI (pdemvrhl062) 23> stats extract myext Sending STATS request to EXTRACT MYEXT ... Start of Statistics at 2013-01-31 18:37:54. Output to /u01/app/ggate/dirdat/ic: Extracting from SH.CUSTOMERS to SH.CUSTOMERS: *** Total statistics since 2013-01-31 18:37:07 *** Total inserts 0.00 Total updates 55500.00 Total deletes 0.00 Total discards 0.00 Total operations 55500.00
作者介紹
