MySQL同步 Oracle表 ogg


由於業務需要需要同步數據Oracle到MySQL使用工具OGG

修改環境變量vi .bash_profile          ---需要添加環境變量,否則會報錯(./ggsci: error whileloading shared libraries: libnnz10.so: cannot open shared object file: No suchfile or directory.)
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/home/oracle/ogg              

下載安裝包,並解壓到相應目錄

cd ogg/
./ggsci                ----進入ogg目錄,輸入./ggsci 進入ogg管理界面



$./ggsci
GGSCI (ora203) 1> create subdirs      -----創建sub目錄   

Creating subdirectories under current directory /home/oracle/ogg

Parameter files                /home/oracle/ogg/dirprm: already exists
Report files                   /home/oracle/ogg/dirrpt: created
Checkpoint files               /home/oracle/ogg/dirchk: created
Process status files           /home/oracle/ogg/dirpcs: created
SQL script files               /home/oracle/ogg/dirsql: created
Database definitions files     /home/oracle/ogg/dirdef: created
Extract data files             /home/oracle/ogg/dirdat: created
Temporary files                /home/oracle/ogg/dirtmp: created
Stdout files                   /home/oracle/ogg/dirout: created


源端建立用戶,並賦權限:
create tablespace GGS_TBS datafile '/oradata/ora203/ggs_tbs01.dbf' size 30G autoextend on;
create user ggs identified by ggs default tablespace GGS_TBS;

grant dba to ggs;



源端打開輔助日志

alter database force logging;                           ----切換到強制記錄日志模式
alter database add supplemental log data;               ----打開輔助日志
select supplemental_log_data_min from v$database;

    SUPPLEMENTAL_LOG_DATA_MI
    ------------------------
             YES


各參數文件配置
配置MANAGER
	
    主庫、目標庫配置:

源端
edit params mgr                                     
Port 7809
--DYNAMICPORTLIST 7840-7939                          ----添加端口號
--AUTOSTART ER *
--AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
--PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
--LAGREPORTHOURS 1
--LAGINFOMINUTES 30
--LAGCRITICALMINUTES 45


目標端
edit params mgr
Port 7809
--DYNAMICPORTLIST 7840-7939
--AUTOSTART ER *
--AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
--AUTORESTART replicat *,RETRIES 5,WAITMINUTES 2,RESETMINUTES 10
--PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
--LAGREPORTHOURS 1
--LAGINFOMINUTES 30
--LAGCRITICALMINUTES 45


設置完成后,兩端要 start mgr
各重要目錄作用
--dirdat   存放Trail與Extract文件
--dirdef   存放defgen工具生成的源和目標庫定義文件
--dirprm   存放參數文件
--dirrpt   存放進程報告
--dirpcs   存放進程狀態文件
--dirsql   存放sql腳本文件
--dirtmp   存放當事務超過已分配內存,默認存儲於此


配置抽取、初始化,定義文件(源端)
cd ogg/dirprm                                           ----cd到參數文件目錄下
vi exta.prm                                             ----抽取進程
EXTRACT  exta
USERID ggs,  PASSWORD ggs
TRANLOGOPTIONS  EXCLUDEUSER ggs
RMTHOST  10.3.45.237, MGRPORT 7809                     ----目標端ip或通信ip
RMTTRAIL  /home/mysql/ogg/dirdat/ta                    ----為了使用方便,進程名字可以統一為表a(exta),表b(extb),
TABLE  wwb.emp;                                        ----用戶.表名(小寫)


vi inita.prm                                           ----初始化進程
EXTRACT inita
USERID ggs,  PASSWORD ggs
RMTHOST 10.3.45.237, MGRPORT 7809, COMPRESS
RMTTASK REPLICAT, GROUP inita               
TABLE  wwb.emp;                                        ----用戶.表名(小寫)



vi da.prm                                               ----定義參數文件
defsfile /home/oracle/ogg/dirdef/da.def                 ----為了使用方便,進程名字可以統一為表a(exta),表b(extb),對應源端表編號
userid ggs,password ggs
TABLE wwb.emp;                                          ----用戶.表名(小寫)

vi.ida.prm                                              ----定義參數文件
defsfile /home/oracle/ogg/dirdef/ida.def
userid ggs,password ggs
TABLE wwb.emp;

兩個定義參數文件編輯完成后,要生成定義文件,並拷貝到目標端的 ogg/dirdef  目錄下
/home/oracle/ogg/defgen PARAMFILE /home/oracle/ogg/dirprm/ida.prm            ------生成定義文件語句,注意路徑。生成后把ida.def和da.def拷貝到目標端ogg/dirdef 下
/home/oracle/ogg/defgen PARAMFILE /home/oracle/ogg/dirprm/da.prm





配置應用checkpoint表、進程、初始化(目標端)
cd ogg/
./ggsci
GGSCI > edit param ./GLOBALS                            ----添加checkpoint表
GGSCHEMA wwb
CHECKPOINTTABLE wwb.checkpoint                          ----net3g指同步表的owner

GGSCI (standby) 5> dblogin userid ogg                   
Password: 
Successfully logged into database.
GGSCI (standby) 6> add checkpointtable net3g.checkpoint ----然后創建checkpoint表



cd ogg/
cd dirprm/
vi repa.prm                                            ----應用進程
replicat repa
sourcedefs /home/mysql/ogg/dirdef/da.def               ----對應源端表編號
SOURCEDB net3g,userid root,password a                  ----net3g指的是要同步表的owner        
reperror default, discard
discardfile ./dirrpt/repa.dsc,APPEND,MEGABYTES 1000
MAP wwb.EMP, TARGET  wwb.emp;    ----注意大小寫!!!!!MAP 后接 用戶.表名(大寫),空格用戶.表名(小寫);

vi inita.prm                                           ----初始化進程
replicat inita
sourcedefs /home/mysql/ogg/dirdef/ida.def
SOURCEDB net3g,userid root,password a
reperror default, discard
discardfile ./dirrpt/inita.dsc,APPEND,MEGABYTES 1000
MAP wwb.EMP, TARGET  wwb.emp;    ----注意大小寫!!!!如上


5、創建存放Trail與Extract文件目錄
mkdir -p /home/oracle/ogg/dirdat/ta  
mkdir -p /home/mysql/ogg/dirdat/ta                   



添加進程 
源數據庫
./ggsci                                                ----在安裝ogg目錄下執行
dblogin userid ggs, password ggs                       ----在ggsci下,登錄到oracle數據庫
add trandata net3g.td_order_relations                  ----捕獲表的信息
add extract initk, sourceistable                       ----配置Extract初始化提取進程,增加一個extract組(initd);后面的意思是一次性抽取表中所有的信息。(完成后,在目標數據庫add replicat...)


目標數據庫
./ggsci                                                ----在安裝ogg目錄下執行
dblogin sourcedb net3g, userid root, password a        ----在ggsci下,登錄到mysql數據庫
add replicat initk, specialrun                         ----配置replicat應用進程,增加一個replicat組(initd)


源端添加extract
add extract extk,tranlog,begin now
add exttrail /home/oracle/ogg/dirdat/tk,extract extk,megabytes 100
add rmttrail /home/mysql/ogg/dirdat/tk,extract extk,megabytes 100


創建replicat:
add replicat repk,exttrail /home/mysql/ogg/dirdat/tk,checkpointtable net3g.checkpoint

至此,配置及進程全部完成!!!

源端
./ggsci
GGSCI > info all                            ----查看進程是否添加完成
Program     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     RUNNING                                           
EXTRACT     stop     EXTA        00:00:00      00:00:00 

首先
GGSCI > start exta                          ----開始抽取進程
GGSCI > info all                            ----查看進程是否啟動
Program     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     RUNNING                                           
EXTRACT     RUNNING     EXTA        00:00:00      00:00:06 


其次
GGSCI > start inita                         ----開始初始化進程
GGSCI > info inita
EXTRACT    INITA     Last Started 2015-09-24 11:24   Status RUNNING
Checkpoint Lag       Not Available
Log Read Checkpoint  Table NET3G.TD_FTPPK_LOG
                     2015-09-24 11:34:49  Record 1
Task                 SOURCEISTABLE


目標端
GGSCI > info all                            ----查看目標端進程是否添加完成

GGSCI (ora204) 1> info inita
待初始化進程停止后,開啟目標端repa應用
#######
OGG中登陸MYSQL報錯解決
GGSCI (bys2.oel.com) 2> dblogin sourcedb oggtest,userid root
Password: 
2013-08-30 12:03:14 WARNING OGG-00769 MySQL Login failed: . SQL error (2002). Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2).
ERROR: Failed to connect to MySQL database engine for HOST localhost, DATABASE , USER root, PORT 3306.

GGSCI (bys2.oel.com) 3> exit
[oracle@bys2 mysqlogg]$ su -
Password: 
[root@bys2 ~]# ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock
[root@bys2 ~]# exit
logout
[oracle@bys2 mysqlogg]$ ./ggsci
Oracle GoldenGate Command Interpreter for MySQL
Version 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230
Linux, x86, 32bit (optimized), MySQL Enterprise on Apr 23 2012 04:29:30
Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.
GGSCI (bys2.oel.com) 1> dblogin sourcedb oggtest,userid root
Password: 
Successfully logged into database.
   

OGG常用命令總結

stats:查看進程抽取數據情況,用於檢測數據丟失問題。
info *:用於檢測進程讀取文件情況信息。
info all:查看所有增量抽取進程以及增量推送進程
info all,task:用於查看全量抽取進程
stop *:停止進程
stop *!:強行停止進程
kill:殺掉無法停止的進程
start *:啟動進程 ( extract 、 replicat )
start/stop mgr:開啟/停止 mgr進程
view params *:查看進程所需的配置信息
edit params *:編輯進程所需的配置信息
info exittrail *:查看進程創建時的信息
view report *:查看進程運行時log信息
info credentialstore: 查看配置用戶信息,用於用戶名、存儲密碼,為了安全。注意:CredentialSore是 ogg 12c 新特性
add credentialstore:添加配置用戶信息文件。
delete credentialstore:刪除用戶配置文件。
alter credentialstore add user xx* password xx* alias xx* :分別為 用戶名 、密碼 、別名
alter credentialstore delete user xx* : 刪除一個用戶信息
dblogin userid xx*,password xx*:數據庫登陸,明文
dblogin useridalias xx*:數據庫登陸,使用用戶的別名alias登陸
alter * ,extseqno 0, extrba 0:extseqno 設置讀取文件的位置,extrba 設置讀取文件內容位置
add extract e*, tranlog, begin now:創建增量進程—>配置相應的配置文件
add exttrail ./dirdat/xx*,extract e_gessdb,megabytes 100:配置進程
add extract p*,exttrailsource ./dirdat/xx*:創建推送進程—>配置相應的配置文件
add extract i*, sourceistable:創建全量進程—>配置相應的配置文件 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM