由於業務需要需要同步數據Oracle到MySQL使用工具OGG
修改環境變量vi .bash_profile ---需要添加環境變量,否則會報錯(./ggsci: error whileloading shared libraries: libnnz10.so: cannot open shared object file: No suchfile or directory.) export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/home/oracle/ogg 下載安裝包,並解壓到相應目錄 cd ogg/ ./ggsci ----進入ogg目錄,輸入./ggsci 進入ogg管理界面 $./ggsci GGSCI (ora203) 1> create subdirs -----創建sub目錄 Creating subdirectories under current directory /home/oracle/ogg Parameter files /home/oracle/ogg/dirprm: already exists Report files /home/oracle/ogg/dirrpt: created Checkpoint files /home/oracle/ogg/dirchk: created Process status files /home/oracle/ogg/dirpcs: created SQL script files /home/oracle/ogg/dirsql: created Database definitions files /home/oracle/ogg/dirdef: created Extract data files /home/oracle/ogg/dirdat: created Temporary files /home/oracle/ogg/dirtmp: created Stdout files /home/oracle/ogg/dirout: created 源端建立用戶,並賦權限: create tablespace GGS_TBS datafile '/oradata/ora203/ggs_tbs01.dbf' size 30G autoextend on; create user ggs identified by ggs default tablespace GGS_TBS; grant dba to ggs; 源端打開輔助日志 alter database force logging; ----切換到強制記錄日志模式 alter database add supplemental log data; ----打開輔助日志 select supplemental_log_data_min from v$database; SUPPLEMENTAL_LOG_DATA_MI ------------------------ YES 各參數文件配置 配置MANAGER 主庫、目標庫配置: 源端 edit params mgr Port 7809 --DYNAMICPORTLIST 7840-7939 ----添加端口號 --AUTOSTART ER * --AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3 --PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3 --LAGREPORTHOURS 1 --LAGINFOMINUTES 30 --LAGCRITICALMINUTES 45 目標端 edit params mgr Port 7809 --DYNAMICPORTLIST 7840-7939 --AUTOSTART ER * --AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3 --AUTORESTART replicat *,RETRIES 5,WAITMINUTES 2,RESETMINUTES 10 --PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3 --LAGREPORTHOURS 1 --LAGINFOMINUTES 30 --LAGCRITICALMINUTES 45 設置完成后,兩端要 start mgr 各重要目錄作用 --dirdat 存放Trail與Extract文件 --dirdef 存放defgen工具生成的源和目標庫定義文件 --dirprm 存放參數文件 --dirrpt 存放進程報告 --dirpcs 存放進程狀態文件 --dirsql 存放sql腳本文件 --dirtmp 存放當事務超過已分配內存,默認存儲於此 配置抽取、初始化,定義文件(源端) cd ogg/dirprm ----cd到參數文件目錄下 vi exta.prm ----抽取進程 EXTRACT exta USERID ggs, PASSWORD ggs TRANLOGOPTIONS EXCLUDEUSER ggs RMTHOST 10.3.45.237, MGRPORT 7809 ----目標端ip或通信ip RMTTRAIL /home/mysql/ogg/dirdat/ta ----為了使用方便,進程名字可以統一為表a(exta),表b(extb), TABLE wwb.emp; ----用戶.表名(小寫) vi inita.prm ----初始化進程 EXTRACT inita USERID ggs, PASSWORD ggs RMTHOST 10.3.45.237, MGRPORT 7809, COMPRESS RMTTASK REPLICAT, GROUP inita TABLE wwb.emp; ----用戶.表名(小寫) vi da.prm ----定義參數文件 defsfile /home/oracle/ogg/dirdef/da.def ----為了使用方便,進程名字可以統一為表a(exta),表b(extb),對應源端表編號 userid ggs,password ggs TABLE wwb.emp; ----用戶.表名(小寫) vi.ida.prm ----定義參數文件 defsfile /home/oracle/ogg/dirdef/ida.def userid ggs,password ggs TABLE wwb.emp; 兩個定義參數文件編輯完成后,要生成定義文件,並拷貝到目標端的 ogg/dirdef 目錄下 /home/oracle/ogg/defgen PARAMFILE /home/oracle/ogg/dirprm/ida.prm ------生成定義文件語句,注意路徑。生成后把ida.def和da.def拷貝到目標端ogg/dirdef 下 /home/oracle/ogg/defgen PARAMFILE /home/oracle/ogg/dirprm/da.prm 配置應用checkpoint表、進程、初始化(目標端) cd ogg/ ./ggsci GGSCI > edit param ./GLOBALS ----添加checkpoint表 GGSCHEMA wwb CHECKPOINTTABLE wwb.checkpoint ----net3g指同步表的owner GGSCI (standby) 5> dblogin userid ogg Password: Successfully logged into database. GGSCI (standby) 6> add checkpointtable net3g.checkpoint ----然后創建checkpoint表 cd ogg/ cd dirprm/ vi repa.prm ----應用進程 replicat repa sourcedefs /home/mysql/ogg/dirdef/da.def ----對應源端表編號 SOURCEDB net3g,userid root,password a ----net3g指的是要同步表的owner reperror default, discard discardfile ./dirrpt/repa.dsc,APPEND,MEGABYTES 1000 MAP wwb.EMP, TARGET wwb.emp; ----注意大小寫!!!!!MAP 后接 用戶.表名(大寫),空格用戶.表名(小寫); vi inita.prm ----初始化進程 replicat inita sourcedefs /home/mysql/ogg/dirdef/ida.def SOURCEDB net3g,userid root,password a reperror default, discard discardfile ./dirrpt/inita.dsc,APPEND,MEGABYTES 1000 MAP wwb.EMP, TARGET wwb.emp; ----注意大小寫!!!!如上 5、創建存放Trail與Extract文件目錄 mkdir -p /home/oracle/ogg/dirdat/ta mkdir -p /home/mysql/ogg/dirdat/ta 添加進程 源數據庫 ./ggsci ----在安裝ogg目錄下執行 dblogin userid ggs, password ggs ----在ggsci下,登錄到oracle數據庫 add trandata net3g.td_order_relations ----捕獲表的信息 add extract initk, sourceistable ----配置Extract初始化提取進程,增加一個extract組(initd);后面的意思是一次性抽取表中所有的信息。(完成后,在目標數據庫add replicat...) 目標數據庫 ./ggsci ----在安裝ogg目錄下執行 dblogin sourcedb net3g, userid root, password a ----在ggsci下,登錄到mysql數據庫 add replicat initk, specialrun ----配置replicat應用進程,增加一個replicat組(initd) 源端添加extract add extract extk,tranlog,begin now add exttrail /home/oracle/ogg/dirdat/tk,extract extk,megabytes 100 add rmttrail /home/mysql/ogg/dirdat/tk,extract extk,megabytes 100 創建replicat: add replicat repk,exttrail /home/mysql/ogg/dirdat/tk,checkpointtable net3g.checkpoint 至此,配置及進程全部完成!!! 源端 ./ggsci GGSCI > info all ----查看進程是否添加完成 Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING EXTRACT stop EXTA 00:00:00 00:00:00 首先 GGSCI > start exta ----開始抽取進程 GGSCI > info all ----查看進程是否啟動 Program Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING EXTA 00:00:00 00:00:06 其次 GGSCI > start inita ----開始初始化進程 GGSCI > info inita EXTRACT INITA Last Started 2015-09-24 11:24 Status RUNNING Checkpoint Lag Not Available Log Read Checkpoint Table NET3G.TD_FTPPK_LOG 2015-09-24 11:34:49 Record 1 Task SOURCEISTABLE 目標端 GGSCI > info all ----查看目標端進程是否添加完成 GGSCI (ora204) 1> info inita 待初始化進程停止后,開啟目標端repa應用 ####### OGG中登陸MYSQL報錯解決 GGSCI (bys2.oel.com) 2> dblogin sourcedb oggtest,userid root Password: 2013-08-30 12:03:14 WARNING OGG-00769 MySQL Login failed: . SQL error (2002). Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2). ERROR: Failed to connect to MySQL database engine for HOST localhost, DATABASE , USER root, PORT 3306. GGSCI (bys2.oel.com) 3> exit [oracle@bys2 mysqlogg]$ su - Password: [root@bys2 ~]# ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock [root@bys2 ~]# exit logout [oracle@bys2 mysqlogg]$ ./ggsci Oracle GoldenGate Command Interpreter for MySQL Version 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230 Linux, x86, 32bit (optimized), MySQL Enterprise on Apr 23 2012 04:29:30 Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved. GGSCI (bys2.oel.com) 1> dblogin sourcedb oggtest,userid root Password: Successfully logged into database.
OGG常用命令總結
stats:查看進程抽取數據情況,用於檢測數據丟失問題。 info *:用於檢測進程讀取文件情況信息。 info all:查看所有增量抽取進程以及增量推送進程 info all,task:用於查看全量抽取進程 stop *:停止進程 stop *!:強行停止進程 kill:殺掉無法停止的進程 start *:啟動進程 ( extract 、 replicat ) start/stop mgr:開啟/停止 mgr進程 view params *:查看進程所需的配置信息 edit params *:編輯進程所需的配置信息 info exittrail *:查看進程創建時的信息 view report *:查看進程運行時log信息 info credentialstore: 查看配置用戶信息,用於用戶名、存儲密碼,為了安全。注意:CredentialSore是 ogg 12c 新特性 add credentialstore:添加配置用戶信息文件。 delete credentialstore:刪除用戶配置文件。 alter credentialstore add user xx* password xx* alias xx* :分別為 用戶名 、密碼 、別名 alter credentialstore delete user xx* : 刪除一個用戶信息 dblogin userid xx*,password xx*:數據庫登陸,明文 dblogin useridalias xx*:數據庫登陸,使用用戶的別名alias登陸 alter * ,extseqno 0, extrba 0:extseqno 設置讀取文件的位置,extrba 設置讀取文件內容位置 add extract e*, tranlog, begin now:創建增量進程—>配置相應的配置文件 add exttrail ./dirdat/xx*,extract e_gessdb,megabytes 100:配置進程 add extract p*,exttrailsource ./dirdat/xx*:創建推送進程—>配置相應的配置文件 add extract i*, sourceistable:創建全量進程—>配置相應的配置文件