Oracle GoldenGate 同步數據至Hbase


該方法沒試過,先記下再說

1、軟件版本說明:

Goldengate 12c 12.2.0.1 for Oracle(源端)

Goldengate 12c 12.3.0.1 for Bigdata (目標端)

Hadoop 2.6.4(安裝參考我的博客 https://blog.csdn.net/Return42/article/details/79786612

Oracle 12c(安裝參考我的博客 https://blog.csdn.net/return42/article/details/79786724

HBase1.2.6(安裝參考我的博客https://blog.csdn.net/return42/article/details/79786541

Java1.8

2、機器IP說明

源端IP地址(192.168.107.20)安裝 Oracle12c,Oracle GoldenGate

目標端IP地址(192.168.107.23),安裝Hbase,OracleGoldenGate for BigData

3、源端的配置

參考我的博客( https://blog.csdn.net/return42/article/details/79786879

4、目標 端的配置

#在用戶家目錄下的 ~/.bash_profile中配置用戶的JAVA_HOME,以及LIB_PATH 環境變量。

 

export PATH

export JAVA_HOME=/opt/jdk

exportLD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$JAVA_HOME/jre/lib/amd64/server/libjsig.so:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64

 

#使新加入的環境變量生效

source ~/.bash_profile

 

#進入 OGG安裝目錄

cd /opt/ogg

 

#復制 hbase對應的配置文件。

cp AdapterExamples/big-data/hbase/*dirprm/

 

cd/ogg/dirprm

編輯配置文件

vi hbase.props

 

 

gg.handlerlist=hbase

 

gg.handler.hbase.type=hbase

gg.handler.hbase.hBaseColumnFamilyName=cf

gg.handler.hbase.keyValueDelimiter=CDATA[=]

gg.handler.hbase.keyValuePairDelimiter=CDATA[,]

gg.handler.hbase.encoding=UTF-8

gg.handler.hbase.pkUpdateHandling=abend

gg.handler.hbase.nullValueRepresentation=CDATA[NULL]

gg.handler.hbase.authType=none

gg.handler.hbase.includeTokens=false

 

gg.handler.hbase.mode=tx

 

goldengate.userexit.timestamp=utc

goldengate.userexit.writers=javawriter

javawriter.stats.display=TRUE

javawriter.stats.full=TRUE

 

gg.log=log4j

gg.log.level=INFO

 

gg.report.time=30sec

 

#Sample gg.classpath for Apache HBase

#gg.classpath=/var/lib/hbase/lib/*:/var/lib/hbase/conf/:

#Sample gg.classpath for CDH

#gg.classpath=/opt/cloudera/parcels/CDH/lib/hbase/lib/*:/etc/hbase/conf

#Sample gg.classpath for HDP

#gg.classpath=/usr/hdp/current/hbase-client/lib/*:/etc/hbase/conf

gg.classpath=/opt/hbase-1.2.6/lib/*:/opt/hbase-1.2.6/conf/:

javawriter.bootoptions=-Xmx512m-Xms32m -Djava.class.path=ggjava/ggjava.jar

 

 

5、啟動ogg

./ggsci

 

 

GGSCI(hbase)2>editparamsmgr

Port 7809

DynamicPortList 20100-20199

PurgeOldExtracts ./dirdat/*,UseCheckPoints, MinKeepHours 2

Autostart Replicat R*

AUTORESTART Replicat *, WaitMinutes 1,Retries 3

ACCESSRULE, PROG *, IPADDR192.168.107.*, ALLOW

 

 

 

#配置復制進程

GGSCI(hbase)5>editparam rinta

 

replicat rinta

TARGETDB LIBFILE libggjava.so SETproperty=dirprm/hbase.props

REPORTCOUNT EVERY 1 MINUTES, RATE

GROUPTRANSOPS 10000

MAP OGG.*, TARGET root.*;

 

添加進程

add extract pinta,exttrailsource ./dirdat/in

 

6、配置完成,啟動源端和目標端的進程。

 

參考:https://www.cppentry.com/bencandy.php?fid=118&id=196166


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM