ETL Automation完整安裝方法_(元數據存放在mysql數據庫)


 

安裝前介質准備:

 DBI-1.636.tar.gz 

 DBD-mysql-4.037.tar.gz

 ETL.tar

 mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz

 Perl下載地址:http://www.cpan.org/modules/by-module/

 

第一部分 Mysql數據庫安裝

  鏈接如:http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.html

 

第二部分 Perl模塊安裝

1) 檢查當前perl版本命令:perl -v

  查看已安裝perl模塊命令:perldoc perllocal

2) DBI模塊為DBI-1.636.tar.gz

  方法與DBD模塊一樣

3) DBD模塊為 DBD-mysql-4.037.tar.gz

  tar xvzf DBD-mysql-4.037.tar.gz

  cd DBD-mysql-4.037

  perl Makefile.PL

  make

  make test

  make install

5) 其它模塊 …

6) 在/etc/profile 增加如下變量

  export PATH=/usr/local/mysql/bin:$PATH

  export LD_LIBRARY_PATH=/usr/local/lib/mysql

7) Perl模塊安裝完后,需要寫個mysql_test.perl腳本,測試連接mysql數據庫是否成功

 

第三部分 Automation安裝

1) 在linux系統下,創建etl用戶

  groupadd etl

  useradd -g etl -m -d /home/etl -s /bin/bash etl

2) 切換到etl用戶,在/home/etl添加環境變量 vi .bashrc,然后使之生效 source .bashrc

AUTO_HOME=/opt/ETL; export AUTO_HOME;

AUTO_DSN=tdvm; export AUTO_DSN;

AUTO_DB=etlauto; export AUTO_DB;

AUTO_SERVER=ETL1; export AUTO_SERVER;

AUTO_SERVER_IP=192.168.152.100; export AUTO_SERVER_IP;

AUTO_AGENT_PORT=6346; export AUTO_AGENT_PORT;

AUTO_WDOG_PORT=6346; export AUTO_WDOG_PORT;

AUTO_PRIMARY_SERVER=0; export AUTO_PRIMARY_SERVER;

 

ODBCINI=$HOME/.odbc.ini;export ODBCINI

LD_LIBRARY_PATH=$LD_LIBRARY_PATH :/opt/teradata/client/14.00/odbc_64/lib:/usr/local/lib; export LD_LIBRARY_PATH

3) 上傳ETL.tar到/opt/目錄,並解壓

  tar xvf ETL.tar

5) 修改etl_unix.pm和tools.pm兩個文件的數據庫連接信息

  my $dbh = DBI->connect("DBI:mysql:database=etlauto;host=10.161.166.51", "root", "123456",

6) 切換到root用戶,授予etl用戶/opt/ETL權限

  chown -R etl:etl /opt/ETL

7) 上傳yhddw.pm到該目錄下 /usr/lib64/perl5/vendor_perl/

8) 切換到etl用戶,清空 /opt/ETL/lock 下的文件 rm –rf etl*

  然后在/opt/ETL/bin目錄下執行sh start.sh

9) 查看Automation 5個進程是否啟動:

  方法一:ps –ef | grep pl

  方法二:/opt/ETL/LOG

      主要查看etlmaster.out

 

第四部分 配置ETLAdmin

4.1 導入項目

 1) 將ETLAdmin261復制到workspace文件夾下

 2) 打開eclipse.ext,作如下操作:

   File → Import General Existing Projects into Workspace,點擊next到下一步;

   在出現的對話框中選中Select root directory,點擊 Browse后可選擇第一步“ETLAdmin261”的文件位置,

   然后在options中,勾選copy projects into workspace,點擊 Finish

4.2 導入jar包

 1) 打開ETLAdmin261 project lib選中需要刪除的jia包,點擊Delete

 2) 選擇Build Path Configure Build Path Java Buidl Path Libraries選中需要刪除的jia包,點擊Remove

 3) 將mysql-connector-java-5.1.0-bin(1).jar 和 jintellitype-1.3.9-SNAPSHOT.jar 復制到當前項目lib文件夾下,

   回到Build Path → Configure Build Path Java Buidl Path Libraries,點擊 Add JARs,添加這兩個.jia包.

4.3 修改數據庫配置信息

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM