Azkaban 2.5.0的詳細安裝過程


    准備下載Azkaban2.5.0:https://azkaban.github.io/downloads.htm

准備插件:

 

一、MySQL安裝與配置

     啟動數據庫並查看狀態:sudo service mysqld start

                                          sudo service mysqld status

    

   

 

     登陸mysql:以root用戶登陸      

     mysql -u root -p

   

   

 

 

     1)為Azkaban單獨創建一個數據庫:

         create database azkaban

         

 

 

 

 

      2)單獨創建一個數據庫用戶,實際生產中最好單獨創建一個用戶,這里我使用azkaban/***1234,並對用戶授權

             創建:create user 'azkaban'@'主機名' identified by 'azkaban';(用戶azkaban、主機名、對數據庫azkaban)

             授權:grant select,insert,update,delete,create,index on `azkaban`.* to 'azkaban'@'主機名' with grant option;

       

 

 

        

     

 

 

 

    接下來通過剛創建的用戶登陸mysql

     

     

 

 

     報錯,再執行下面的

     mysql> grant all privileges on *.* to 'azkaban'@'%' identified by 'azkaban' with grant option;
     Query OK, 0 rows affected (0.00 sec)

 

     mysql> grant all privileges on *.* to 'azkaban'@'master' identified by 'azkaban' with grant option;
     Query OK, 0 rows affected (0.00 sec)

 

     mysql> grant all privileges on *.* to 'azkaban'@'localhost' identified by 'azkaban' with grant option;
     Query OK, 0 rows affected (0.00 sec)

 

     

    

    

   

 

 

 

   select user,host,password from mysql.user;

    

   

 

 

 

 

    此時就可以通過azkaban賬號登陸了

     

 

 

 

 

 

3) 為azkaban建表:

         下載azkaban-sql-script-2.5.0.tar.gz 解壓縮

          執行create-all-sql-2.5.0.sql

          mysql -u azkaban -pazkaban -Dazkaban<create-all-sql-2.5.0.sql(create-all-sql-2.5.0.sql重定向到創建的數據庫)

         上傳解壓

         

            

         

 

 

        退出,做重定向

          mysql -uazkaban -pazkaban -Dazkaban</home/hadoop/app/azkaban-2.5.0/create-all-sql-2.5.0.sql(全路徑)

 

         

       

 

 

 

      再次登錄

       

        

      完成

 

 

 

 

 

 

    4)准備jdbc驅動

      下載jdbc驅動包,webserver和executor-server都需要它,將其放入到webserver和executor-server的extlib目錄下(2.5版本是自帶的不需要配置)

 

 

 

二、配置Azkaban Web Server

    1)安裝web server

       下載  解壓縮

     

 

      

   

      

      

 

 

       上傳依賴包

       把mysql驅動上傳至/home/hadoop/app/azkaban-web-2.5.0/extlib

       

2)Getting KeyStore for SSL(生成KeyStore文件)

      keytool -keystore keystore -alias jetty -genkey -keyalg RSA

     

    密碼盡量一致(包括大小寫

    

 

     修改配置文件:conf/azkaban.properties

     修改

     

     

 

    # Azkaban Jetty server properties.
    jetty.maxThreads=25
    jetty.ssl.port=8443
    jetty.port=8081
    jetty.keystore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore
    jetty.password=******
    jetty.keypassword=******
    jetty.truststore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore 
    jetty.trustpassword=******

  

   修改

   setting up to the DB

    

    

 

 #Loader for projects
   executor.global.properties=/home/hadoop/app/azkaban-web-2.5.0/conf/global.properties
   azkaban.project.dir=projects

   database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100

   

   修改

   

 

   #Azkaban UserManager class
   user.manager.class=azkaban.user.XmlUserManager
   user.manager.xml.file=/home/hadoop/app/azkaban-web-2.5.0/conf/azkaban-users.xml

 

     修改

     

 

     #Azkaban Personalization Settings
     azkaban.name=Test
     azkaban.label=My Local Azkaban
     azkaban.color=#FF3601
     azkaban.default.servlet.path=/index
     web.resource.dir=/home/hadoop/app/azkaban-web-2.5.0/web/
     default.timezone.id=America/Los_Angeles

 

 

      啟動web server

      bin/azkaban-web-start.sh 

      bin/azkaban-web-shutdown.sh 

        https://192.168.80.11:8443/

      

 

 

      

     回車

     

    

    https://192.168.80.11:8443/   web頁面展示     

 

     

 

    配置安裝完成!!!!!

三、配置安裝Azkaban Executor Server

      1)安裝Azkaban Executor Server    

           下載azkaban-executor-server-2.5.0.tar.gz  上傳、解壓縮即可。

           

               

 

     2)配置數據庫(setting up to DB)

         修改cof/azkaban.properties

          

             

 

          

          #Loader for projects
          executor.global.properties=conf/global.properties
          azkaban.project.dir=projects

 

          database.type=mysql
          mysql.port=3306
          mysql.host=localhost
          mysql.database=azkaban
          mysql.user=azkaban
          mysql.password=azkaban
          mysql.numconnections=100

 

     3)配置端口號

             

            

 

            默認配置不動即可(webserver和executorserver都用默認不需改動,如若自己想修改則兩端都要改成一致)

 

 

 

    注意:對於兩種不同的模式,配置是不一樣的了:

        single executor mode:executor.port=12321即可。只需要和AzkabanWebServer的azkaban.properties下的executor.port保持一致就OK了。

 

 

      4)啟停Executor Server

      bin/azkaban-exec-start.sh

      bin/azkaban-exec-shutdown.sh

 

       

       

      報錯是由於沒有指定全路徑,找不到文件。所以在配置時盡量使用全路徑即可

 

     

     

        jps可以發現即使報錯但是還是啟動起來了,這里先干掉再啟動

 

     

      

 

 

 

     重新啟動

     

      成功

 四、多個Executor Server 模式

      待續。。。。。。。

 

 

 

五、配置Azkaban插件

        azkaban設計的思路是使非核心功能基於插件,所以核心功能非常輕便,安裝升級方便,而且很容易擴展到不同的操作系統。

      web server 插件:

                                 viewer plugins

                                 trigger plugins

                                 user manager plugins

                                 alerter plugins

 

     executor server插件:

 

 

 

 

 

     注意:注意之前的疏忽,這里調整時區

    web server

    

    executor server

     

    調整完成 重新啟動 生效

 

 

 

 

 

六、創建工作流

      桌面創建兩個后綴名為.job的文件

     

 

      

     

 

      打包

     

    

 

     登陸web界面:https://192.168.80.11:8443/

    

 

         創建組

       

      

       

    上傳工作流

 

                                

 

 

     

       

 

 

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM