datax rdbmsreader 添加mysql、oracle驅動

【引用下官方說明】
RDBMS Reader是一個通用的關系數據庫讀插件，您可以通過添加、注冊數據庫驅動等方式增加各種關系型數據庫的讀支持。

本文為您介紹如何通過RDBMS Reader添加關系型數據庫驅動。

一、前提條件

在添加關系型數據庫驅動前，您需要購買ECS服務器作為您的自定義資源組，建議購買規格如下：

• 使用CentOS 6、CentOS 7或AliyunOS。
• 如果您添加的ECS需要執行MaxCompute任務或同步任務，需要檢查當前ECS的python版本是否為Python2.6或2.7的版本（CentOS 5的Python版本為2.4，其它OS自帶2.6以上版本）。
• 以是否能夠ping通www.aliyun.com作為衡量標准，確認ECS可以訪問公網。
• 建議ECS的配置為8核16G。

二、背景信息

RDBMS Reader通過JDBC連接器連接至遠程的RDBMS數據庫，並根據您配置的信息生成查詢SQL語句，發送至遠程RDBMS數據庫，執行該SQL並返回結果。然后使用數據同步自定義的數據類型拼裝為抽象的數據集，傳遞給下游Writer處理。詳情請參見RDBMS Reader。

三、添加自定義資源組

1. 登錄DataWorks控制台。
2. 在左側導航欄，單擊工作空間列表。
3. 單擊相應工作空間后的進入數據集成。
   1. 　　如果您已在DataWorks的某個功能模塊，請單擊左上角的圖標，選擇全部產品 > 數據集成，即可跳轉至數據集成頁面。
4. 在左側導航欄，單擊自定義資源組，進入自定義資源組管理頁面。
5. 單擊右上角的新增自定義資源組。
6. 安裝Agent並初始化，詳情請參見新增自定義數據集成資源組。
   1. 　　待服務器狀態為可用時，則成功添加自定義資源組。
   2. 　　如果刷新后還是停止狀態，請切換至admin賬號，執行下述命令重啟alisa。

　　　　　　/home/admin/alisatasknode/target/alisatasknode/bin/serverct1 restart
四、添加MySQL驅動

1. 登錄雲服務器ECS自定義資源組。
2. 執行下述語句，進入RDBMS Reader對應目錄。${DATAX_HOME}為數據集成主目錄，即/home/admin/datax3/plugin/reader/rdbmsreader目錄。
   1. 　　

      [root@izbp1czjk**** rdbmsreader]# pwd /home/admin/datax3/plugin/reader/rdbmsreader [root@izbp1czjkv**** rdbmsreader]# ls libs plugin.json rdbmsreader-0.0.1-SNAPSHOT.jar

3. 在RDBMS Reader插件目錄下找到plugin.json配置文件。在該文件中注冊具體的數據庫驅動，例如下文的com.mysql.jdbc.Driver，放至drivers數組中。
   RDBMS Reader插件在任務執行時，會動態選擇合適的數據庫驅動連接數據庫。

   [root@izbp1cz**** rdbmsreader]# vim plugin.json
   {
       "name": "rdbmsreader",
       "class": "com.alibaba.datax.plugin.reader.rdbmsreader.RdbmsReader",
       "description": "useScene: prod. mechanism: Jdbc connection using the database, execute select sql, retrieve data from the ResultSet. warn: The more you know about the database, the less problems you encounter.",
       "developer": "alibaba",
       "drivers":["dm.jdbc.driver.DmDriver", "com.sybase.jdbc3.jdbc.SybDriver", "com.edb.Driver","com.mysql.jdbc.Driver"]
   }

   這里mysql數據庫標識符是：com.mysql.jdbc.Driver

   oracle的數據庫的標識符是：oracle.jdbc.OracleDriver

4. 進入rdbmsreader目錄下的libs子目錄，上傳您下載的MySQL JAR包。
   例如下圖中的 mysql-connector-java-5.1.47.jar。

五、配置數據同步任務

目前RDBMS Reader僅支持通過腳本模式配置同步任務，配置示例如下。

{
"job": {
        "setting": {
            "speed": {
                "byte": 1048576
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "rdbmsreader",
                    "parameter": {
                        "username": "xxxxx",
                        "password": "yyyyyy",
                        "column": [
                            "*",   
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "a2"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://xxx.mysql.yy.aliyuncs.com:3306/xxx"  //直接配置您的SQL地址。
                               ]
                            }
                        ],

                        "where": ""
                    }
                },
                "writer": {  //writer部分根據您的需要進行配置即可。 
                   "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}