DataX案例：讀取MongoDB的數據導入到HDFS

讀取MongoDB的數據導入到HDFS

1）編寫配置文件

[jason@hadoop102 datax]$ vim job/mongdb2hdfs.json

{

    "job": {

        "content": [

            {

                "reader": {

                    "name": "mongodbreader",

                    "parameter": {

                        "address": ["127.0.0.1:27017"],

                        "collectionName": "jason",

                        "column": [

                         {

                         "name":"name",

                         "type":"string"

                         },

                         {

                         "name":"url",

                         "type":"string"

                         }

                        ],

                        "dbName": "test",

                    }

                },

                "writer": {

                    "name": "hdfswriter",

                    "parameter": {

                        "column": [

                         {

                         "name":"name",

                         "type":"string"

                         },

                         {

                         "name":"url",

                         "type":"string"

                         }

                        ],

                        "defaultFS": "hdfs://hadoop102:9000",

                        "fieldDelimiter": "\t",

                        "fileName": "mongo.txt",

                        "fileType": "text",

                        "path": "/",

                        "writeMode": "append"

                    }

                }

            }

        ],

        "setting": {

            "speed": {

                "channel": "1"

            }

        }

    }

}

2）mongodbreader參數解析

address： MongoDB的數據地址信息，因為MonogDB可能是個集群，則ip端口信息需要以Json數組的形式給出。【必填】

userName：MongoDB的用戶名。【選填】

userPassword： MongoDB的密碼。【選填】

collectionName： MonogoDB的集合名。【必填】

column：MongoDB的文檔列名。【必填】

name：Column的名字。【必填】

type：Column的類型。【選填】

splitter：因為MongoDB支持數組類型，但是Datax框架本身不支持數組類型，所以mongoDB讀出來的數組類型要通過這個分隔符合並成字符串。【選填】

3）執行

[jason@hadoop102 datax]$ bin/datax.py job/mongdb2hdfs.json

4）查看結果