一、安裝datax
下載地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
將其解壓即可。
二、測試安裝是否成功
1,打開cmd界面(同時按下Windows鍵+R鍵)
2,輸入CHCP 65001 防止中文亂碼
3,跳轉到datax的bin目錄下
命令行:d:
cd D:\BigDataTools\datax\datax\bin
4,查看模板
命令行: python datax.py -r streamreader -w streamwriter
5,使用datax
首先我們需要自定義好的json文件(從網上獲取的,內容如下),命名為stream2stream.json
{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 10, "column": [ { "type": "String", "value": "helle DataX" }, { "type": "string", "value": "你吃完晚飯了嗎?" }, { "type": "string", "value": "不要在寫代碼了,太累了" } ] } }, "writer": { "name": "streamwriter", "parameter": { "encoding": "GBK", "print": true } } } ], "setting": { "speed": { "channel": 5 } } } }
輸入命令行:python datax.py +json文件的位置;如:python datax.py ./steam2stream.json
效果:
三,備注
如果你的python環境是python3.0以上的話,請到https://github.com/HxYyWw/DatatX_python3/tree/master下載對應的三個.py文件代替datax文件夾中bin目錄下的三個.py文件即可。