教學視頻:http://113.31.104.47/portal/#/course/courseDetail/b34d160db64624732ef152a1118af11a?courseId=1b7e84f4eb8552536e2267093dbd7972
我觀看的是德拓雲端培訓門戶,因為我沒有使用德拓的實驗環境,所以在看教學視頻是難免會遇到一些錯誤
首先是DataX的使用,
因為沒有用Danastudio,所以在下在完DataX后是在CMD里運行的
遇到的問題有:
1.DataX支持的是Python2,而我是python3,所以運行時提醒我print要加(),這個在Python2中是不用的,還有一個是Exception as e,而DataX中寫的是Exception , e,這個在Python3中會報錯,把這些改了之后就可以了
2.json格式的書寫,因為沒有用Danastudio,json要自己來寫,所以遇到了不少錯誤
官方給了書寫格式,可以根據自己的需要來修改:https://github.com/alibaba/DataX
大數據清洗技術Kettle的使用
這個視頻里並沒有用德拓公司的軟件,所以和教學視頻差不多,不過也遇到了一些坑
1.jdk版本問題,我最初用的是jdk10.0,導致DB連接打不開,換成jdk1.8后就可以了
2.視頻里用的是PostgreSQL,不過我要用的是MySQL
3.因為用的是mysql,所以在最后輸出表時的目標模式不要寫,我要視頻里寫上public后就報錯了