大數據同步技術DataX和大數據清洗技術Kettle的使用


教學視頻:http://113.31.104.47/portal/#/course/courseDetail/b34d160db64624732ef152a1118af11a?courseId=1b7e84f4eb8552536e2267093dbd7972

我觀看的是德拓雲端培訓門戶,因為我沒有使用德拓的實驗環境,所以在看教學視頻是難免會遇到一些錯誤

首先是DataX的使用,

因為沒有用Danastudio,所以在下在完DataX后是在CMD里運行的

遇到的問題有:
1.DataX支持的是Python2,而我是python3,所以運行時提醒我print要加(),這個在Python2中是不用的,還有一個是Exception as e,而DataX中寫的是Exception , e,這個在Python3中會報錯,把這些改了之后就可以了

2.json格式的書寫,因為沒有用Danastudio,json要自己來寫,所以遇到了不少錯誤

官方給了書寫格式,可以根據自己的需要來修改:https://github.com/alibaba/DataX

大數據清洗技術Kettle的使用

這個視頻里並沒有用德拓公司的軟件,所以和教學視頻差不多,不過也遇到了一些坑

1.jdk版本問題,我最初用的是jdk10.0,導致DB連接打不開,換成jdk1.8后就可以了

2.視頻里用的是PostgreSQL,不過我要用的是MySQL

3.因為用的是mysql,所以在最后輸出表時的目標模式不要寫,我要視頻里寫上public后就報錯了


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM