Linux啟動kettle及linux和windows中kettle往hdfs中寫數據(3)


xmanager的xshell運行進入圖形化界面

 

1 sh spoon.sh

 

 

新建一個job

1.hdfs中寫數據

1)linuxkettlehdfs中寫數據

 

雙擊hadoop copy files

運行此job

查看數據:

1)windowskettlehdfs中寫數據

Windows中往power服務器中hdfs寫數據

日志:

2016/07/28 16:21:14 - Version checker - OK

2016/07/28 16:21:57 - 數據整合工具-作業設計器 - 數據整合工具-作業設計器

2016/07/28 16:23:10 - 數據整合工具-作業設計器 - 另存為...

2016/07/28 16:23:10 - 數據整合工具-作業設計器 - Save file as...

2016/07/28 16:23:17 - 數據整合工具-作業設計器 - 正在開始任務...

2016/07/28 16:23:17 - ff - 開始執行任務

2016/07/28 16:23:17 - ff - 開始項[Hadoop Copy Files]

2016/07/28 16:23:17 - Hadoop Copy Files - 開始...

2016/07/28 16:23:17 - Hadoop Copy Files - 正在處理行, 源文件/目錄: [file:///E:/auphi_designer_3.2.0/ez11.xls] ... 目標文件/目錄 : [hdfs://ip:8020/ke]... 通配符 : [null]

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : 文件系統異常:Could not copy "file:///E:/auphi_designer_3.2.0/ez11.xls" to "hdfs://ip:8020/ke/ez11.xls".

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Could not close the output stream for file "hdfs://ip:8020/ke/ez11.xls".

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Connection timed out: no further information

2016/07/28 16:25:05 - ff - 完成作業項[Hadoop Copy Files] (結果=[false])

2016/07/28 16:25:05 - ff - 任務執行完畢

2016/07/28 16:25:05 - 數據整合工具-作業設計器 - 任務已經結束.

報錯原因:

由於windows連的是外網,而hadoop集群所有機器的ip是內網,雖然可以給主節點綁定外網ipwindows可以連接集群主節點但往hdfs中寫數據需要hadoop集群中的內網,所以寫不進去數據,將kettle遷移在linux內網環境中,寫數據成功,如上1)。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM