在xmanager中的xshell運行進入圖形化界面
1 sh spoon.sh
新建一個job
1.往hdfs中寫數據
1)linux中kettle往hdfs中寫數據
雙擊hadoop copy files
運行此job
查看數據:
1)windows中kettle往hdfs中寫數據
Windows中往power服務器中hdfs寫數據
日志:
2016/07/28 16:21:14 - Version checker - OK 2016/07/28 16:21:57 - 數據整合工具-作業設計器 - 數據整合工具-作業設計器 2016/07/28 16:23:10 - 數據整合工具-作業設計器 - 另存為... 2016/07/28 16:23:10 - 數據整合工具-作業設計器 - Save file as... 2016/07/28 16:23:17 - 數據整合工具-作業設計器 - 正在開始任務... 2016/07/28 16:23:17 - ff - 開始執行任務 2016/07/28 16:23:17 - ff - 開始項[Hadoop Copy Files] 2016/07/28 16:23:17 - Hadoop Copy Files - 開始... 2016/07/28 16:23:17 - Hadoop Copy Files - 正在處理行, 源文件/目錄: [file:///E:/auphi_designer_3.2.0/ez11.xls] ... 目標文件/目錄 : [hdfs://ip:8020/ke]... 通配符 : [null] 2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : 文件系統異常:Could not copy "file:///E:/auphi_designer_3.2.0/ez11.xls" to "hdfs://ip:8020/ke/ez11.xls". 2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Could not close the output stream for file "hdfs://ip:8020/ke/ez11.xls". 2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Connection timed out: no further information 2016/07/28 16:25:05 - ff - 完成作業項[Hadoop Copy Files] (結果=[false]) 2016/07/28 16:25:05 - ff - 任務執行完畢 2016/07/28 16:25:05 - 數據整合工具-作業設計器 - 任務已經結束.
報錯原因:
由於windows連的是外網,而hadoop集群所有機器的ip是內網,雖然可以給主節點綁定外網ip,windows可以連接集群主節點但往hdfs中寫數據需要hadoop集群中的內網,所以寫不進去數據,將kettle遷移在linux內網環境中,寫數據成功,如上1)。