kettle——入門操作(轉換之-去除重復記錄,字段選擇)

兩個控件，去除重復記錄，Unique Rows(HashSet)，以及字段選擇，如下

1、去除重復記錄，要求按照去除重復列進行排序才行

　　

　　Data GRid 輸入信息，按照如下，及去除重復記錄的要求，按照flag去除重復記錄，只會有四條記錄

　　　　

　　去除重復記錄設置，

　　　　

　　結果輸出，只輸出了四行

　　　　

2、Unique Rows(hashset)，這個空間不需要進行排序

　　　　

　　Data GRid 輸入信息，按照如下，及去除重復記錄的要求，按照flag去除重復記錄，只會有三條記錄

　　　　　　

　　
　　Unique Rows(HASHSET)設置如下

　　　　

　　 結果輸出，

　　　　

 

 3、字段選擇

　　　　

　　　　字段選擇配置界面如下，前兩個選擇和修改及移除選項卡，功能差不多，一個是選擇字段輸出，一個是選擇字段不輸出。

　　　　　　元數據是對字段名稱長度及類型等的規范化。

　　　　　　

 

 4、排序記錄控件，功能是根據指定字段進行排序

　　　　　　　　　　　　去重

　　　　

　　Data Grid 2 輸入流，

　　　　　

　　排序設置，

　　　　　

　　輸出結果