StreamSets學習系列之StreamSets是什么？

 

 

　　　　不多說，直接上干貨！

 

 

 

　　 StreamSets是一個側重數據集成、數據加工流程構建的平台，也是一個開源的產品。通過StreamSets，用戶可以方便的接入不同的數據源，並且完成數據加工流程的構建。SteamSets有可視化的數據流構建工具，並且能夠對運行態的數據應用進行監控。相對於CDAP，StreamSets更側重於數據的接入和數據流的構建、監控和管理

 

 

 

 

 

　　StreamSets數據操作平台是唯一旨在簡化如何構建，執行和操作企業數據流的平台。構建在開源核心上，開發人員可以輕松構建批處理和流式數據流，而且代碼少，而運營商使用雲本地產品將數十或數百個數據流聚合到拓撲中，並通過實時可見性和性能控制集中管理。

　　其官網地址：https://streamsets.com

　　其對數據流采用pipeline方式進行處理，源端數據可以來自多個組件，kafka，directory，mysql，redis等，pipeline的destination也可以有豐富的終端組件，kafka，directory，mysql，redis，hdfs等，中間處理節點也有很多豐富的節點，待會兒搭建好之后就可以在 http://hadoop03:18630 的瀏覽器右端可以看到。

　　每一個新的組件，我們的看看他長什么樣的？接下來我們就可以在官網進行下載安裝包（https://streamsets.com/opensource/），地址中選擇自己平台需要的版本進行下載。

 

 

 

 

 

 

 

 

　　 StreamSets的官網

https://streamsets.com/

 

 

 

 

 

 

 

 

 

 

https://streamsets.com/products/sdc

 

 

 

 

 

 

 

 

 

 

歡迎大家，加入我的微信公眾號：大數據躺過的坑        人工智能躺過的坑

 

 

 

同時，大家可以關注我的個人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於互聯網和個人學習工作的精華干貨知識，一切來於互聯網，反饋回互聯網。
　　目前研究領域：大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里，每天必須有收獲

 

      對應本平台的討論和答疑QQ群：大數據和人工智能躺過的坑（總群）（161156071）