hadoop商業版本的選擇介紹


記得剛接觸到hadoop的時候跟大部分人一樣都會抱怨hadoop的安裝部署問題,對於一個新手來說這這的是個頭疼的問題,可能需要花費一整天的時間才能把分布式環境安裝配置好。在剛接觸hadoop的一段時間里,可以說對於hadoop的理解一直都是停留在相對較膚淺的層面。后來隨着自己的不斷摸索以及向圈內的前輩大神請教交流(主要是向大神請教學來的),自己對於hadoop的認識以及應用也就更加嫻熟。

作為一個過來人,在這里給新人分享一些關於hadoop版本選擇的問題,希望別像我當時傻乎乎的只知道hadoop1.0.x2.x版本。

 

當前hadoop的發行版本除了Apache的開元版本之外,華為發行版、Intel發行版以及Cloudera發行版等。上面說的這幾個第三方的發行版已經有相對較長的一些時間,除此之外還有最近幾年異軍突起的DKhadoop商業發行版。

國內的大多數公司推出的Hadoop發行版都是收費的,免費的發行版則主要是國外的,比如Apache的發行版、Cloudera發行版等。面對如此多的hadoop版本不免會讓人難以選擇。下面我們就簡單對比一些這些不同版本的優缺點,希望對於新手能夠有所幫助。

Apache發行版:

優點:Apache發行版的優點主要集中表現在它的完全開源免費、社區活躍性以及文檔、資料詳實等方面。

缺點:Apache發行版的缺點也相對較多,具體表現在以下幾個方面:

  1. 復雜的版本管理。版本管理比較混亂,各種版本層出不窮,讓使用者不知所措。
  2. 復雜的集群部署、安裝、配置。通常按照集群需要編寫大量的配置文件,分發到每一台節點上,容易出錯,效率低下。
  3. 復雜的集群運維。對集群的監控,運維,需要安裝第三方的其他軟件,如ganglianagois等,運維難度較大。
  4. 復雜的生態環境。在Hadoop生態圈中,組件的選擇、使用,比如HiveMahoutSqoopFlumeSparkOozie等等,需要大量考慮兼容性的問題,版本是否兼容,組件是否有沖突,編譯是否能通過等。經常會浪費大量的時間去編譯組件,解決版本沖突問題。

第三方發行版本的優缺點:(CDHHDPMapR

優點:第三方發行版本的優點主要有以下幾個:

  1. 基於Apache協議,100%開源;
  2. 相較於原生的hadoop在兼容性、安全型以及穩定性方面有所提升;
  3. 版本管理清晰,更新更快;
  4. 提供了部署、安裝、配置工具,大大提高了集群部署的效率,可以在幾個小時內部署好集群;
  5. 運維簡單。提供了管理、監控、診斷、配置修改的工具,管理配置方便,定位問題快速、准確,使運維工作簡單,有效。

缺點:第三方hadoop發行版的主要缺點就是涉及到廠商鎖定的問題,但這一問題可以通過技術方面解決掉。

DKhadoop發行版:

Dkhadoop發行版是我目前接觸的以及使用一個版本。與市場的其他第三方的發行版本相比較,整合程度要更高,但同樣也保持了開源系統的全部優點。綜合目前使用的情況看,在性能上相較於以往使用的一些第三方hadoop發行版要提升很多的!關於DKhadoop發行版的問題,感興趣的可以自己去查閱收集一些資料看看。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM