[轉]CDH QuickStart VM基本使用


https://blog.csdn.net/wiborgite/article/details/78731944

 https://www.cnblogs.com/harrychinese/p/big_data_platform_quickstart.html

https://www.lookfor404.com/cloudera-quickstart-vm-%E9%9B%86%E6%88%90%E4%BA%86%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%99%9A%E6%8B%9F%E6%9C%BA%E9%95%9C%E5%83%8F/

 

CDH 和 Cloudera Manager 是什么

CDH (Cloudera's Distribution, including Apache Hadoop), 是Cloudera發行的Hadoop發行版, 基於Hadoop穩定版, 並集成了許多補丁, 可以直接在生產環境中使用.

Cloudera Manager 是 Cloudera 推出的大數據解決方案, 已經在安裝/配置/監控方面做了大量的工作.它不僅包含CDH, 而且集成了很多常用的組件, 比如 HBASE, Hue, Impala, Kudu, Oozie, Kafka, Sentry, Solr, Spark, YARN, ZooKeeper 等, 它分為兩個版本Cloudera Express 和 Cloudera Enterprise .
Cloudera Express免費使用, Cloudera Enterprise 需要支付費用. Express版本最高支持50個節點, 而且不限制用到生產環境, Enterprise版包含一些非常高級的功能以及官方支持, 對於普通用戶來講, Express就足夠了. http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_feature_differences.html

我推薦: Cloudera Express版

 

前幾天和朋友聊天,他告訴我有一個cloudera-quickstart,這是一個集成了大部分大數據組件的虛擬機鏡像系統,反正就是–不用配置了,包括hadoop,hbase,hive,hue,spark,zookeeper等等,是cloudera定制的版本,還有cloudera的管理組件。我們只需要把鏡像下下來,直接在visualbox或者vmvare里面運行就行。

於是我就自己嘗試了一下vmvare的版本,不過出了問題,主要是內存不足。在這里也提醒一下想用quickstart-vm的朋友,你得保證你的電腦至少有8g的內存,配置越高越好,不然會很卡。

下面記錄一下自己運行cloudera-quickstart-vm的vmvare版本。

下載地址:http://www.cloudera.com/downloads.html

第一個就是quickstart-vm:

quickstart-vm下載

點擊download下載。我下載的是vmvare的版本。PS:下載的時候可能會要求你登陸賬號,注冊一個就好。我得到的下載鏈接是:https://downloads.cloudera.com/demo_vm/vmware/cloudera-quickstart-vm-5.5.0-0-vmware.zip

整個zip大小4g多,本地用迅雷下載速度也快不到哪里去,於是我用百度網盤離線下載,秒下,然后再從百度雲下到本地。

下載完成,解壓。

打開vmvare,點擊菜單欄上的文件–打開,找到剛才解壓的路徑,就能發現有一個vmx文件,打開它。

quickstart-vm虛擬機文件

打開之后,vmvare是這樣的:

打開vmx文件的vmvare

先別急着運行,要先更改虛擬機的配置,你需要把這台虛擬機設置到至少8g內存(這意味着你的電腦需要至少需要8g內存,沒有的話,會非常非常卡,而且一堆錯誤),處理器設置成至少兩個。

vmvare內存和處理器的設置

這時候,可以啟動這台虛擬機了。啟動之后,它會自動啟動火狐瀏覽器,打開一個初始頁面:

quickstart初始界面

怎么進入管理界面呢?

運行桌面的cloudera express命令腳本即可。

如果出現以下錯誤,說明你的虛擬機沒有設置到8g內存和兩個處理器,請設置完畢再重新打開這個虛擬機。

quickstart錯誤

想強制啟動的話,可以在終端運行以下命令:

sudo /home/cloudera/cloudera-manager --express --force

不出意外的話,啟動成功了:

cloudera-quickstart管理組件啟動成功

接下來可以去瀏覽器直接管理了。

打開內置的火狐,輸入網址:http://quickstart.cloudera:7180

登錄賬號:cloudera
登錄密碼:cloudera

登陸之后,就可以看到管理界面了:

cloudera管理界面

可以看到,左邊是整合的大數據工具,點擊對應的下拉按鈕,就可以啟動,關閉,管理這些組件了。

PS:由於電腦內存太小,所以這個整合了所有單機版大數據工具的系統,我用的並不順手,這里僅把過程記錄下來,供大家參考。

PPS:還是乖乖搭環境去了


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM