Ambari-HDP


文檔說明以及下載路徑
Ambari的安裝路徑
HDP的安裝路徑

 

安裝准備

  ambari分為兩個組件:Server以及Agent;類似於clouderade的CM和agent。

  離線安裝通常的套路就是首先下載離線安裝包:

  http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.0/ambari-2.6.1.0-centos7.tar.gz
  http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos7-rpm.tar.gz
  http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

  通過apache server或者tomcat做成http下載源;在repo文件中進行定義;其中ambari單獨一個repo文件,HDP和HDP-UTILS是放在一個repo文件里面的。然后通過yum install -y來進行直接安裝;

查看的日志路徑
/var/log/ambari-server/ambari-server.log
注意是log,是log,是log,.out文件忽略。

卸載

卸載Ambari
1. 卸載Ambaria的agent節點腳本
1 #!/bin/bash
2 service ambari-agent stop
3 yum remove -y hadoop* zookeeper* smartsense* bigtop* hdp-select* snappy* spark* ranger*
4 yum remove -y ambari-agent
2. 卸載Ambaria的服務器節點
#!/bin/bash
service ambari-server stop
yum -y remove ambari-server.x86_64

   3. 卸載數據庫

如果是為了重裝可以不刪除數據庫;在mysql的執行器里面導入/var/lib/ambari-server/resources/Ambari-DDL-MySQL-DROP.sql來執行,進行刪除表;
安裝hive的時候要注意,如果是選擇新的數據庫,那么你需要在本地的yum源中添加mysql的包;如果選擇已經存在的數據庫中安裝,需要指定庫的相關信息。
而且,需要在執行一下指令來讓ambri-server放置mysql的connector;然后server會自動拷貝到各個agent所在的機器上面。
  ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

Hive安裝一半就可以配置了

  Command failed to run because service Hive has invalid configuration. Review and correct its configuration. First error: Hive Impersonation is enabled for Hive Server2 role 'HiveServer2 (slave1)'. Hive Impersonation should be disabled to enable Hive authorization using Sentry.
  hive在卸載后重新安裝爆了這個錯誤,需要把Impersonation設置為false;這個修改點是次要的,在安裝過程的第一步“Ensuring that the expected software releases are installed on hosts.Successfully completed 1 steps.”里面已經在cm中創建了Hive服務,此時已經可以在cm界面中對hive的屬性進行設置;爆了上面的這個異常,直接進入到hive的configuration頁面進行修改即可。
集群名稱
  在頁面的頂端,Ambari的旁邊就是,后面緊跟着一個左三角箭頭。

 ambari的配置版本

  不要輕易使用將舊的版本“mark as current”,這樣雖然舊版本在當前最大版本+1,但是其內部版本還是小號,這導致通過API獲取最新版本的時候,還是之前的版本,並沒有獲取這個+1的版本。所以我理解,內部版本是不會變化的,基於那個較大內部版本的增長,始終都是大於內部版本較小的那個。

遇到的問題

   failure: repodata/repomd.xml from dockerrepo: [Errno 256] No more mirrors to try. https://yum.dockerproject.org/repo/main/centos/7/repodata/repomd.xml: [Errno 14] curl#6 - "Could not resolve host: yum.dockerproject.org; Unknown error" Desired version (2.6.1.0) of ambari-agent package is not available. Connection to hdp1 closed.
  這個問題是因為安裝機器hdp1的/etc/yum.repo.d路徑下有一個docker.repo文件,這個repo里面定義了一個外網路徑的baseurl引發這個異常;推測應該安裝agent的時候回調用yum clean all 以及yum repolist指令,在分析repo文件的時候引發的異常,將repo文件從該目錄下移走問題解決。
 
policycoreutils-python-2.5-8.el7.x86_64 has missing requires of policycoreutils = ('0', '2.5', '8.el7')
在安裝的過程中還是會有一些包缺失(這里是policycoreutils-python-2.5-8.el7.x86_64包),於是從通過可以上網的虛擬機通過yum install --downloadonly方式下載到本地;然后再拷貝到公司內網的yum源(需要重新做一下yum源);問題解決
resource_management.core.exceptions.Fail: Cannot match package for regexp name hadoop_${stack_version}. Available packages: ['accumulo', 'accumulo-conf-standalone', 'accumulo-source', 'accumulo_2_6_4_0_91', ...
重新安裝之前需要卸載已經安裝的組件 yum remove hadoop*(我之前只是裝到dataNode就失敗,所以只是安裝了hadoop組件,其他不用卸載)
 
第一次安裝失敗,通過retry的方式及進行重新安裝的時候不需要卸載,只要把缺失的內容不上或者修改了,直接retry,上次成功的安裝會自行跳過。
 
File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py", line 546, in format_package_name
raise Fail("Cannot match package for regexp name {0}. Available packages: {1}".format(name, self.available_packages_in_repos))
resource_management.core.exceptions.Fail: Cannot match package for regexp name falcon_${stack_version}
 
這個問題是因為yum安裝的問題;后來我看了一下yum里面的關於ambari的定義,發現請求的是
baseurl=http://hdp0:8081/hdp/
hdp0因為機器重啟了,tomcat服務器沒有隨機已啟動,導致請求8081失敗,啟動tomcat再執行OK了。
 
Illegal capacity of -1.0 for queue root.myqueues
需要為myqueues隊列賦予一個capacity權限。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM