1、CDH 搭建Hadoop在安裝之前(存儲空間規划)

Cloudera Manager的存儲空間規划

最低要求角色： 完全管理員

Cloudera Manager跟蹤許多后台進程中的服務，作業和應用程序的度量標准。所有這些指標都需要存儲。根據組織的大小，此存儲可以是本地或遠程，基於磁盤的，也可以是數據庫，由您或其他位置的其他團隊管理。

大多數系統管理員都知道常見的位置 /var/log/並且這些地點需要有足夠的空間。本主題可幫助您規划Cloudera Manager Server和Cloudera Management Service用於存儲度量標准和數據的存儲需求和數據存儲位置。

未能規划Cloudera Manager Server和Cloudera Management Service的所有組件的存儲需求可能會以下列方式對集群產生負面影響：

• 群集可能無法保留歷史運營數據以滿足內部要求。
• 群集可能會錯過未在所需時間內收集或保留的關鍵審核信息。
• 管理員可能無法研究過去的事件或健康狀況。
• 管理員在需要稍后引用或報告時可能沒有歷史MR1，YARN或Impala使用情況數據。
• 指標收集和圖表可能存在差距。
• 由於將存儲位置填充到100％的容量，群集可能會遇到數據丟失。這種事件的影響可能會影響許多其他組件。

這里的主題是您必須提前構建數據存儲需求。您必須告知操作人員您的每個主機的關鍵數據存儲位置，以便他們可以充分配置您的基礎架構並進行適當的備份。確保在內部構建文檔中記錄發現的需求並運行書籍。

本主題介紹本地磁盤存儲和RDBMS存儲。這種區別既適用於存儲規划，也適用於將角色從一個主機遷移到另一個主機，准備備份以及其他生命周期管理事件。

下表提供了有關每個Cloudera Management服務的詳細信息，以使Cloudera Manager管理員能夠制定適當的存儲和生命周期規划決策。

• Cloudera Manager Server
• Cloudera管理服務
• Cloudera Navigator
• 使用Cloudera Manager進行集群生命周期管理

Cloudera Manager Server

配置主題	Cloudera Manager服務器配置
默認存儲位置	RDBMS： 任何支持的RDBMS。有關更多信息，請參閱CDH和Cloudera Manager支持的數據庫。 磁盤： Cloudera Manager Server本地數據存儲目錄（command_storage_path）在Cloudera Manager Server配置為運行的主機上。Cloudera Manager使用此本地路徑存儲數據，包括命令結果文件。關鍵配置不存儲在此位置。 默認設置： /var/lib/cloudera-scm-server/
存儲配置默認值，最小值或最大值	沒有與此實體相關的直接存儲默認值。
在何處控制數據保留或大小	Cloudera Manager Server數據庫的大小取決於托管主機的數量以及已在群集中運行的離散命令的數量。要在Cloudera Manager Administration Console中配置保留命令的大小，請選擇管理 > 設置，然后編輯以下屬性： 命令驅逐時代 從數據庫中逐出非活動命令的時間長度。 默認是兩年。
規模調整，規划和最佳實踐	Cloudera Manager Server數據庫是Cloudera Manager部署中最重要的配置存儲。此數據庫包含用於定義Cloudera Manager及其托管主機部署的群集，服務，角色和其他必要信息的配置。 確保您執行Cloudera Manager Server數據庫的定期，驗證，遠程存儲的備份。

Cloudera管理服務

Cloudera管理服務 - 活動監視器配置

配置主題	活動監視器
默認存儲位置	任何支持的RDBMS。有關更多信息，請參閱CDH和Cloudera Manager支持的數據庫。
存儲配置默認值/最小值/最大值	默認值：14天的MapReduce（MRv1）作業/任務
在何處控制數據保留或大小	您可以通過配置要保留的數據的天數或小時數來控制活動監視器的存儲使用情況。清除舊數據。 要在Cloudera Manager Administration Console中配置數據保留： 去Cloudera管理服務。 單擊“ 配置”選項卡。 選擇Scope > Activity Monitor或Cloudera Management Service（服務范圍）。 選擇Category > Main。 找到以下屬性或通過在“ 搜索”框中鍵入屬性名稱來搜索它們： 清除這個時代的活動數據 在活動監視器中，當數據達到此年齡時，清除有關MapReduce作業和聚合活動的數據。默認情況下，活動監視器會將有關活動的數據保留336小時（14天）。 清除嘗試此時代的數據 在活動監視器中，當數據達到此年齡時，清除有關MapReduce的數據。由於嘗試數據可能會占用大量數據庫空間，因此您可能希望比活動數據更頻繁地清除它。默認情況下，活動監視器會保留有關336小時（14天）嘗試的數據。 清除此時代的MapReduce服務數據 要保留在活動監視器數據庫中的過去服務級別數據的小時數，例如運行的總插槽數。默認設置是將數據保留336小時（14天）。 單擊“ 保存更改”以提交更改。
規模調整，規划和最佳實踐	活動監視器僅監視MapReduce作業，而不監視YARN應用程序。如果您不再在群集中使用MapReduce（MRv1），則Cloudera Manager 5（或更高版本）或CDH 5（或更高版本）不需要活動監視器。 14天MapReduce活動所需的存儲空間量可能差異很大，直接取決於群集的大小和使用MapReduce的活動級別。在確定群集中MapReduce活動的“穩定狀態”和“突發狀態”時，可能需要調整和重新調整存儲量。 例如，請考慮以下測試群集和用法： 模擬的1000個主機群集，每個主機具有32個插槽 每個活動200次嘗試（任務）的MapReduce作業（作業） 調整此群集的觀察大小： 每次嘗試都需要10分鍾才能完成。 這種使用每天導致大約2萬個工作，總嘗試次數約為500萬。 對於7天的保留期，此活動監視器數據庫需要200 GB。

Cloudera管理服務 - 服務監視器配置

配置主題	服務監視器配置
默認存儲位置	/var/lib/cloudera-service-monitor/ 在配置Service Monitor角色的主機上運行。
存儲配置默認值/最小值/最大值	10 GiB服務時間序列存儲 1 GiB Impala查詢存儲 1 GiB YARN應用程序存儲 總計：約12 GiB（無最大值）
在何處控制數據保留或大小	通過配置可以使用的最大存儲空間量來控制Service Monitor數據增長。 要在Cloudera Manager Administration Console中配置數據保留： 去Cloudera管理服務。 單擊“ 配置”選項卡。 選擇Scope > Service Monitor或Cloudera Management Service（服務范圍）。 選擇Category > Main。 找到propertyName屬性或通過在“搜索”框中鍵入其名稱來搜索它。 時間序列存儲 專用於存儲時間序列和運行狀況數據的大致磁盤空間量。當商店達到其最大尺寸時，它會刪除舊數據，以便為較新的數據騰出空間。磁盤使用率是近似值，因為存儲僅在達到限制時才開始刪除數據。 請注意，Cloudera Manager將時間序列數據存儲在多個不同的數據粒度中，並且這些粒度具有不同的有效保留期。服務監視器不僅將度量標准數據存儲為原始數據點，還將其存儲為十分鍾，每小時，每六小時，每日和每周摘要數據點。原始數據占用分配的存儲空間的大部分，每周摘要消耗最少。原始數據保留的時間最短，而每周匯總點不太可能被刪除。 選擇Cloudera Manager中的Cloudera Management Service > Charts Library選項卡，以獲取有關Service Monitor中如何使用空間的信息。這些預先構建的圖表還顯示有關保留的數據量和每個數據粒度所涵蓋的時間窗口的信息。 Impala存儲 專用於存儲Impala查詢數據的大約磁盤空間量。當商店達到其最大尺寸時，它會刪除舊數據，以便為較新的查詢騰出空間。磁盤使用率是近似值，因為存儲僅在達到限制時才開始刪除數據。 YARN存儲 專用於存儲YARN應用程序數據的大約磁盤空間量。當商店達到其最大尺寸時，它會刪除舊數據，以便為較新的應用程序騰出空間。磁盤使用率是近似值，因為Cloudera Manager僅在達到限制時才開始刪除數據。 單擊“ 保存更改”以提交更改。
規模調整，規划和最佳實踐	服務監視器收集有關群集中已配置角色和服務的指標，還運行活動運行狀況測試。無論閑置和使用期間如何，這些運行狀況測試都會運行，因為它們始終相關。無論集群中的活動級別如何，服務監視器都會收集度量標准和運行狀況測試結果。即使在空閑群集中，此數據也會繼續增長。

Cloudera管理服務 - 主機監控

配置主題	主機監視器配置
默認存儲位置	/var/lib/cloudera-host-monitor/  在主機監視器角色配置為運行的主機上。
存儲配置默認值/最小值/最大值	默認（和最小）：10 GiB主機時間序列存儲
在何處控制數據保留或大小	通過配置可以使用的最大存儲空間量來控制主機監視器數據增長。 請參閱監視數據的數據存儲。 要在Cloudera Manager管理控制台中配置這些數據保留配置屬性，請執行以下操作： 去Cloudera管理服務。 單擊“ 配置”選項卡。 選擇Scope > Host Monitor或Cloudera Management Service（服務范圍）。 選擇Category > Main。 找到每個屬性或通過在“搜索”框中鍵入其名稱來搜索它。 時間序列存儲 專用於存儲時間序列和運行狀況數據的大致磁盤空間量。當商店達到其最大尺寸時，它會刪除舊數據，以便為較新的數據騰出空間。磁盤使用率是近似值，因為存儲僅在達到限制時才開始刪除數據。 請注意，Cloudera Manager將時間序列數據存儲在多個不同的數據粒度中，並且這些粒度具有不同的有效保留期。主機監視器不僅將度量數據存儲 為原始數據點，還將其存儲為十分鍾，一小時，六小時，一天和一周增量的摘要。原始數據占用分配的存儲空間的大部分，每周摘要消耗最少。原始數據保留的時間最短，而每周匯總點不太可能被刪除。 有關如何在主機監視器中使用空間的信息，請參閱Cloudera Manager中的Cloudera Management Service > Charts Library選項卡。這些預先構建的圖表還顯示有關保留的數據量和每個數據粒度所涵蓋的時間窗口的信息。 單擊“ 保存更改”以提交更改。
規模調整，規划和最佳實踐	主機監視器收集有關主機級別項目的指標（例如：磁盤空間使用情況，RAM，CPU使用情況，交換等），並通知主機運行狀況測試。無論群集中的活動級別如何，主機監視器都會收集度量標准和運行狀況測試結果。即使在空閑群集中，此數據也會繼續相當線性增長。

Cloudera管理服務 - 事件服務器

配置主題	事件服務器配置
默認存儲位置	/var/lib/cloudera-scm-eventserver/  在將事件服務器角色配置為運行的主機上。
存儲配置默認值	保留了5,000,000個活動
在何處控制數據保留或最小/最大值	事件服務器使用的存儲空間量受配置它可以保留多少個離散事件的影響。 要在Cloudera Manager Administration Console中配置數據保留， 去Cloudera管理服務。 單擊“ 配置”選項卡。 選擇Scope > Event Server或Cloudera Management Service（服務范圍）。 選擇Category > Main。 編輯以下屬性： 事件服務器存儲中的最大事件數 事件中事件服務器存儲的最大大小。超過此大小時，將從最早的第一個開始刪除事件，直到商店的大小低於此閾值 單擊“ 保存更改”以提交更改。
規模調整，規划和最佳實踐	事件服務器是一個托管的Lucene索引，用於收集集群中發生的相關事件，例如運行狀況測試的結果，日志條目與用於標識感興趣的消息的一組規則匹配時創建的日志事件， 並使其可用於搜索，過濾和其他行動。您可以在Cloudera Manager管理控制台的“ 診斷” >“ 事件”選項卡上查看和過濾事件。您還可以使用Cloudera Manager API輪詢此數據。 注意： Cloudera Management Service角色Alert Publisher通過定期輪詢事件服務器以查找標記為使用SNMP或SMTP（S）發送的條目來獲取其工作的所有內容。不討論Alert Publisher，因為它沒有自己的值得注意的存儲要求。

Cloudera管理服務 - 報告管理器

配置主題	報告管理器配置
默認存儲位置	RDBMS： 任何支持的RDBMS。有關更多信息，請參閱CDH和Cloudera Manager支持的數據庫。 磁盤： /var/lib/cloudera-scm-headlamp/  在報告管理器角色配置為運行的主機上。
存儲配置默認值	RDBMS： 沒有可配置的參數來直接控制該數據集的大小。 磁盤： 沒有可配置的參數來直接控制該數據集的大小。存儲利用率不僅取決於HDFS fsimage的大小，還取決於HDFS文件路徑的復雜性。較長的文件路徑有助於提高空間利用率。
在何處控制數據保留或最小/最大值	Reports Manager在兩個主要位置使用空間：Reports Manager主機及其支持數據庫。Cloudera建議數據庫位於與Reports Manager主機不同的主機上，以實現進程隔離和性能。
規模調整，規划和最佳實踐	Reports Manager 從NameNode 下載fsimage（默認情況下每60分鍾一次）並將其存儲在本地以執行操作，包括索引HDFS文件系統結構。更多文件和目錄會導致更大的fsimage，從而占用更多磁盤空間。 Reports Manager無法控制fsimage的大小。如果您的HDFS總使用量明顯上升或者您在HDFS中添加了過長的路徑，則可能需要重新訪問並調整分配給Reports Manager的本地存儲量。定期監視，查看和調整本地存儲分配。

Cloudera Navigator

Cloudera Navigator - Navigator Audit Server

配置主題	Navigator Audit Server配置
默認存儲位置	任何支持的RDBMS。有關更多信息，請參閱CDH和Cloudera Manager支持的數據庫。
存儲配置默認值	默認值：90天保留期
在何處控制數據保留或最小/最大	Navigator Audit Server存儲使用情況通過配置可保留的數據天數來控制。清除任何舊數據。 要在Cloudera Manager Administration Console中配置數據保留： 去Cloudera管理服務。 單擊“ 配置”選項卡。 選擇Scope > Navigator Audit Server或Cloudera Management Service（服務范圍）。 選擇Category > Main。 找到“ 導航器審核服務器數據過期時間”屬性，或通過在“搜索”框中鍵入其名稱來搜索它。 Navigator Audit Server數據到期時間 在Navigator Audit Server中，當數據達到此年齡（以天為單位）時，清除各種可審計服務的審計數據。默認情況下，Navigator Audit Server會將有關審核的數據保留90天。 單擊“ 保存更改”以提交更改。
規模調整，規划和最佳實踐	Navigator Audit Server數據庫的大小直接取決於集群的審計服務生成的審計事件的數量。通常，HDFS審核的數量超過了其他審核的數量（從HDFS讀取的所有其他組件，如MRv1，Hive和Impala，這會產生額外的審核事件）。 離散HDFS審核事件的平均大小約為1 KB。對於每小時生成約100K審計事件的50台主機的繁忙集群，Navigator Audit Server數據庫每天將消耗約2.5 GB。要在該級別保留90天的審核，請規划大約250 GB的數據庫大小。如果其他已配置的群集服務生成的數據與HDFS審核的數據量大致相同，則計划導航器審核服務器數據庫在90天的數據中需要大約500 GB的存儲空間。 筆記： 單個Hive和Impala查詢本身可能非常大。由於查詢本身是審計事件的一部分，因此此類審計事件會占用與查詢長度成比例的空間。 隨着群集上的活動增加，所需的空間量也會增加。在某些情況下，Navigator Audit Server數據庫可以在90天的審核事件中超過1 TB。定期對集群進行基准測試並進行相應調整 要將Cloudera Navigator版本映射到Cloudera Manager版本，請參閱Cloudera Navigator的產品兼容性矩陣。

Cloudera Navigator - Navigator Metadata Server

配置主題	Navigator元數據服務器配置
默認存儲位置	RDBMS： 任何支持的RDBMS。有關更多信息，請參閱CDH和Cloudera Manager支持的數據庫。 磁盤： /var/lib/cloudera-scm-navigator/  在導航器元數據服務器角色配置為運行的主機上。
存儲配置默認值	RDBMS： 沒有公開的默認值或配置來直接剔除或清除此數據集的大小。 磁盤： 沒有配置默認值來影響此位置的大小。您可以使用Navigator Metadata Server Storage Dir屬性更改位置本身。此位置中的數據大小取決於系統中的元數據量（HDFS fsimage大小，Hive Metastore大小）和系統上的活動（運行MapReduce作業的數量，執行Hive查詢等）。
在何處控制數據保留或最小/最大	RDBMS： 應仔細調整Navigator Metadata Server數據庫以支持大量元數據。 磁盤： Navigator Metadata Server索引（嵌入式Solr實例）可能會在為Navigator Metadata Server Storage Dir屬性指定的位置消耗大量磁盤空間。正在進行的維護任務包括從系統中清除元數據。
規模調整，規划和最佳實踐	記憶： 請參見Navigator Metadata Server調整。 RDBMS： 該數據庫用於存儲策略和授權數據。數據集很小，但在Solr模式升級期間也使用此數據庫，其中Solr文檔被提取並再次插入到Solr中。這與上述用例具有相同的空間要求，但該空間僅在產品升級期間暫時使用。 使用Cloudera Navigator產品兼容性矩陣的產品兼容性矩陣來映射Cloudera Navigator和Cloudera Manager版本。 磁盤： 此文件系統位置包含從托管集群中提取的所有元數據。數據存儲在Solr中，因此這是Solr存儲其索引和文檔的位置。根據群集的大小，此數據可能占用數十GB。一個指導原則是查看HDFS fsimage的大小，並將該大小分配為初始大小的兩到三倍。此處的數據是增量的，並且隨着在群集上執行活動而繼續增長。增長率可以達到每天數十兆字節。

一般表現說明

如果可能：

• 對於使用RDBMS的實體，請將數據庫安裝在與服務不同的主機上，並在盡可能少的服務器上合並使用數據庫的角色。

• 為RDBMS或數據存儲數據目錄提供專用主軸，以避免與其他讀/寫活動的磁盤爭用。

使用Cloudera Manager進行集群生命周期管理

使用parcel提供CDH和其他組件的Cloudera Manager集群在以下位置需要足夠的磁盤空間：

包裹生命周期管理

宗地生命周期路徑（默認）	筆記
本地包裹存儲庫路徑（ /opt/cloudera/parcel-repo ）	此路徑僅存在於Cloudera Manager Server所在的主機上（cloudera-scm-server)跑。Cloudera Manager Server會在此位置對所有新parcel進行分段，因為它從任何外部存儲庫中獲取它們。然后，當管理員使用Cloudera Manager Administration Console或Cloudera Manager API分發parcel時，Cloudera Manager Agents將被指示從此位置獲取parcel。 規模和規划 默認位置是  /opt/cloudera/parcel-repo 但您可以在運行Cloudera Manager Server的主機上配置另一個本地文件系統位置。請參閱宗地 配置設置 。 提供足夠的空間來容納從所有已配置的遠程包裹存儲庫URL下載的所有宗地（請參閱宗地配置設置）。管理多個群集的Cloudera Manager部署存儲所有群集的所有適用宗地。 為每個操作系統提供了包裹，因此請注意，異構群集（群集中表示的不同操作系統）比具有同類操作系統的群集需要更多空間。 例如，具有RHEL6.x和7.x主機的群集必須在本地宗地存儲庫路徑中保留-el6和-el7個宗地，這需要兩倍的空間量。 生命周期管理和最佳實踐 從Cloudera Manager管理控制台中刪除任何不再使用的包（從不從命令行手動刪除它們），以恢復本地包存儲庫路徑中的磁盤空間，同時跨所有包含該包的托管群集主機。 備份注意事項 定期備份此路徑，並將其視為備份Cloudera Manager Server的非可選附件。如果將Cloudera Manager Server遷移到新主機或從備份中恢復（例如，在硬件故障后），請將此路徑的完整內容恢復到新主機， /opt/cloudera/parcel-repo 目錄開始之前  cloudera-scm-agent 要么  cloudera-scm-server  流程。
包裹緩存（ /opt/cloudera/parcel-cache ）	運行Cloudera Manager Agent階段的托管主機將分發分發到此路徑中（如 .parcel 文件，未提取）。不要手動操作此目錄或其文件。 規模和規划 為每個主機提供足夠的空間來容納分配給每個主機的所有包裹。 您可以配置Cloudera Manager以刪除這些緩存 .parcel 提取並放入文件后的文件  /opt/cloudera/parcels/ 。保留這些臨時文件並不是強制性的，但保留它們可以避免轉移文件 。包  如果您因任何原因需要再次提取包裹，請從Cloudera Manager Server存儲庫獲取文件。 要在Cloudera的Manager管理控制台配置此行為，選擇管理 > 設置 > 包裹 > 保留下載的文件包
主機包裹目錄（ /opt/cloudera/parcels ）	運行Cloudera Manager Agent的托管群集主機從中提取parcel  /opt/cloudera/parcel-cache 包裹激活后進入此路徑的目錄。許多關鍵系統符號鏈接指向此路徑中的文件，您絕不應手動操作其內容。 規模和規划 在每台主機上提供足夠的空間，以容納您分配給每台主機的所有包裹。請注意，典型的CDH包裹大小約為每個包裹2 GB，而某些第三方包裹可能超過3 GB。如果在升級之前和之后維護各種版本的parcel，請注意磁盤空間的影響。 您可以將Cloudera Manager配置為在舊包裹不再使用時自動刪除它們。作為管理員，您始終可以手動刪除未使用的包裹版本，但配置這些設置可以自動處理刪除，以防您忘記。 要在Cloudera Manager Administration Console中配置此行為，請選擇管理 > 設置 > 包裹並配置以下屬性： 自動刪除舊包裹 此參數控制是否應在群集不再使用時從群集中刪除舊版本激活產品的宗地。 默認值為Disabled。 要保留的舊宗地版本數 如果啟用“ 自動刪除舊地塊”，則此設置指定要保留的舊地塊的數量。超出此值的任何舊宗地都將被刪除。如果此屬性設置為零，則不會保留舊的宗地。 默認值為3。

管理服務生命周期 - 空間回收任務

任務	描述
活動監視器（一次性）	活動監視器僅適用於MapReduce（MR1）服務，而不是YARN。因此，如果您的部署已完全遷移到YARN並且不再使用MapReduce（MR1）服務，則您的Activity Monitor數據庫不再增長。如果您等待的時間超過默認的活動監視器保留期（14天）以解決此問題，那么活動監視器已經為您清除了所有內容，並且您的數據庫基本上是空的。如果您的部署滿足這些條件，請考慮通過刪除活動監視器數據庫進行清理（僅當您確信不再需要數據或已確認不再使用該數據時）和活動監視器角色。
服務監視器和主機監視器（一次性）	對於那些使用Cloudera Manager 4.x版並且現在已升級到版本5.x的用戶：服務監視器和主機監視器已從先前配置的RDBMS遷移到專用的時間序列存儲，這些存儲分別僅由這些角色中的每個角色使用。發生這種情況后，這些角色的配置中仍然存在遺留數據庫連接信息。這用於允許初始遷移，但不再用於任何活動工作。 上述遷移發生后，不再使用以前由服務監視器和主機監視器使用的RDBMS數據庫。這些數據庫占用的空間現在可以恢復。如果適合您的環境（並且您對長期備份感到滿意或者不再需要磁盤上的數據），則可以刪除這些數據庫。
正在進行的空間填海工程	Cloudera Management Services會在后台自動匯總，清除或整合老化數據。配置每個角色的保留和清除限制，以控制發生這種情況的方式和時間。以上是每個實體討論的這些配置。調整默認配置以滿足您的空間限制或保留需求。

日志文件

所有CDH群集主機都會為分配給主機的每個角色實例寫出單獨的日志文件。群集管理員可以監視和管理這些角色使用的磁盤空間，並配置日志輪換以防止日志文件占用過多磁盤空間。

有關更多信息，請參閱管理日志文件的磁盤空間。

結論

請記住這些信息，以便規划和構建Cloudera Manager管理的集群的部署。如果您已有實時群集，則此生命周期和備份信息可幫助您保持關鍵監視，審核和元數據源的安全和正確備份。