1. 硬件准備 使用了五台機器,其中兩台8c16g,三台4c8g。一台4c8g用於搭建cmServer和NFS服務端,另外4台作為cloudera-manager agent部署CDH集群。 ip 主要服務/角色 hostname(hosts ...
1. 硬件准備 使用了五台機器,其中兩台8c16g,三台4c8g。一台4c8g用於搭建cmServer和NFS服務端,另外4台作為cloudera-manager agent部署CDH集群。 ip 主要服務/角色 hostname(hosts ...
一.准備工作 離線部署: a. MySQL離線部署 b. CM離線部署 c. Parcel⽂文件離線源部署 規划: 節點 MySQL組件 Parcel文件離線源 CM服務進程 大數據組件 ...
CDH:全稱Cloudera’s Distribution Including Apache Hadoop CDH版本衍化hadoop是一個開源項目,所以很多公司在這個基礎進行商業化,Cloudera對hadoop做了相應的改變。 Cloudera公司的發行版 ...
基於Docker部署ETCD集群 關於ETCD要不要使用TLS? 首先TLS的目的是為了鑒權為了防止別人任意的連接上你的etcd集群。其實意思就是說如果你要放到公網上的ETCD集群,並開放端口,我建議你一定要用TLS。如果你的ETCD集群跑在一個內網環境比如(VPC環境 ...
利用docker可以很方便的在一台機子上搭建kafka集群並進行測試。為了簡化配置流程,采用docker-compose進行進行搭建。 kafka搭建過程如下: 編寫docker-compose.yml文件,內容如下: 創建子網 docker ...
172.17.48.194(主) 172.17.48.195(從) 172.17.48.196(從) 172.17.48.197(從) 1.初始化一個集群的master服務器 docker swarm init ...
上一篇,我們搭建了 kafka 單節點 回顧,現在我們要搭建集群。 在開始之前,先把單節點那套用 docker-compose -f docker-compose-single-broker.yml down 清理掉 1.定義 docker ...
寫在前面 抽空來更新一下大數據的玩意兒了,起初架構選型的時候有考慮Hadoop那一套做數倉,但是Hadoop要求的服務器數量有點高,集群至少6台或以上,所以選擇了Clickhouse(后面簡稱CH)。CH做集群的話,3台服務器起步就可以的,當然,不是硬性,取決於你的zookeeper做不做 ...