關於open file limit問題解決
如果遇到open file limit問題
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl
修改方法：（1）ulimit -HSn 102400
這只是在當前終端有效，退出之后，open files 又變為默認值。
（2）將ulimit -HSn 102400寫到/etc/profile中，因為每次登錄終端時，都會自動執行/etc/profile。
（3）令修改open files的數值永久生效，則必須修改配置文件：/etc/security/limits.conf. 在這個文件后加上：
* soft nofile 102400
* hard nofile 102400
這種方法需要重啟機器才能生效。
環境：Ubuntu16.04 jdk8
doris編譯：
## 1. 開啟
```bash
docker run -d -it \
--name doris \
--net=host \
-v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2
docker exec -it 514efb88fa99 bash
```
## 2. 修改
```bash
vim /usr/share/maven/conf/settings.xml
```
```xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
```
## 3. 下載
```bash
git clone https://github.com/apache/incubator-doris.git
建議直接下載： https://github.com/baidu-doris/incubator-doris/releases sudo docker cp incubator-doris-DORIS-0.13.12-release.tar.gz 10fc0e2c0608:/root/
```
## 4. 編譯 be fe
```bash
sh build.sh
```
編譯完成后，產出文件在 output/ 目錄中。
5.編譯——broker
cd /root/incubator-doris-DORIS-0.13.12-release/incubator-doris/fs_brokers/apache_hdfs_broker/
sh build.sh
編譯完成后如下圖，產出文件在 output/ 目錄中
集群規划: 原文：https://blog.csdn.net/weixin_42003671/article/details/111282079
可能有小白會問，為啥只有 FE-Follower ，卻沒有FE-Leader？因為Leader是從Follower中選舉出來的，如果自由一個Follower ，那么它就唄選舉為Leader
| hostname | FE-Follower | FE-Observer | BE | mysql |
|---|---|---|---|---|
| 10.218.223.96 | √ | √ | √ | |
| 10.218.223.97 | √ | √ | ||
| 10.218.223.98 | √ |
二、安裝FE-Follower
將源碼編譯生成的 output 下的 fe 文件夾拷貝到 10.218.223.96 指定部署路徑 /opt/doris 下
1.配置文件(priority_networks 的ip要加上網關，不知道自己的網關，用 ip a 查看 )
cd /opt/doris/fe mkdir /opt/doris/fe/doris-meta ####路徑必須、必須、必須提前創建好 vim conf/fe.conf ###############添加下面兩列信息############### ####################開始#################### meta_dir = /opt/doris/fe/doris-meta priority_networks = 10.218.223.96/22 ####################結束####################
2.啟動，日志默認存放在 fe/log/ 目錄下，成功后有守護進程 PaloFe
cd /opt/doris/fe sh
bin/start_fe.sh --daemon
三、安裝BE
將源碼編譯生成的 output 下的 be 文件夾拷貝到 三台機器 指定部署路徑 /opt/doris 下
scp -r output/be/ 10.218.223.96:/opt/doris/ scp -r output/be/ 10.218.223.97:/opt/doris/ scp -r output/be/ 10.218.223.98:/opt/doris/
1.配置文件(每台機器priority_networks寫自己的地址,ip要加上網關，不知道自己的網關，用 ip a 查看 )
cd /opt/doris/be mkdir -p /opt/doris/be/storage ####路徑必須、必須、必須提前創建好 vim conf/be.conf ###############添加下面兩列信息############### ####################開始#################### storage_root_path = /opt/doris/be/storage priority_networks = 10.218.223.96/22 ####################結束####################
2. FE 中添加所有 BE 節點
host 為 FE 所在節點 ip；port 為 fe/conf/fe.conf 中的 query_port；默認使用 root 賬戶，無密碼登錄。進入fe，如果端口沒改，默認是9030
# mysql -h host -P port -uroot mysql -h 10.218.223.96 -P 9030 -uroot
host 為 BE 所在節點 ip；port 為 be/conf/be.conf 中的 heartbeat_service_port
# ALTER SYSTEM ADD BACKEND "host:port"; ALTER SYSTEM ADD BACKEND "10.218.223.96:9050" ; ALTER SYSTEM ADD BACKEND "10.218.223.97:9050" ; ALTER SYSTEM ADD BACKEND "10.218.223.98:9050" ;
3.啟動(三台都操作),日志默認存放在 be/log/ 目錄下
cd /opt/doris/be
sh bin/start_be.sh --daemon
4. 查看be狀態(isAlive 列應為 true)
mysql -h 10.218.223.96 -P 9030 -uroot SHOW PROC '/backends';
四、安裝FS_Broker(三台都裝)
將源碼編譯生成的 output 下的 apache_hdfs_broker文件夾拷貝到 三台機器 指定部署路徑 /opt/doris 下
scp -r output/apache_hdfs_broker/ 10.218.223.96:/opt/doris/ scp -r output/apache_hdfs_broker/ 10.218.223.97:/opt/doris/ scp -r output/apache_hdfs_broker/ 10.218.223.98:/opt/doris/
1. 刪除原來的 hdfs-site.xml 將自己hadoop的core-site.xml和hdfs-site.xml 放到 /opt/doris/apache_hdfs_broker/conf 目錄下
rm -rf conf/hdfs-site.xml
cp /etc/hadoop/conf.cloudera.hdfs/hdfs-site.xml conf/
2.啟動
sh bin/start_broker.sh --daemon
3.添加Broker
host 為 FE 所在節點 ip；port 為 fe/conf/fe.conf 中的 query_port；默認使用 root 賬戶，無密碼登錄。進入fe，如果端口沒改，默認是9030
# mysql -h host -P port -uroot mysql -h 10.218.223.96 -P 9030 -uroot
host 為 Broker 所在節點 ip；port 為 Broker 配置文件中的 broker_ipc_port
# ALTER SYSTEM ADD BROKER broker_name "host1:port1","host2:port2",...; ALTER SYSTEM ADD BROKER broker_name "10.218.223.96:8000","10.218.223.97:8000","10.218.223.98:8000";
4. 查看Broker狀態(isAlive 列應為 true)
SHOW PROC '/brokers';
五、安裝FE-Observer
將源碼編譯生成的 output 下的 fe 文件夾拷貝到 10.218.223.97 指定部署路徑 /opt/doris 下
1.配置文件(priority_networks 的ip要加上網關，不知道自己的網關，用 ip a 查看 )
cd /opt/doris/fe mkdir /opt/doris/fe/doris-meta ####路徑必須、必須、必須提前創建好 vim conf/fe.conf ###############添加下面兩列信息############### ####################開始#################### meta_dir = /opt/doris/fe/doris-meta priority_networks = 10.218.223.97/22 ####################結束####################
2.啟動
host 為 Leader 所在節點 ip, port 為 Leader 的配置文件 fe.conf 中的 edit_log_port。–helper 參數僅在 follower 和 observer 第一次啟動時才需要
cd /opt/doris/fe # sh bin/start_fe.sh --helper host:port --daemon sh bin/start_fe.sh --helper 10.218.223.96:9010--daemon
3.添加Observer
host 為 FE 所在節點 ip；port 為 fe/conf/fe.conf 中的 query_port；默認使用 root 賬戶，無密碼登錄。進入fe，如果端口沒改，默認是9030
# mysql -h host -P port -uroot mysql -h 10.218.223.96 -P 9030 -uroot
host 為 Follower 或 Observer 所在節點 ip，port 為其配置文件 fe.conf 中的 edit_log_port
# ALTER SYSTEM ADD OBSERVER "host:port"; ALTER SYSTEM ADD OBSERVER "10.218.223.97:9010";
六、使用測試 : 參考官網：http://doris.incubator.apache.org/master/zh-CN/getting-started/basic-usage.html#_1-%E5%88%9B%E5%BB%BA%E7%94%A8%E6%88%B7