美團Doris 使用: https://zhuanlan.zhihu.com/p/128068950
官網發布文檔: http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
Apache Doris官方網站:http://doris.incubator.apache.org
Apache Doris Github:https://github.com/apache/incubator-doris
關於open file limit問題解決
如果遇到open file limit問題
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl
修改方法:(1)ulimit -HSn 102400
這只是在當前終端有效,退出之后,open files 又變為默認值。
(2)將ulimit -HSn 102400寫到/etc/profile中,因為每次登錄終端時,都會自動執行/etc/profile。
(3)令修改open files的數值永久生效,則必須修改配置文件:/etc/security/limits.conf 在這個文件后加上:
* soft nofile 102400
* hard nofile 102400
這種方法需要重啟機器才能生效。 (第三種測試無效,建議第二種)
* soft nofile 65535
* hard nofile 65535
* soft noproc 65535
* hard noproc 65535
權限問題:
sudo chown -R sea:sea ./fe
sudo chown -R sea:sea ./be
環境:Ubuntu16.04 jdk8
doris編譯: 或者直接下載: wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/DORIS-0.12.21-release.tar.gz
## 1. 開啟
```bash
docker run -d -it \
--name doris \
--net=host \
-v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2
docker exec -it 514efb88fa99 bash
```
## 2. 修改
```bash
vim /usr/share/maven/conf/settings.xml
```
```xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
```
## 3. 下載
```bash
git clone https://github.com/apache/incubator-doris.git
建議直接下載: https://github.com/baidu-doris/incubator-doris/releases sudo docker cp incubator-doris-DORIS-0.13.12-release.tar.gz 10fc0e2c0608:/root/
```
## 4. 編譯
```bash
sh build.sh
```
編譯完成后,產出文件在 output/
目錄中。
IP 綁定
因為有多網卡的存在,或因為安裝過 docker 等環境導致的虛擬網卡的存在,同一個主機可能存在多個不同的 ip。當前 Doris 並不能自動識別可用 IP。所以當遇到部署主機上有多個 IP 時,必須通過 priority_networks 配置項來強制指定正確的 IP。
priority_networks 是 FE 和 BE 都有的一個配置,配置項需寫在 fe.conf 和 be.conf 中。該配置項用於在 FE 或 BE 啟動時,告訴進程應該綁定哪個IP。示例如下:
priority_networks=10.1.3.0/24 這配置可以使用 ip a 查看
這是一種 CIDR 的表示方法。FE 或 BE 會根據這個配置項來尋找匹配的IP,作為自己的 localIP。
注意:當配置完 priority_networks 並啟動 FE 或 BE 后,只是保證了 FE 或 BE 自身的 IP 進行了正確的綁定。而在使用 ADD BACKEND 或 ADD FRONTEND 語句中,也需要指定和 priority_networks 配置匹配的 IP,否則集群無法建立。舉例:
BE 的配置為:priority_networks=10.1.3.0/24
但是在 ADD BACKEND 時使用的是:ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";
則 FE 和 BE 將無法正常通信。
這時,必須 DROP 掉這個添加錯誤的 BE,重新使用正確的 IP 執行 ADD BACKEND。
FE 同理。
BROKER 當前沒有,也不需要 priority_networks 這個選項。Broker 的服務默認綁定在 0.0.0.0 上。只需在 ADD BROKER 時,執行正確可訪問的 BROKER IP 即可。
單 FE 部署 建議結合官網文檔:http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
編譯doris: 見上面
安裝位置:
/opt/doris
配置文件
(需要創建 palo-meta文件夾)
cd fe
mkdir doris-meta
1) Fe.conf
meta_dir = ${DORIS_HOME}/doris-meta
http_port = 18030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
priority_networks=192.168.18.129/24
2) be.conf
be_port = 9060
be_rpc_port = 9070
webserver_port = 18040
heartbeat_service_port = 9050
brpc_port = 18060
storage_root_path = /storage1/be/data;/storage2/be/data;/storage3/be/data
#storage_root_path = ${DORIS_HOME}/storage
priority_networks=192.168.18.129/24
3) 創建目錄
mkdir -p /storage1/be/data /storage2/be/data /storage3/be/data
啟動fe
cd /opt/doris/fe
sh bin/start_fe.sh --daemon
FE進程啟動進入后台執行。日志默認存放在 fe/log/ 目錄下。如啟動失敗,可以通過查看 fe/log/fe.log 或者 fe/log/fe.out 查看錯誤信息。
連接fe
mysql -h host -P 9030 -uroot
修改root 用戶密碼 (如果需要 ): > set password for 用戶名@localhost = password('新密碼');
其中 host 為 FE 所在節點 ip;port 為 fe/conf/fe.conf 中的 query_port;默認使用 root 賬戶,無密碼登錄。
添加be
ALTER SYSTEM ADD BACKEND “host1:9050”;
ALTER SYSTEM ADD BACKEND “host2:9050”;
ALTER SYSTEM ADD BACKEND “host3:9050”;
(
如果使用多組戶功能,則執行以下命令添加BE:
ALTER SYSTEM ADD FREE BACKEND “host:port”;
)
其中 host 為 BE 所在節點 ip;port 為 be/conf/be.conf 中的 heartbeat_service_port。
-
BE 進程將啟動並進入后台執行。日志默認存放在 be/log/ 目錄下。如啟動失敗,可以通過查看 be/log/be.log 或者 be/log/be.out 查看錯誤信息。
-
查看BE狀態
使用 mysql-client 連接到 FE,並執行
SHOW PROC '/backends';
查看 BE 運行情況。如一切正常,isAlive
列應為true
。
啟動be
cd /opt/doris-0.9.0/be
sh bin/start_be.sh
顯示fe與be狀態
show proc "/frontends";
show proc "/backends";
fe高可用部署 : http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html#%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2