Doris 初識 -安裝


美團Doris 使用: https://zhuanlan.zhihu.com/p/128068950

官網發布文檔: http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html

Apache Doris官方網站:

Apache Doris Github:

 

關於open file limit問題解決

如果遇到open file limit問題

Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl

修改方法:
(1)ulimit -HSn 102400
這只是在當前終端有效,退出之后,open files 又變為默認值。
(2)將ulimit -HSn 102400寫到/etc/profile中,因為每次登錄終端時,都會自動執行/etc/profile。
(3)令修改open files的數值永久生效,則必須修改配置文件:/etc/security/limits.conf  在這個文件后加上:
* soft nofile 102400
* hard nofile 102400
這種方法需要重啟機器才能生效。 (第三種測試無效,建議第二種)
新裝的linux 默認只有1024 ,當作負載較大的服務器時,很容易遇到error: too many open files。因此,需要將其改大,在/etc/security/limits.conf最后增加:
*               soft    nofile           65535
*               hard   nofile           65535
*               soft    noproc         65535
*               hard   noproc         65535

 

 
 

 

 

 

權限問題:

 sudo  chown  -R    sea:sea   ./fe   

 sudo  chown  -R    sea:sea   ./be  

 

環境:Ubuntu16.04  jdk8

 doris編譯: 或者直接下載:  wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/DORIS-0.12.21-release.tar.gz

## 1. 開啟
```bash
docker run -d -it \
--name doris \
--net=host \
-v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2

docker exec -it 514efb88fa99 bash
```

## 2. 修改
```bash
vim /usr/share/maven/conf/settings.xml
```
```xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
```

## 3. 下載
```bash
git clone https://github.com/apache/incubator-doris.git

建議直接下載: https://github.com/baidu-doris/incubator-doris/releases     sudo docker cp  incubator-doris-DORIS-0.13.12-release.tar.gz  10fc0e2c0608:/root/    
```

## 4. 編譯
```bash
sh build.sh
```

編譯完成后,產出文件在 output/ 目錄中。

 

IP 綁定

因為有多網卡的存在,或因為安裝過 docker 等環境導致的虛擬網卡的存在,同一個主機可能存在多個不同的 ip。當前 Doris 並不能自動識別可用 IP。所以當遇到部署主機上有多個 IP 時,必須通過 priority_networks 配置項來強制指定正確的 IP。

priority_networks 是 FE 和 BE 都有的一個配置,配置項需寫在 fe.conf 和 be.conf 中。該配置項用於在 FE 或 BE 啟動時,告訴進程應該綁定哪個IP。示例如下:

priority_networks=10.1.3.0/24       這配置可以使用 ip  a  查看

這是一種 CIDR 的表示方法。FE 或 BE 會根據這個配置項來尋找匹配的IP,作為自己的 localIP。

注意:當配置完 priority_networks 並啟動 FE 或 BE 后,只是保證了 FE 或 BE 自身的 IP 進行了正確的綁定。而在使用 ADD BACKEND 或 ADD FRONTEND 語句中,也需要指定和 priority_networks 配置匹配的 IP,否則集群無法建立。舉例:

BE 的配置為:priority_networks=10.1.3.0/24

但是在 ADD BACKEND 時使用的是:ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";

則 FE 和 BE 將無法正常通信。

這時,必須 DROP 掉這個添加錯誤的 BE,重新使用正確的 IP 執行 ADD BACKEND。

FE 同理。

BROKER 當前沒有,也不需要 priority_networks 這個選項。Broker 的服務默認綁定在 0.0.0.0 上。只需在 ADD BROKER 時,執行正確可訪問的 BROKER IP 即可。

 

 

 

單 FE 部署    建議結合官網文檔:http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
編譯doris: 見上面
安裝位置:
/opt/doris

配置文件
(需要創建 palo-meta文件夾)
cd fe
mkdir doris-meta
1) Fe.conf

meta_dir = ${DORIS_HOME}/doris-meta

http_port = 18030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
priority_networks=192.168.18.129/24

 

 

2) be.conf

be_port = 9060
be_rpc_port = 9070
webserver_port = 18040
heartbeat_service_port = 9050
brpc_port = 18060

storage_root_path = /storage1/be/data;/storage2/be/data;/storage3/be/data
#storage_root_path = ${DORIS_HOME}/storage

priority_networks=192.168.18.129/24 

 

3) 創建目錄

mkdir -p   /storage1/be/data  /storage2/be/data   /storage3/be/data

 

啟動fe
cd /opt/doris/fe
sh bin/start_fe.sh --daemon

FE進程啟動進入后台執行。日志默認存放在 fe/log/ 目錄下。如啟動失敗,可以通過查看 fe/log/fe.log 或者 fe/log/fe.out 查看錯誤信息。

 

 

連接fe
mysql -h host -P 9030 -uroot

修改root 用戶密碼 (如果需要 ):   >   set password for 用戶名@localhost = password('新密碼');  

其中 host 為 FE 所在節點 ip;port 為 fe/conf/fe.conf 中的 query_port;默認使用 root 賬戶,無密碼登錄。 

 

 

添加be
ALTER SYSTEM ADD BACKEND “host1:9050”;
ALTER SYSTEM ADD BACKEND “host2:9050”;
ALTER SYSTEM ADD BACKEND “host3:9050”;
(
如果使用多組戶功能,則執行以下命令添加BE:
ALTER SYSTEM ADD FREE BACKEND “host:port”;
)

其中 host 為 BE 所在節點 ip;port 為 be/conf/be.conf 中的 heartbeat_service_port。

  • BE 進程將啟動並進入后台執行。日志默認存放在 be/log/ 目錄下。如啟動失敗,可以通過查看 be/log/be.log 或者 be/log/be.out 查看錯誤信息。

  • 查看BE狀態

    使用 mysql-client 連接到 FE,並執行 SHOW PROC '/backends'; 查看 BE 運行情況。如一切正常,isAlive 列應為 true

 

 

 

啟動be
cd /opt/doris-0.9.0/be
sh bin/start_be.sh  

顯示fe與be狀態
show proc "/frontends";
show proc "/backends";

 

 

fe高可用部署 :   http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html#%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2
 

 

 

 
 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM