mongodb集群搭建（分片+副本）開啟安全認證

關於安全認證得總結：
這個講述的步驟也是先創建超管用戶，關閉服務，然后生成密鑰文件，開啟安全認證，啟動服務

相關概念

先來看一張圖：

從圖中可以看到有四個組件：mongos、config server、shard、replica set。

mongos，數據庫集群請求的入口，所有的請求都通過mongos進行協調，不需要在應用程序添加一個路由選擇器，mongos自己就是一個請求分發中心，它負責把對應的數據請求請求轉發到對應的shard服務器上。在生產環境通常有多mongos作為請求的入口，防止其中一個掛掉所有的mongodb請求都沒有辦法操作。

config server，顧名思義為配置服務器，存儲所有數據庫元信息（路由、分片）的配置。mongos本身沒有物理存儲分片服務器和數據路由信息，只是緩存在內存里，配置服務器則實際存儲這些數據。mongos第一次啟動或者關掉重啟就會從 config server 加載配置信息，以后如果配置服務器信息變化會通知到所有的 mongos 更新自己的狀態，這樣 mongos 就能繼續准確路由。在生產環境通常有多個 config server 配置服務器，因為它存儲了分片路由的元數據，防止數據丟失！

shard，分片（sharding）是指將數據庫拆分，將其分散在不同的機器上的過程。將數據分散到不同的機器上，不需要功能強大的服務器就可以存儲更多的數據和處理更大的負載。基本思想就是將集合切成小塊，這些塊分散到若干片里，每個片只負責總數據的一部分，最后通過一個均衡器來對各個分片進行均衡（數據遷移）。

replica set，中文翻譯副本集，其實就是shard的備份，防止shard掛掉之后數據丟失。復制提供了數據的冗余備份，並在多個服務器上存儲數據副本，提高了數據的可用性， 並可以保證數據的安全性。

仲裁者（Arbiter），是復制集中的一個MongoDB實例，它並不保存數據。仲裁節點使用最小的資源並且不要求硬件設備，不能將Arbiter部署在同一個數據集節點中，可以部署在其他應用服務器或者監視服務器中，也可部署在單獨的虛擬機中。為了確保復制集中有奇數的投票成員（包括primary），需要添加仲裁節點做為投票，否則primary不能運行時不會自動切換primary。

簡單了解之后，我們可以這樣總結一下，應用請求mongos來操作mongodb的增刪改查，配置服務器存儲數據庫元信息，並且和mongos做同步，數據最終存入在shard（分片）上，為了防止數據丟失同步在副本集中存儲了一份，仲裁在數據存儲到分片的時候決定存儲到哪個節點。

環境准備

系統系統 centos6.5
三台服務器：192.168.0.75/84/86
安裝包： mongodb-linux-x86_64-3.4.6.tgz

服務器規划

服務器75	服務器84	服務器86
mongos	mongos	mongos
config server	config server	config server
shard server1 主節點	shard server1 副節點	shard server1 仲裁
shard server2 仲裁	shard server2 主節點	shard server2 副節點
shard server3 副節點	shard server3 仲裁	shard server3 主節點

端口分配：

mongos：20000
config：21000
shard1：27001
shard2：27002
shard3：27003

集群搭建

1、安裝mongodb

#解壓
tar -xzvf mongodb-linux-x86_64-3.4.6.tgz -C /usr/local/
#改名
mv mongodb-linux-x86_64-3.4.6 mongodb

分別在每台機器建立conf、mongos、config、shard1、shard2、shard3六個目錄，因為mongos不存儲數據，只需要建立日志文件目錄即可。

mkdir -p /usr/local/mongodb/conf
mkdir -p /usr/local/mongodb/mongos/log
mkdir -p /usr/local/mongodb/config/data
mkdir -p /usr/local/mongodb/config/log
mkdir -p /usr/local/mongodb/shard1/data
mkdir -p /usr/local/mongodb/shard1/log
mkdir -p /usr/local/mongodb/shard2/data
mkdir -p /usr/local/mongodb/shard2/log
mkdir -p /usr/local/mongodb/shard3/data
mkdir -p /usr/local/mongodb/shard3/log

配置環境變量

vim /etc/profile
# 內容
export MONGODB_HOME=/usr/local/mongodb
export PATH=$MONGODB_HOME/bin:$PATH
# 使立即生效
source /etc/profile

2、config server配置服務器

mongodb3.4以后要求配置服務器也創建副本集，不然集群搭建不成功。

添加配置文件

vi /usr/local/mongodb/conf/config.conf

## 配置文件內容
pidfilepath = /usr/local/mongodb/config/log/configsrv.pid
dbpath = /usr/local/mongodb/config/data
logpath = /usr/local/mongodb/config/log/congigsrv.log
logappend = true
 
bind_ip = 0.0.0.0
port = 21000
fork = true
 
#declare this is a config db of a cluster;
configsvr = true

#副本集名稱
replSet=configs
 
#設置最大連接數
maxConns=20000

啟動三台服務器的config server

mongod -f /usr/local/mongodb/conf/config.conf

登錄任意一台配置服務器，初始化配置副本集

#連接
mongo --port 21000
#config變量
config = {
...    _id : "configs",
...     members : [
...         {_id : 0, host : "192.168.0.75:21000" },
...         {_id : 1, host : "192.168.0.84:21000" },
...         {_id : 2, host : "192.168.0.86:21000" }
...     ]
... }

#初始化副本集
rs.initiate(config)

其中，"_id" : "configs"應與配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 為三個節點的 ip 和 port

3、配置分片副本集(三台機器)

設置第一個分片副本集

配置文件

vi /usr/local/mongodb/conf/shard1.conf

#配置文件內容
#——————————————–
pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid
dbpath = /usr/local/mongodb/shard1/data
logpath = /usr/local/mongodb/shard1/log/shard1.log
logappend = true

bind_ip = 0.0.0.0
port = 27001
fork = true
 
#打開web監控
httpinterface=true
rest=true
 
#副本集名稱
replSet=shard1
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#設置最大連接數
maxConns=20000

啟動三台服務器的shard1 server

mongod -f /usr/local/mongodb/conf/shard1.conf

登陸任意一台服務器，初始化副本集

mongo --port 27001
#使用admin數據庫
use admin
#定義副本集配置，第三個節點的 "arbiterOnly":true 代表其為仲裁節點。
config = {
...    _id : "shard1",
...     members : [
...         {_id : 0, host : "192.168.0.75:27001" },
...         {_id : 1, host : "192.168.0.84:27001" },
...         {_id : 2, host : "192.168.0.86:27001” , arbiterOnly: true }
...     ]
... }
#初始化副本集配置
rs.initiate(config);

設置第二個分片副本集

配置文件

vi /usr/local/mongodb/conf/shard2.conf

#配置文件內容
#——————————————–
pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid
dbpath = /usr/local/mongodb/shard2/data
logpath = /usr/local/mongodb/shard2/log/shard2.log
logappend = true

bind_ip = 0.0.0.0
port = 27002
fork = true
 
#打開web監控
httpinterface=true
rest=true
 
#副本集名稱
replSet=shard2
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#設置最大連接數
maxConns=20000

啟動三台服務器的shard2 server

mongod -f /usr/local/mongodb/conf/shard2.conf

登陸任意一台服務器，初始化副本集

mongo --port 27002
#使用admin數據庫
use admin
#定義副本集配置
config = {
...    _id : "shard2",
...     members : [
...         {_id : 0, host : "192.168.0.75:27002"  , arbiterOnly: true },
...         {_id : 1, host : "192.168.0.84:27002" },
...         {_id : 2, host : "192.168.0.86:27002" }
...     ]
... }

#初始化副本集配置
rs.initiate(config);

設置第三個分片副本集

配置文件

vi /usr/local/mongodb/conf/shard3.conf

#配置文件內容
#——————————————–
pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid
dbpath = /usr/local/mongodb/shard3/data
logpath = /usr/local/mongodb/shard3/log/shard3.log
logappend = true

bind_ip = 0.0.0.0
port = 27003
fork = true
 
#打開web監控
httpinterface=true
rest=true
 
#副本集名稱
replSet=shard3
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#設置最大連接數
maxConns=20000

啟動三台服務器的shard3 server

mongod -f /usr/local/mongodb/conf/shard3.conf

登陸任意一台服務器，初始化副本集

mongo --port 27003
#使用admin數據庫
use admin
#定義副本集配置
config = {
...    _id : "shard3",
...     members : [
...         {_id : 0, host : "192.168.0.75:27003" },
...         {_id : 1, host : "192.168.0.84:27003" , arbiterOnly: true},
...         {_id : 2, host : "192.168.0.86:27003" }
...     ]
... }

#初始化副本集配置
rs.initiate(config);

4、配置路由服務器 mongos

先啟動配置服務器和分片服務器,后啟動路由實例啟動路由實例:（三台機器）

vi /usr/local/mongodb/conf/mongos.conf

#內容
pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid
logpath = /usr/local/mongodb/mongos/log/mongos.log
logappend = true

bind_ip = 0.0.0.0
port = 20000
fork = true

#監聽的配置服務器,只能有1個或者3個 configs為配置服務器的副本集名字
configdb = configs/192.168.0.75:21000,192.168.0.84:21000,192.168.0.86:21000
 
#設置最大連接數
maxConns=20000

啟動三台服務器的mongos server

mongos -f /usr/local/mongodb/conf/mongos.conf

5、啟用分片

目前搭建了mongodb配置服務器、路由服務器，各個分片服務器，不過應用程序連接到mongos路由服務器並不能使用分片機制，還需要在程序里設置分片配置，讓分片生效。

登陸任意一台mongos

mongo --port 20000
#使用admin數據庫
user  admin
#串聯路由服務器與分配副本集
sh.addShard("shard1/192.168.0.75:27001,192.168.0.84:27001,192.168.0.86:27001")
sh.addShard("shard2/192.168.0.75:27002,192.168.0.84:27002,192.168.0.86:27002")
sh.addShard("shard3/192.168.0.75:27003,192.168.0.84:27003,192.168.0.86:27003")
#查看集群狀態
sh.status()

6、測試

目前配置服務、路由服務、分片服務、副本集服務都已經串聯起來了，但我們的目的是希望插入數據，數據能夠自動分片。連接在mongos上，准備讓指定的數據庫、指定的集合分片生效。

#指定testdb分片生效
db.runCommand( { enablesharding :"testdb"});
#指定數據庫里需要分片的集合和片鍵
db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } )

我們設置testdb的 table1 表需要分片，根據 id 自動分片到 shard1 ，shard2，shard3 上面去。要這樣設置是因為不是所有mongodb 的數據庫和表 都需要分片！

測試分片配置結果

mongo  127.0.0.1:20000
#使用testdb
use  testdb;
#插入測試數據
for (var i = 1; i <= 100000; i++)
db.table1.save({id:i,"test1":"testval1"});
#查看分片情況如下，部分無關信息省掉了
db.table1.stats();

{
        "sharded" : true,
        "ns" : "testdb.table1",
        "count" : 100000,
        "numExtents" : 13,
        "size" : 5600000,
        "storageSize" : 22372352,
        "totalIndexSize" : 6213760,
        "indexSizes" : {
                "_id_" : 3335808,
                "id_1" : 2877952
        },
        "avgObjSize" : 56,
        "nindexes" : 2,
        "nchunks" : 3,
        "shards" : {
                "shard1" : {
                        "ns" : "testdb.table1",
                        "count" : 42183,
                        "size" : 0,
                        ...
                        "ok" : 1
                },
                "shard2" : {
                        "ns" : "testdb.table1",
                        "count" : 38937,
                        "size" : 2180472,
                        ...
                        "ok" : 1
                },
                "shard3" : {
                        "ns" : "testdb.table1",
                        "count" :18880,
                        "size" : 3419528,
                        ...
                        "ok" : 1
                }
        },
        "ok" : 1
}

可以看到數據分到3個分片，各自分片數量為： shard1 “count” : 42183，shard2 “count” : 38937，shard3 “count” : 18880。已經成功了！

后期運維

啟動關閉

mongodb的啟動順序是，先啟動配置服務器，在啟動分片，最后啟動mongos.

mongod -f /usr/local/mongodb/conf/config.conf
mongod -f /usr/local/mongodb/conf/shard1.conf
mongod -f /usr/local/mongodb/conf/shard2.conf
mongod -f /usr/local/mongodb/conf/shard3.conf
mongod -f /usr/local/mongodb/conf/mongos.conf

關閉時，直接killall殺掉所有進程

killall mongod
killall mongos

---

---

---

對於搭建好的mongodb副本集加分片集群，為了安全，啟動安全認證，使用賬號密碼登錄。

默認的mongodb是不設置認證的。只要ip和端口正確就能連接，這樣是不安全的。mongodb官網上也說，為了能保障mongodb的安全可以做以下幾個步驟：

1、使用新的端口，默認的27017端口如果一旦知道了ip就能連接上，不太安全

2、設置mongodb的網絡環境，最好將mongodb部署到公司服務器內網，這樣外網是訪問不到的。公司內部訪問使用vpn等

3、開啟安全認證。認證要同時設置服務器之間的內部認證方式，同時要設置客戶端連接到集群的賬號密碼認證方式

環境准備

最簡單的集群是3*3，即三個分片和三個副本集，可以保證高可用，即使一台機器全宕機了，服務仍然能夠正常訪問。

mongodb版本：mongodb-linux-x86_64-rhel70-3.4.9.tgz

操作系統：centos7

三台服務器：10.12.40.82，10.12.40.83，10.12.40.86

10.12.40.82	10.12.40.83	10.12.40.86
mongos：23000	mongos：23000	mongos：23000
config server：23100	config server：23100	config server：23100
shard server1 主節點：23101	shard server1從節點：23101	shard server1 仲裁節點：23101
shard server2從節點：23102	shard server2仲裁節點：23102	shard server2主節點：23102
shard server3仲裁節點：23103	shard server3主節點：23103	shard server3從節點：23103

對副本集執行訪問控制需要配置兩個方面:
1、副本集和共享集群的各個節點成員之間使用內部身份驗證，可以使用密鑰文件或x.509證書。密鑰文件比較簡單，本文介紹的也是使用密鑰文件，官方推薦如果是測試環境可以使用密鑰文件，但是正是環境，官方推薦x.509證書。原理就是，集群中每一個實例彼此連接的時候都檢驗彼此使用的證書的內容是否相同。只有證書相同的實例彼此才可以訪問
2、使用客戶端連接到mongodb集群時，開啟訪問授權。對於集群外部的訪問。如通過可視化客戶端，或者通過代碼連接的時候，需要開啟授權。

下面開始詳細說明：

1、生成密鑰文件

1.1 在keyfile身份驗證中，副本集中的每個mongod實例都使用keyfile的內容作為共享密碼，只有具有正確密鑰文件的mongod或者mongos實例可以連接到副本集。密鑰文件的內容必須在6到1024個字符之間，並且在unix/linux系統中文件所有者必須有對文件至少有讀的權限。
1.2 可以用任何方式生成密鑰文件例如：

openssl rand -base64 756 > /data/mongodb/testKeyFile.file
chmod 400 /data/mongodb/keyfile/testKeyFile.file

第一條命令是生成密鑰文件，第二條命令是使用chmod更改文件權限，為文件所有者提供讀權限

2、將密鑰復制到集群中的每台機器（82，83，86）的指定位置

如：scp -P22 /data/mongodb/testKeyFile.file root@10.12.40.86:/data/mongodb

2.1一定要保證密鑰文件一致。文件位置隨便。但是為了方便查找，建議每台機器都放到一個固定的位置。我的配置文件都放在/data/mongodb/testKeyFile.file

3、預先創建好一個管理員賬號和密碼然后將集群中的所有mongod和mongos全部關閉

賬號可以在集群認開啟認證以后添加。但是那時候添加比較謹慎。只能添加一次，如果忘記了就無法再連接到集群。建議在沒開啟集群認證的時候先添加好管理員用戶名和密碼然后再開啟認證再重啟
連接任意一台機器的mongos

mongo --port 23000

添加用戶

use admin   //注意一定要使用admin數據庫 
db.createUser({user:"your account",pwd:"your password",roles:[{role:"root",db:"admin"}]})

然后依次連接到每一台機器上執行。

killall mongod 
killall mongos

然后刪除每個mongod實例存儲數據存儲路徑下面的mongod.lock（如果后面啟動不報錯可以不處理）

3.1可以發現。集群多少有的節點都關閉了。沒開啟認證的集群如果開啟認證需要集群宕機幾分鍾。當然也有熱啟動的方式，官方文檔中有介紹

說明：可以先開啟認證重啟后再添加用戶。但是只能在admin庫添加一次，所以如果忘記了，或者權限分配不恰當就無法再更改，所以建議先添加用戶再開啟認證重啟，並且集群不建議在每個單節點添加用戶，並且建議單節點關閉初始添加賬號的權限，詳情見enableLocalhostAuthBypass)

4、使用訪問控制強制重新啟動復制集的每個成員

這個步驟比較重要。設置訪問控制有兩種方式。我選擇在配置文件里面配置好。（也可以在啟動命令時使用命令來指定）

4.1依次在每台機器上的mongod（注意是所有的mongod不是mongos）的配置文件中加入下面一段配置。如我在10.12.40.83上的config server，shard1，shard2，shard3都加入下面的配置文件

security:   
  keyFile: /data/mongodb/testKeyFile.file   
  authorization: enabled

4.2依次在每台機器上的mongos配置文件中加入下面一段配置。如我在10.12.40.83上的mongos配置文件中加入上面的一段配置

security:   keyFile: /data/mongodb/testKeyFile.file 

解釋：
mongos比mongod少了authorization：enabled的配置。原因是，副本集加分片的安全認證需要配置兩方面的，副本集各個節點之間使用內部身份驗證，用於內部各個mongo實例的通信，只有相同keyfile才能相互訪問。所以都要開啟keyFile: /data/mongodb/testKeyFile.file

然而對於所有的mongod，才是真正的保存數據的分片。mongos只做路由，不保存數據。所以所有的mongod開啟訪問數據的授權authorization:enabled。這樣用戶只有賬號密碼正確才能訪問到數據

4.3 重啟每個mongo示例。因為我的認證配置在了配置文件里面，所以啟動命令不需要再加認證的參數 (例如--auth等)

mongod -f /data/mongodb/config/configs.config 
mongod -f /data/mongodb/config/shard1.config 
mongod -f /data/mongodb/config/shard2.config 
mongod -f /data/mongodb/config/shard3.config 
mongos -f /data/mongodb/config/mongos.config

依次重啟三台機器的mongod和mongos實例

5、連接mongodb集群

如果用mongo sell腳本連接

mongo --port 23000 
use admin 
db.auth("your account","your password")

如果返回1表示連接成功，然后你就可以訪問自己的數據庫啦~！如use testDB

如果使用mongodb連接工具。我用的是Robo3T。在連接的時候選擇使用authentization