MySQL Cluster NDB(Mysql 集群)

一、MySQL Cluster概述

MySQL Cluster 是MySQL適合於分布式計算環境的高實用、高冗余版本。它采用了NDB Cluster 存儲引擎，允許在1個 Cluster 中運行多個MySQL服務器。在MyQL 5.0及以上的二進制版本中、以及與最新的Linux版本兼容的RPM中提供了該存儲引擎。（注意，要想獲得MySQL Cluster 的功能，必須安裝 mysql-server 和 mysql-cluster RPM）。

目前能夠運行MySQL Cluster 的操作系統有Linux、Mac OS X和Solaris（一些用戶通報成功地在FreeBSD上運行了MySQL Cluster ，但MySQL AB公司尚未正式支持該特性）。

MySQL Cluster 是一種分布式設計，目標是要達到沒有任何單點故障點。因此，任何組成部分都應該擁有自己的內存和磁盤。該技術允許在無共享的系統中部署“內存中”數據庫的 Cluster ，任何共享存儲方案如網絡共享，網絡文件系統和SAN設備是不推薦或不支持的。通過 無共享體系結構，系統能夠使用廉價的硬件，而且對軟硬件無特殊要求。通過這種冗余設計，MySQL聲稱數據的可用度可以達到99.999%。

 

MySQL Cluster 由一組計算機構成，每台計算機上均運行着多種進程，包括MySQL服務器，NDB Cluster 的數據節點，管理服務器，以及（可能）專門的數據訪問程序。關於 Cluster 中這些組件的關系，請參見下圖：

 

 所有的這些節點構成一個完成的MySQL集群體系。數據保存在“NDB存儲服務器”的存儲引擎中，表（結構）則保存在“MySQL服務器”中。應用程序通過“MySQL服務器”訪問這些數據表，集群管理服務器通過管理工具(ndb_mgmd)來管理“NDB存儲服務器”。

 

二、MySQL Cluster 基本概念

NDB是一種“內存中”的存儲引擎，它具有可用性高和數據一致性好的特點。

MySQL Cluster 能夠使用多種故障切換和負載平衡選項配置NDB存儲引擎。MySQL Cluster的NDB存儲引擎包含完整的數據集，僅取決於 Cluster本身內的其他數據。

目前，MySQL Cluster的 Cluster部分可獨立於MySQL服務器進行配置。在MySQL Cluster中， Cluster的每個部分被視為1個節點。

• 管理(MGM)節點：這類節點的作用是管理MySQL Cluster內的其他節點，如提供配置數據、啟動並停止節點、運行備份等。由於這類節點負責管理其他節點的配置，應在啟動其他節點之前首先啟動這類節點。MGM節點是用命令“ndb_mgmd”啟動的
• 數據節點：這類節點用於保存 Cluster的數據。數據節點的數目與副本的數目相關，是片段的倍數。例如，對於兩個副本，每個副本有兩個片段，那么就有4個數據節點。不過沒有必要設置多個副本。數據節點是用命令“ndbd”啟動的。
• SQL節點：這是用來訪問 Cluster數據的節點。對於MySQL Cluster，客戶端節點是使用NDB Cluster存儲引擎的傳統MySQL服務器。通常，SQL節點是使用命令“mysqld –ndbcluster”啟動的，或將“ndbcluster”添加到“my.cnf”后使用“mysqld”啟動。

注釋：在很多情況下，術語“節點”用於指計算機，但在討論MySQL Cluster時，它表示的是進程。在單台計算機上可以有任意數目的節點，為此，我們采用術語“ Cluster主機”。

管理服務器(MGM節點)負責管理 Cluster配置文件和 Cluster日志。 Cluster中的每個節點從管理服務器檢索配置數據，並請求確定管理服務器所在位置的方式。當數據節點內出現新的事件時，節點將關於這類事件的信息傳輸到管理服務器，然后，將這類信息寫入 Cluster日志。

此外，可以有任意數目的 Cluster客戶端進程或應用程序。它們分為兩種類型：

• 標准MySQL客戶端：對於MySQL Cluster，它們與標准的（非 Cluster類）MySQL沒有區別。換句話講，能夠從用PHP、Perl、C、C++、Java、Python、Ruby等編寫的現有MySQL應用程序訪問MySQL Cluster。
• 管理客戶端：這類客戶端與管理服務器相連，並提供了啟動和停止節點、啟動和停止消息跟蹤（僅調試版本）、顯示節點版本和狀態、啟動和停止備份等的命令。

 

三、NDB的安裝和配置

節點(用途)	IP地址(主機名)
管理節點(MGM)	192.168.0.55
SQL節點1(SQL1)	192.168.0.56
SQL節點2(SQL2)	192.168.0.57
數據節點1(NDBD1)	192.168.0.58
數據節點2(NDBD2)	192.168.0.59

 

 

1.安裝Mysql server（如果已經安裝，則可略過此步驟）

$wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.59.tar.gz/from/http://mysql.cs.pu.edu.tw/
$tar -xzvf mysql-5.1.59.tar.gz
$cd mysql-5.1.59
$./configure --with-charset=utf8 --with-collation=utf8_bin --with-extra-charsets=gbk,gb2312,big5,utf8,binary,ascii 
                 --prefix=/usr/local/mysql  --with-plugins=partition,ndbcluster
$make 
$make install

執行上述./configure時可能報錯：

checking for termcap functions library... configure: error: No curses/termcap library found

使用如下方式解決：

$wget http://ftp.gnu.org/pub/gnu/ncurses/ncurses-5.6.tar.gz
$tar -xzvf ncurses-5.6.tar.gz
$cd ncurses-5.6
$./configure --prefix=/usr --without-debug --with-shared
$make &make install
$/etc/init.d/mysql start  #啟動mysql服務器

2.安裝Mysql Cluster

$wget http://dev.mysql.com/get/Downloads/MySQL-Cluster-7.1/mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23.tar.gz/from/http://mysql.ntu.edu.tw/
$tar -xzvf mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23.tar.gz
$mv mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23/ /usr/local/mysql-cluster
$cd /usr/local/mysql-cluster
$groupadd mysql 
$useradd -g mysql mysql 
$passwd mysql 
$cd /usr/local/mysql-cluster
$chown -R mysql:mysql . 
$scripts/mysql_install_db --user=mysql 
$cp -rp bin/ndb* /usr/local/bin/

3.配置管理節點(MGMD)

$cp support-files/ndb-config-2-node.ini /etc/ndb_mgmd.ini
$vi /etc/ndb_mgmd.ini
[ndbd default]
NoOfReplicas= 2
MaxNoOfConcurrentOperations= 10000
DataMemory= 80M
IndexMemory= 24M
TimeBetweenWatchDogCheck= 30000
DataDir= /usr/local/mysql-cluster/data
MaxNoOfOrderedIndexes= 512
#設置管理節點服務器
[ndb_mgmd default]
DataDir= /usr/local/mysql-cluster/data #MGM上保存日志的目錄
[ndb_mgmd]
Id=1
HostName= 192.168.0.55
#設置存儲節點服務器(NDB節點)
[ndbd] 
Id= 2
HostName= 192.168.0.56
DataDir=/usr/local/mysql-cluster/data
[ndbd]
Id= 3
HostName= 192.168.0.57
DataDir=/usr/local/mysql-cluster/data
#設置SQL節點服務器
[mysqld]
Id= 5
HostName= 192.168.0.58
[mysqld]#第二個SQL節點
Id= 6
HostName= 192.168.0.59
# 選擇一個未使用的端口
[tcp default]
PortNumber= 63132

4.配置SQL節點

$vi /etc/my.cnf

然后寫入以下內容：

[mysqld]
basedir         = /usr/local/mysql/
datadir         = /usr/local/mysql/data
user            = mysql
port            = 3306
socket          = /tmp/mysql.sock
ndbcluster
ndb-connectstring=192.168.0.55
[MYSQL_CLUSTER]
ndb-connectstring=192.168.0.55

5.配置存儲節點(NDB節點)

$vi /etc/ndbd.cnf

然后寫入以下內容：

[mysqld]
ndbcluster
DataDir=/usr/local/mysql-cluster/data
[MYSQL_CLUSTER]
ndb-connectstring=nodeid=192.168.0.55

四、啟動MySQL Cluster

較為合理的啟動順序是：首先啟動管理節點服務器，然后啟動存儲節點服務器，最后才啟動SQL節點服務器： 1.在管理節點服務器上，執行以下命令啟動MGM節點進程：

$/usr/local/bin/ndb_mgmd -f /etc/ndb_mgmd.ini  --configdir=/usr/local/mysql-cluster
$netstat -ntpl |grep ndb #檢查是否成功

必須用參數“-f”或“--config-file”告訴 ndb_mgm 配置文件所在位置，默認是在ndb_mgmd相同目錄下。
2.在每台存儲節點服務器上，如果是第一次啟動ndbd進程的話，必須先執行以下命令：

$/usr/local/bin/ndbd --initial --defaults-file=/etc/ndbd.cnf

注意，僅應在首次啟動ndbd時，或在備份/恢復數據或配置文件發生變化后重啟ndbd時使用“--initial”參數。因為該參數會使節點刪除由早期ndbd實例創建的、用於恢復的任何文件，包括用於恢復的日志文件。
3.運行以下命令啟動SQL節點服務器：

$mysqld_safe --defaults-file=/etc/my.cnf &

注意：如果你正在使用較早的MySQL版本，你或許會看到引用為‘[mysqld(API)]’的SQL節點。這是一種早期的用法，現已放棄。

 

五、關閉Mysql Cluster

要想關閉 Cluster，可在MGM節點所在的機器上，在Shell中簡單地輸入下述命令：

$/usr/local/bin/ndb_mgm -e shutdown

運行以下命令關閉SQL節點的mysqld服務：

$/usr/local/bin/mysqladmin -uroot shutdown

 

六、操作數據庫

與沒有使用 Cluster的MySQL相比，在MySQL Cluster內操作數據的方式沒有太大的區別。執行這類操作時應記住兩點：

1. 表必須用ENGINE=NDB或ENGINE=NDBCLUSTER選項創建，或用ALTER TABLE選項更改，以使用NDB Cluster存儲引擎在 Cluster內復制它們。如果使用mysqldump的輸出從已有數據庫導入表，可在文本編輯器中打開SQL腳本，並將該選項添加到任何表創建語句，或用這類選項之一替換任何已有的ENGINE（或TYPE）選項。
2. 另外還請記住，每個NDB表必須有一個主鍵。如果在創建表時用戶未定義主鍵，NDB Cluster存儲引擎將自動生成隱含的主鍵。（注釋：該隱含 鍵也將占用空間，就像任何其他的表索引一樣。由於沒有足夠的內存來容納這些自動創建的鍵，出現問題並不罕見）。

 

參考文章：

http://ginge.iteye.com/blog/320205

http://www.linuxidc.com/Linux/2010-04/25588p2.htm

http://blog.itpub.net/post/41982/516838

http://space.itpub.net/101629/viewspace-694325

http://imysql.cn/?q=node/96