【Mycat】Mycat核心開發者帶你看盡Mycat三大核心配置文件

寫在前面

在分布式數據庫中間件領域，Mycat和ShardingSphere可以說是在開源界有着相當重要的位置，不少小伙伴也在問我：Mycat和sharding-jdbc哪個好呀！其實，就我本身而言，我作為Mycat的開發者，也深度分析過ShardingSphere的源碼。可以這么說：各有各的優勢吧！其實，針對ShardingSphere，我也跟ShardingSphere的創始人亮哥聊過，從他那里確實學到了不少有價值的東西。后續我也可能會寫一部關於分布式數據庫的書籍，也說不定會將Mycat和ShardingSphere寫進去呢。到時肯定是要請亮哥幫我寫推薦序呀！哈哈哈。。。

好了，說了這么多，今天給大家分享下Mycat的三大核心配置文件：server.xml、schema.xml和rule.xml。

server.xml

server.xml幾乎保存了所有mycat需要的系統配置信息。其在代碼內直接的映射類為SystemConfig類。現在就對這個文件中的配置進行相關的介紹

user標簽

<user name="test">
	<property name="password">test</property>
	<property name="schemas">TESTDB</property>
	<property name="readOnly">true</property>
</user>

server.xml中的標簽本就不多，這個標簽主要用於定義登錄mycat的用戶和權限。例如上面的例子中，我定義了一個用戶，用戶名為test、密碼也為test，可訪問的schema也只有TESTDB一個。如果我在schema.xml中定義了多個schema，那么這個用戶是無法訪問其他的schema。在mysql客戶端看來則是無法使用use切換到這個其他的數據庫。如果使用了use命令，則mycat會報出這樣的錯誤提示：ERROR 1044 (HY000): Access denied for user 'test' to database 'xxx'這個標簽嵌套的property標簽則是具體聲明的屬性值，正如上面的例子。我們可以修改user標簽的name屬性來指定用戶名；修改password內的文本來修改密碼；修改readOnly為true 或false來限制用戶是否只是可讀的；修改schemas內的文本來控制用戶可放問的schema；修改schemas內的文本來控制用戶可訪問的schema，同時訪問多個schema的話使用 , 隔開，例如:

<property name="schemas">TESTDB,db1,db2</property>

system標簽

這個標簽內嵌套的所有property標簽都與系統配置有關，請注意，下面我會省去標簽property直接使用這個標簽的name屬性內的值來介紹這個屬性的作用。

defaultSqlParser屬性

由於mycat最初是時候Foundation DB的sql解析器，而后才添加的Druid的解析器。所以這個屬性用來指定默認的解析器。目前的可用的取值有：druidparser和 fdbparser。使用的時候可以選擇其中的一種，目前一般都使用druidparser。

processors屬性

這個屬性主要用於指定系統可用的線程數，默認值為Runtime.getRuntime().availableProcessors()方法返回的值。主要影響processorBufferPool、processorBufferLocalPercent、processorExecutor屬性。NIOProcessor的個數也是由這個屬性定義的，所以調優的時候可以適當的調高這個屬性。

processorBufferChunk屬性

這個屬性指定每次分配Socket Direct Buffer的大小，默認是4096個字節。這個屬性也影響buffer pool的長度。

processorBufferPool屬性

這個屬性指定bufferPool計算 比例值。由於每次執行NIO讀、寫操作都需要使用到buffer，系統初始化的時候會建立一定長度的buffer池來加快讀、寫的效率，減少建立buffer的時間。

兩個主要的buffer池

BufferPool和ThreadLocalPool

BufferPool由ThreadLocalPool組合而成，每次從BufferPool中獲取buffer都會優先獲取ThreadLocalPool中的buffer，未命中之后才會去獲取BufferPool中的buffer。也就是說ThreadLocalPool是作為BufferPool的二級緩存，每個線程內部自己使用的。當然，這其中還有一些限制條件需要線程的名字是由$_開頭。然而，BufferPool上的buffer則是每個NIOProcessor都共享的。默認這個屬性的值為：

默認bufferChunkSize(4096) * processors屬性 *　1000 BufferPool的總長度 =  bufferPool / bufferChunk。

若bufferPool不是bufferChunk的整數倍，則總長度為前面計算得出的商 + 1 假設系統線程數為4，其他都為屬性的默認值，則：

 bufferPool ＝　4096 *　4 * 1000
 BufferPool的總長度 : 4000 = 16384000 / 4096

processorBufferLocalPercent屬性

前面提到了ThreadLocalPool。這個屬性就是用來控制分配這個pool的大小用的，但其也並不是一個准確的值，也是一個比例值。這個屬性默認值為100。

線程緩存百分比 = bufferLocalPercent / processors屬性。

例如，系統可以同時運行4個線程，使用默認值，則根據公式每個線程的百分比為25。最后根據這個百分比來計算出具體的。

ThreadLocalPool的長度公式如下：

ThreadLocalPool的長度 = 線程緩存百分比 * BufferPool長度 / 100

假設BufferPool的長度為 4000，其他保持默認值。
那么最后每個線程建立上的ThreadLocalPool的長度為： 1000 = 25 * 4000 / 100

processorExecutor屬性

這個屬性主要用於指定NIOProcessor上共享的businessExecutor固定線程池大小。mycat在需要處理一些異步邏輯的時候會把任務提交到這個線程池中。新版本中這個連接池的使用頻率不是很大了，可以設置一個較小的值。

sequnceHandlerType屬性

指定使用Mycat全局序列的類型。0為本地文件方式，1為數據庫方式。默認是使用本地文件方式，文件方式主要只是用於測試使用。

TCP連接相關屬性

StandardSocketOptions.SO_RCVBUF
StandardSocketOptions.SO_SNDBUF
StandardSocketOptions.TCP_NODELAY

以上這三個屬性，分別由：

• frontSocketSoRcvbuf 默認值： 1024 * 1024
• frontSocketSoSndbuf 默認值： 4 * 1024 * 1024
• frontSocketNoDelay 默認值： 1
• backSocketSoRcvbuf 默認值： 4 * 1024 * 1024
• backSocketSoSndbuf 默認值： 1024 * 1024
• backSocketNoDelay 默認值： 1

各自設置前后端TCP連接參數。Mycat在每次建立前、后端連接的時候都會使用這些參數初始化連接。可以按系統要求適當的調整這些buffer的大小。TCP連接參數的定義，可以查看Javadoc。
MySQL連接相關屬性初始化mysql前后端連接所涉及到的一些屬性：

• packetHeaderSize : 指定Mysql協議中的報文頭長度。默認4。
• maxPacketSize : 指定Mysql協議可以攜帶的數據最大長度。默認16M。
• idleTimeout : 指定連接的空閑超時時間。某連接在發起空閑檢查下，發現距離上次使用超過了空閑時間，那么這個連接會被回收，就是被直接的關閉掉。默認30分鍾。
• charset : 連接的初始化字符集。默認為utf8。
• txIsolation : 前端連接的初始化事務隔離級別，只在初始化的時候使用，后續會根據客戶端傳遞過來的屬性對后端數據庫連接進行同步。默認為REPEATED_READ。
• sqlExecuteTimeout:SQL執行超時的時間，Mycat會檢查連接上最后一次執行SQL的時間，若超過這個時間則會直接關閉這連接。默認時間為300秒。

周期間隔相關屬性

mycat中有幾個周期性的任務來異步的處理一些我需要的工作。這些屬性就在系統調優的過程中也是比不可少的。

• processorCheckPeriod : 清理NIOProcessor上前后端空閑、超時和關閉連接的間隔時間。默認是1秒。
• dataNodeIdleCheckPeriod : 對后端連接進行空閑、超時檢查的時間間隔，默認是60秒。
• dataNodeHeartbeatPeriod : 對后端所有讀、寫庫發起心跳的間隔時間，默認是10秒。

服務相關屬性

這里介紹一個與服務相關的屬性，主要會影響外部系統對myact的感知。

• bindIp : mycat服務監聽的IP地址，默認值為0.0.0.0。
• serverPort : 定義mycat的使用端口，默認值為8066。
• managerPort : 定義mycat的管理端口，默認值為9066。

schema.xml

schema.xml作為MyCat中重要的配置文件之一，管理着MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置，是正確使用MyCat的前提。這里就一層層對該文件進行解析。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
 
	<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
		<table name="user" dataNode="dn1,dn2" rule="auto-sharding-long" />
		<table name="stat_tcp_stream" dataNode="dn2,dn3" rule="auto-sharding-long" />
	</schema>
	<dataNode name="dn1" dataHost="localhost1" database="mpos_tshark_miner_2014" />
	<dataNode name="dn2" dataHost="localhost2" database="mpos_tshark_miner2014" />
	<dataNode name="dn3" dataHost="localhost3" database="mpos_tshark_hrtel" />
	
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" dbType="mysql" dbDriver="jdbc" writeType="0" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="hostM1" url="jdbc:mysql://192.168.1.150:5029" user="root" password="root"></writeHost>
	</dataHost>
	<dataHost name="localhost2" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc"> 
		<heartbeat> 		</heartbeat>
		 <writeHost host="hostM2" url="jdbc:mysql://192.168.1.150:5029" user="root" 	password="root"></writeHost> 
	 </dataHost>		
	<dataHost name="localhost3" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc"> 
		<heartbeat> 		</heartbeat>
		 <writeHost host="hostM3" url="jdbc:mysql://192.168.1.150:5029" user="root" 	password="root"></writeHost> 
	 </dataHost>		 
</mycat:schema>

schema標簽

dataNode

該屬性用於綁定邏輯庫到某個具體的database上，如果定義了這個屬性，那么這個邏輯庫就不能工作在分庫分表模式下了。也就是說對這個邏輯庫的所有操作會直接作用到綁定的dataNode上，這個schema就可以用作讀寫分離和主從切換，具體如下配置:

<schema name="USERDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
<!—這里不能配置任何邏輯表信息-->
</schema>

那么現在USERDB就綁定到dn1所配置的具體database上，可以直接訪問這個database。當然該屬性只能配置綁定到一個database上，不能綁定多個dn。

checkSQLschema

當該值設置為 true 時，如果我們執行語句 select * from TESTDB.travelrecord; 則MyCat會把語句修改為 select * from travelrecord; 。即把表示schema的字符去掉，避免發送到后端數據庫執行時報 （ERROR 1146 (42S02): Table ‘testdb.travelrecord’ doesn’t exist）。 不過，即使設置該值為 true ，如果語句所帶的是並非是schema指定的名字，例如： select * from db1.travelrecord; 那么MyCat並不會刪除db1這個字段，如果沒有定義該庫的話則會報錯，所以在提供SQL語句的最好是不帶這個字段。

sqlMaxLimit

當該值設置為某個數值時。每條執行的SQL語句，如果沒有加上limit語句，MyCat也會自動的加上所對應的值。例如設置值為100，執行 select * from TESTDB.travelrecord; 的效果為和執行 select * from TESTDB.travelrecord limit 100; 相同。不設置該值的話，MyCat默認會把查詢到的信息全部都展示出來，造成過多的輸出。所以，在正常使用中，還是建議加上一個值，用於減少過多的數據返回。當然SQL語句中也顯式的指定limit的大小，不受該屬性的約束。

table標簽

<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" ></table>

Table 標簽定義了MyCat中的邏輯表，所有需要拆分的表都需要在這個標簽中定義。

name屬性

定義邏輯表的表名，這個名字就如同我在數據庫中執行create table命令指定的名字一樣，同個schema標簽中定義的名字必須唯一。

dataNode屬性

定義這個邏輯表所屬的dataNode, 該屬性的值需要和dataNode標簽中name屬性的值相互對應。如果需要定義的dn過多可以使用如下的方法減少配置：

<table name="travelrecord" dataNode="multipleDn$0-99,multipleDn2$100-199" rule="auto-sharding-long" ></table>
<dataNode name="multipleDn" dataHost="localhost1" database="db$0-99" ></dataNode>
<dataNode name="multipleDn2" dataHost="localhost1" database=" db$0-99" ></dataNode>

這里需要注意的是database屬性所指定的真實database name需要在后面添加一個，例如上面的例子中，我需要在真實的mysql上建立名稱為dbs0到dbs99的database。

rule屬性

該屬性用於指定邏輯表要使用的規則名字，規則名字在rule.xml中定義，必須與tableRule標簽中name屬性屬性值一一對應。

primaryKey屬性

該邏輯表對應真實表的主鍵，例如：分片的規則是使用非主鍵進行分片的，那么在使用主鍵查詢的時候，就會發送查詢語句到所有配置的DN上，如果使用該屬性配置真實表的主鍵。難么MyCat會緩存主鍵與具體DN的信息，那么再次使用非主鍵進行查詢的時候就不會進行廣播式的查詢，就會直接發送語句給具體的DN，但是盡管配置該屬性，如果緩存並沒有命中的話，還是會發送語句給具體的DN，來獲得數據。

type屬性

該屬性定義了邏輯表的類型，目前邏輯表只有“全局表”和”普通表”兩種類型。對應的配置：全局表：global。普通表：不指定該值為globla的所有表。

autoIncrement屬性

MySQL對非自增長主鍵，使用last_insert_id()是不會返回結果的，只會返回0。所以，只有定義了自增長主鍵的表才可以用last_insert_id()返回主鍵值。mycat目前提供了自增長主鍵功能，但是如果對應的mysql節點上數據表，沒有定義auto_increment，那么在mycat層調用last_insert_id()也是不會返回結果的。由於insert操作的時候沒有帶入分片鍵，mycat會先取下這個表對應的全局序列，然后賦值給分片鍵。這樣才能正常的插入到數據庫中，最后使用last_insert_id()才會返回插入的分片鍵值。如果要使用這個功能最好配合使用數據庫模式的全局序列。使用autoIncrement=“true” 指定這個表有使用自增長主鍵，這樣mycat才會不拋出分片鍵找不到的異常。使用autoIncrement=“false” 來禁用這個功能，當然你也可以直接刪除掉這個屬性。默認就是禁用的。

needAddLimit屬性

指定表是否需要自動的在每個語句后面加上limit限制。由於使用了分庫分表，數據量有時會特別巨大。這時候執行查詢語句，如果恰巧又忘記了加上數量限制的話。那么查詢所有的數據出來，也夠等上一小會兒的。所以，mycat就自動的為我們加上LIMIT 100。當然，如果語句中有limit，就不會在次添加了。這個屬性默認為true,你也可以設置成false`禁用掉默認行為。

childTable標簽

childTable標簽用於定義E-R分片的子表。通過標簽上的屬性與父表進行關聯

<table name="customer" primaryKey="ID" dataNode="dn1,dn2"
	rule="sharding-by-intfile">
	<childTable name="orders" primaryKey="ID" joinKey="customer_id"
		parentKey="id">
		<childTable name="order_items" joinKey="order_id"
			parentKey="id" />
	</childTable>
	<childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"
		parentKey="id" />
</table>

name屬性

定義子表的表名。

joinKey屬性

插入子表的時候會使用這個列的值查找父表存儲的數據節點。

parentKey屬性

屬性指定的值一般為與父表建立關聯關系的列名。程序首先獲取joinkey的值，再通過 parentKey 屬性指定的列名產生查詢語句，通過執行該語句得到父表存儲在哪個分片上。從而確定子表存儲的位置。

primaryKey屬性

同table標簽所描述的。

needAddLimit屬性

同table標簽所描述的。

dataNode標簽

<dataNode name="dn1" dataHost="lch3307" database="db1" ></dataNode>

dataNode 標簽定義了MyCat中的數據節點，也就是我們通常說所的數據分片。一個dataNode 標簽就是一個獨立的數據分片。例子中所表述的意思為：使用名字為lch3307數據庫實例上的db1物理數據庫，這就組成一個數據分片，最后，我們使用名字dn1標識這個分片。

name屬性

定義數據節點的名字，這個名字需要是唯一的，我們需要在table標簽上應用這個名字，來建立表與分片對應的關系。

dataHost屬性

該屬性用於定義該分片屬於哪個數據庫實例的，屬性值是引用dataHost標簽上定義的name屬性。

database屬性

該屬性用於定義該分片屬性哪個具體數據庫實例上的具體庫，因為這里使用兩個緯度來定義分片，就是：實例+具體的庫。因為每個庫上建立的表和表結構是一樣的。所以這樣做就可以輕松的對表進行水平拆分。

dataHost標簽

作為Schema.xml中最后的一個標簽，該標簽在mycat邏輯庫中也是作為最底層的標簽存在，直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。現在我們就解析下這個標簽。

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="localhost:3306" user="root"
password="123456">
<!-- can have multi read hosts -->
<!-- <readHost host="hostS1" url="localhost:3306" user="root" password="123456"
/> -->
</writeHost>
<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
</dataHost>

name屬性

唯一標識dataHost標簽，供上層的標簽使用。

maxCon屬性

指定每個讀寫實例連接池的最大連接。也就是說，標簽內嵌套的writeHost、readHost標簽都會使用這個屬性的值來實例化出連接池的最大連接數。

minCon屬性

指定每個讀寫實例連接池的最小連接，初始化連接池的大小。

balance屬性

• balance=“0”, 所有讀操作都發送到當前可用的writeHost上。
• balance=“1”，所有讀操作都隨機的發送到readHost。
• balance=“2”，所有讀操作都隨機的在writeHost、readhost上分發。

writeType屬性

負載均衡類型，目前的取值有3種：

• writeType=“0”, 所有寫操作都發送到可用的writeHost上。
• writeType=“1”，所有寫操作都隨機的發送到readHost。
• writeType=“2”，所有寫操作都隨機的在writeHost、readhost分上發。

dbType屬性

指定后端連接的數據庫類型，目前支持二進制的mysql協議，還有其他使用JDBC連接的數據庫。例如：mongodb、oracle、spark等。

dbDriver屬性

指定連接后端數據庫使用的Driver，目前可選的值有native和JDBC。使用native的話，因為這個值執行的是二進制的mysql協議，所以可以使用mysql和maridb。其他類型的數據庫則需要使用JDBC驅動來支持。如果使用JDBC的話需要將符合JDBC 4標准的驅動JAR包放到MYCAT\lib目錄下，並檢查驅動JAR包中包括如下目錄結構的文件：META-INF\services\java.sql.Driver。在這個文件內寫上具體的Driver類名，例如：com.mysql.jdbc.Driver。

heartbeat標簽

這個標簽內指明用於和后端數據庫進行心跳檢查的語句。例如,MYSQL可以使用select user()，Oracle可以使用select 1 from dual等。這個標簽還有一個connectionInitSql屬性，主要是當使用Oracla數據庫時，需要執行的初始化SQL語句就這個放到這里面來。例如：alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'

writeHost標簽、readHost標簽

這兩個標簽都指定后端數據庫的相關配置給mycat，用於實例化后端連接池。唯一不同的是，writeHost指定寫實例、readHost指定讀實例，組着這些讀寫實例來滿足系統的要求。在一個dataHost內可以定義多個writeHost和readHost。但是，如果writeHost指定的后端數據庫宕機，那么這個writeHost綁定的所有readHost都將不可用。另一方面，由於這個writeHost宕機系統會自動的檢測到，並切換到備用的writeHost上去。這兩個標簽的屬性相同，這里就一起介紹。

host屬性

用於標識不同實例，一般writeHost我們使用M1，readHost我們用S1。

url屬性

后端實例連接地址，如果是使用native的dbDriver，則一般為address:port這種形式。用JDBC或其他的dbDriver，則需要特殊指定。當使用JDBC時則可以這么寫：jdbc:mysql://localhost:3306/。

user屬性

后端存儲實例需要的用戶名字

password屬性

后端存儲實例需要的密碼

rule.xml

rule.xml里面就定義了我們對表進行拆分所涉及到的規則定義。我們可以靈活的對表使用不同的分片算法，或者對表使用相同的算法但具體的參數不同。這個文件里面主要有tableRule和function這兩個標簽。在具體使用過程中可以按照需求添加tableRule和function。

tableRule標簽

這個標簽定義表規則。定義的表規則，在rule.xml：

<tableRule name="rule1">
	<rule>
		<columns>id</columns>
		<algorithm>func1</algorithm>
	</rule>
</tableRule>

name 屬性指定唯一的名字，用於標識不同的表規則。內嵌的rule標簽則指定對物理表中的哪一列進行拆分和使用什么路由算法。columns 內指定要拆分的列名字。algorithm 使用function標簽中的name屬性。連接表規則和具體路由算法。當然，多個表規則可以連接到同一個路由算法上。標簽內使用。讓邏輯表使用這個規則進行分片。

function標簽

<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap">
	<property name="mapFile">partition-hash-int.txt</property>
</function>

其中，各屬性如下所示。

• name 指定算法的名字。
• class 制定路由算法具體的類名字。
• property 為具體算法需要用到的一些屬性。

好了，今天就到這兒吧，我是冰河，我們下期見！！

原創PDF

冰河寫的原創PDF都在這兒了：涵蓋高並發編程、並發編程源碼解析、限流、設計模式、Java8新特性、分布式存儲、Nginx技術、互聯網工程技術等，每一部PDF都是超硬核的技術干貨。現都免費開源，詳情參見《肝了三天三夜整理出這份36萬字全網最牛的開源高並發編程PDF！！》文末附各PDF下載方式。

重磅福利

微信搜一搜【冰河技術】微信公眾號，關注這個有深度的程序員，每天閱讀超硬核技術干貨，公眾號內回復【PDF】有我准備的一線大廠面試資料和我原創的超硬核PDF技術文檔，以及我為大家精心准備的多套簡歷模板（不斷更新中），希望大家都能找到心儀的工作，學習是一條時而郁郁寡歡，時而開懷大笑的路，加油。如果你通過努力成功進入到了心儀的公司，一定不要懈怠放松，職場成長和新技術學習一樣，不進則退。如果有幸我們江湖再見！

另外，我開源的各個PDF，后續我都會持續更新和維護，感謝大家長期以來對冰河的支持！！