1.什么是分庫分表
在同一個系統(項目)中,把一張數據比較多的表放到不同的集群節點上,這種模式就稱之為分庫分表
2.需求
使用mycat實現分庫分表(HDFS:namenode datanode secondarynamdenode)
在整個mycat中也會使用到namenode和datanode
mysql01服務器(linux)192.168.152.147:
mysql數據庫
TEACH(真實的庫)
book(表)
mysql02服務器(linux)192.168.152.148:
mysql數據庫
TEACH(真實的庫)
book(表)
使用mycat(192.168.152.149)把數據分別存放在兩個student中,也就是說這兩張student表合在一起才是一個完整的數據表
mycat --> mysql01存入一條數據
mycat --> mysql02存入一條數據
依次交替
3.配置mycat
3.1.規定linux的用戶名和全名不能叫mycat!!!否則mycat會不生效(原因是影響整個linux系統的環境變量導致mycat的配置環境變量沒有生效)
3.2.vim /etc/sysconfig/network也不能叫mycat
3.3.mycat使用的是Java語言編寫-->所以必須要在linux上配置jdk(要求jdk必須為64位,因為mycat是在64位的jdk8上進行編譯的)
3.4.配置jdk
3.5.使用xftp把mycat的壓縮包上傳到linux服務器上
3.6.解壓mycat壓縮包
tar -zxvf xxxxx
3.7.配置mycat的環境變量
3.8.啟動mycat
進入mycat的bin目錄
./mycat console
或者在任意的位置直接使用(需配置環境變量)
mycat console start | stop | restart | status | dump
mycat console 類似於IDEA中控制台,mycat會把日志打印出來
mycat start 就是正常啟動
一般情況下推薦使用console啟動
一旦啟動mycat就關不掉,kill -9關不掉 除非重啟或者關機
看到以下信息說明啟動成功:
jvm 1 | MyCAT Server startup successfully. see logs in logs/mycat.log
4.mycat的三個核心配置文件
所有的讀寫分離/分庫分表都必須要在這三個配置文件完成
mycat的conf目錄
server.xml:
配置了mycat的用戶(賬號:root 密碼:root) --> 賬號和密碼可以根據情況隨意更改
相當於mysql的用戶(賬號:root 密碼:root)
mycat也是可以直接使用數據庫連接軟件進行連接的
<!-- 整個user標簽中就是配置了mycat的賬號和密碼 name===》就是mycat的賬號 defaultAccount====》表示該賬號為管理員賬號,而且只能出現一次 property:屬性標簽 password===》就是name的密碼 無論是賬號還是密碼都可以隨意定制,開心就好!!! readOnly:只讀(該賬號只能查詢數據,不能寫入數據) schemas:指向的是mycat的數據庫(mycat的虛擬庫!!!這個庫並不是真實存在的,是需要通過mysql的數據庫進行映射的),一個mycat中可以有多個schema 隱藏mysql的真實庫的名字 連接mysql: jdbc:mysql:localhost:3306/數據庫名 連接mycat: jdbc:mysql:ip地址:端口號/mycat的虛擬庫名 schemas中的配置和mysql的數據庫可以一樣,也可以不一樣 --> <user name="root" defaultAccount="true"> <property name="password">123456</property> <property name="schemas">TEACH</property> </user>
rule.xml:
mycat的規則
<!-- 所有的規則配置一個tableRule對應一個function,如果需要進行配置必須要配置一對,不能單獨配置一個(如果單獨配置了一個的情況下,mycat啟動的時候會直接報錯) 一共有十種規則: homework1: 百度把這10種規則全部弄明白,然后整理一份用自己語言描述的電子文檔 mod-long:(輪詢) mysql01 mysql數據庫 teach student mysql02 mysql數據庫 teach student 當客戶端發送請求===插入數據===》mycat===請求mysql===》會把第一條數據插入進mysql01, 會把第二條數據插入進mysql02 依次循環 --> <tableRule name="mod-long"> <rule> <columns>id</columns> <algorithm>mod-long</algorithm> </rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByMod"> <!-- 代表了datanode的節點數量 如果只有兩台datanode就必須要寫2 --> <property name="count">2</property> </function>
schema.xml:
實現了讀寫分離和分庫分表的具體配置
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!--
!!!schema標簽的name屬性值必須要和server.xml中的schames保持一致!!!
schema就類似於mysql的數據庫
checkSQLschema:檢查SQL語句是否錯誤(select * from user wher id = 1)
默認值為false,不需要改為true,把對SQL語句的檢查交給mysql處理
sqlMaxLimit:最大執行SQL語句的數量
一次性可以執行多少條SQL語句
在schame標簽中有table標簽,這個標簽就是定義了mycat中的表
類似於mysql數據庫中的表
和mysql中的表名可以重復也可以不一致
dataNode:數據節點
在HDFS中存放數據
在mycat中映射的就是真實mysql數據庫(可以有多個,也可以只有一個),名字可以隨意起
今天的目標是實現分庫分表,需要用到兩台mysql數據庫,所以只需要配置dn1和dn2
rule:配置規則
配置一定要和rule.xml中保持一致
-->
<schema name="TEACH" checkSQLschema="false" sqlMaxLimit="100">
<!-- auto sharding by id (long) -->
<table name="book" dataNode="dn1,dn2" rule="mod-long" />
</schema>
<!--
datanode標簽對應的是table標簽中的datanode屬性
也就是說datanode屬性值必須要和dataNode的標簽name屬性值保值一致
dn1:代表了mysql01服務器==》mysql數據庫
dn2:代表了mysql02服務器==》mysql數據庫
dataHost:才是真正的配置了分庫分表和讀寫分離的核心配置
database:映射的是真實mysql的數據庫名
-->
<dataNode name="dn1" dataHost="localhost1" database="TEACH" />
<dataNode name="dn2" dataHost="localhost2" database="TEACH" />
<!--
dataHost標簽必須要和dataNode標簽中的dataHost屬性保持一致
如果dataHost屬性名重復了,映射的是同一個dataHost
每一個dataHost標簽就是一個真實的mysql數據庫
maxCon:最大連接數
minCon:最小連接數
balance: homework2:
把balance,writeType,switchType弄明白,並且用自己的語言描述每個值代表什么意思,記錄電子文檔負載均衡
writeType:寫入的類型(讀寫分離使用)
switchType:轉換的類型(讀寫分離所使用的數據)
dbType:數據庫的類型(在最早的版本mycat只支持mysql一種數據庫,后來發展支持很多種數據庫)
dbDriver:數據庫驅動(使用本地驅動,使用的是mycat所提供的驅動)
slaveThreshold:自己查!!!!
master:主節點
slave:從節點
threshold:入口
-->
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<!--
heartbeat:心跳
mycat一直在監視mysql的user表(心跳),如果一旦發現mysql的user不再有心跳,就會認為這一台mysql處於宕機狀態,也就不會再向這一台mysql進行做增刪改查的操作
-->
<heartbeat>select user()</heartbeat>
<!--
writeHost:標簽是該台mysql數據庫為讀和寫的數據庫
readHost:標簽是該台mysql數據庫為讀的數據庫
writeHost如果單獨存在,標識該台mysql數據庫為讀和寫的操作
如果一旦和readHost一起使用,writeHost就只能做些的操作,所有的讀操作都使用readHost完成
readHost必須要配置在writeHost的內容,不允許單獨存在
host:屬性只是標識了該台數據庫的操作的內容,可以隨意定義
url:數據庫的url
jdbc:mysql://localhost:3306
!!!!!如果配置了兩個writeHost,那么host的值就必須不能重復!!!!!
-->
<writeHost host="write01" url="192.168.23.129:3306" user="root"
password="root" />
</dataHost>
<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="write02" url="192.168.23.130:3306" user="root"
password="root" />
</dataHost>
<!--
mycat中所映射的真實mysql的表必須要mycat所聲明的table的名字保持一致
也就是說mycat的表名必須要和mysql的表名一模一樣,否則映射不到
-->
</mycat:schema>
其實mycat也可以看成是一個數據庫,只是這個數據庫是虛擬的,把真實的mysql數據中的表數據映射進了虛擬庫中,使用Java項目連接的時候只需要連接mycat即可,不再需要連接mysql
啟動成功后可以直接使用數據庫連接工具連接mycat
mycat的dbType配置的是什么數據庫,就使用這一種數據庫進行連接即可
mycat有兩個端口號:
9066:管理端口號(管理mycat使用的)
8066:通訊端口號(連接端口號)
