Atlas介紹
Atlas是由 Qihoo 360, Web平台部基礎架構團隊開發維護的一個基於MySQL協議的數據中間層項目。
它是在mysql-proxy 0.8.2版本的基礎上,對其進行了優化,增加了一些新的功能特性;
360內部使用Atlas運行的mysql業務,每天承載的讀寫請求數達幾十億條;
下載地址
https://github.com/Qihoo360/Atlas/releases
注意:
1、Atlas只能安裝運行在64位的系統上
2、Centos 5.X安裝 Atlas-XX.el5.x86_64.rpm,Centos6.X安裝Atlas-XX.el6.x86_64.rpm。
3、后端mysql版本應大於5.1,建議使用Mysql 5.6以上
4、8.0以上版本建議使用MySQL官方MySQL-Router
主要功能
- 讀寫分離
- 從庫負載均衡
- IP過濾
- 自動分表
- DBA可平滑上下線DB
- 自動摘除宕機的DB
Atlas相對於官方MySQL-Proxy的優勢
1.將主流程中所有Lua代碼用C重寫,Lua僅用於管理接口
2.重寫網絡模型、線程模型
3.實現了真正意義上的連接池
4.優化了鎖機制,性能提高數十倍
安裝配置
yum install -y Atlas*
cd /usr/local/mysql-proxy/conf
mv test.cnf test.cnf.bak
vi test.cnf
[mysql-proxy]
#帶#號的為非必需的配置項目
#管理接口的用戶名
admin-username = root
#管理接口的密碼
admin-password = MyNewPass!
#Atlas后端連接的MySQL主庫的IP和端口,可設置多項,用逗號分隔
proxy-backend-addresses = 192.168.199.149:3306
#Atlas后端連接的MySQL從庫的IP和端口,@后面的數字代表權重,用來作負載均衡,若省略則默認為1,可設置多項,用逗號分隔
proxy-read-only-backend-addresses = 192.168.199.198:3306@1
#用戶名與其對應的加密過的MySQL密碼,密碼使用PREFIX/bin目錄下的加密程序encrypt加密,下行的user1和user2為示例,將其替換為你的MySQL的用戶名和加密密碼!
#pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
pwds = root:EQOnCBjybDXeQgv6rMKE2w==
#設置Atlas的運行方式,設為true時為守護進程方式,設為false時為前台方式,一般開發調試時設為false,線上運行時設為true,true后面不能有空格。
daemon = true
#設置Atlas的運行方式,設為true時Atlas會啟動兩個進程,一個為monitor,一個為worker,monitor在worker意外退出后會自動將其重啟,設為false時只有worker,沒有monitor,一般開發調試時設為false,線上運行時設為true,true后面不能有空格。
keepalive = true
#工作線程數,對Atlas的性能有很大影響,可根據情況適當設置
event-threads = 8
#日志級別,分為message、warning、critical、error、debug五個級別
log-level = message
#日志存放的路徑
log-path = /usr/local/mysql-proxy/log
#SQL日志的開關,可設置為OFF、ON、REALTIME,OFF代表不記錄SQL日志,ON代表記錄SQL日志,REALTIME代表記錄SQL日志且實時寫入磁盤,默認為OFF
sql-log = REALTIME
#慢日志輸出設置。當設置了該參數時,則日志只輸出執行時間超過sql-log-slow(單位:ms)的日志記錄。不設置該參數則輸出全部日志。
#sql-log-slow = 10
#實例名稱,用於同一台機器上多個Atlas實例間的區分
instance = test
#Atlas監聽的工作接口IP和端口
proxy-address = 192.168.199.227:8080
#Atlas監聽的管理接口IP和端口
admin-address = 192.168.199.227:8081
#分表設置,此例中person為庫名,mt為表名,id為分表字段,3為子表數量,可設置多項,以逗號分隔,若不分表則不需要設置該項
#tables = person.mt.id.3
#默認字符集,設置該項后客戶端不再需要執行SET NAMES語句
charset = utf8
#允許連接Atlas的客戶端的IP,可以是精確IP,也可以是IP段,以逗號分隔,若不設置該項則允許所有IP連接,否則只允許列表中的IP連接
#client-ips = 127.0.0.1, 192.168.1
#Atlas前面掛接的LVS的物理網卡的IP(注意不是虛IP),若有LVS且設置了client-ips則此項必須設置,否則可以不設置
#lvs-ips = 192.168.1.1
# 啟動atlas
/usr/local/mysql-proxy/bin/mysql-proxyd test start
ps -ef |grep proxy
兩個進程,一個負責管理一個負責對外提供服務;
Atlas功能測試
# 測試讀操作:
mysql -umha -pmha -h 192.168.0.8 -P 33060
db03 [(none)]>select @@server_id;
# 測試寫操作:
mysql> begin;select @@server_id;commit;
生產用戶要求
開發人員申請一個應用用戶 app( select update insert) 密碼123456,要通過10網段登錄
1. 在主庫中,創建用戶
grant select ,update,insert on *.* to app@'10.0.0.%' identified by '123456';
2. 在atlas中添加生產用戶
/usr/local/mysql-proxy/bin/encrypt 123456 ---->制作加密密碼
vim test.cnf
pwds = repl:3yb5jEku5h4=,mha:O2jBXONX098=,app:/iZxz+0GRoA=
/usr/local/mysql-proxy/bin/mysql-proxyd test restart
[root@db03 conf]# mysql -uapp -p123456 -h 10.0.0.53 -P 33060
Atlas管理
連接管理端口
mysql -uuser -ppwd -h127.0.0.1 -P2345
查詢后端所有節點信息
mysql> SELECT * FROM backends ;
動態添加刪除節點
# 動態刪除節點
REMOVE BACKEND 3;
# 動態添加節點
ADD SLAVE 10.0.0.53:3306;
# 保存配置文件
SAVE CONFIG;
自動分表
介紹
使用Atlas的分表功能時,首先需要在配置文件test.cnf設置tables參數。
tables參數設置格式:數據庫名.表名.分表字段.子表數量,
比如:
你的數據庫名叫school,表名叫stu,分表字段叫id,總共分為2張表,那么就寫為school.stu.id.2,如果還有其他的分表,以逗號分隔即可。
讀寫分離
MySQL-Router ---> MySQL官方
ProxySQL --->Percona
Maxscale ---> MariaDB
小結
1、如果你是新表,並且預見以后數據很大,可以用上Atlas來解決數據量的問題;
2、舊表的話,你還得自己寫腳本導數據,核對數據;
3、如果有些分頁查詢的話,還需要自己重寫;
4、確定你的所有場景的查詢是否都有分表字段作為where,沒有的話,需要自己再寫工具將子表的數據同步到總表;
可以看到Atlas如果需要產品化還要做很多的事情,如果確定上面都不是問題,就大膽的用吧