percona-toolkit工具的使用


percona-toolkit是一組高級命令行工具的集合,可以查看當前服務的摘要信息,磁盤檢測,分析慢查詢日志,查找重復索引,實現表同步等等

percona-toolkit 源自 Maatkit 和 Aspersa 工具,這兩個工具是管理 mysql 的最有名的 工具,現在 Maatkit 工具已經不維護了,請大家還是使用 percona-toolkit 吧!這些 工具主要包括開發、性能、配置、監控、復制、系統、實用六大類,作為一個優秀 的 DBA,里面有的工具非常有用,如果能掌握並加以靈活應用,將能極大的提高工 作效率。

1、安裝

需求

 * Perl v5.8 or newer
 * Bash v3 or newer
 * Core Perl modules like Time::HiRes
yum -y install  perl-DBI  perl-DBD-MySQL  perl-TermReadKey perl-devel perl-Time-HiRes
cd /usr/local/src/
wget https://www.percona.com/downloads/percona-toolkit/2.2.15/deb/percona-toolkit_2.2.15-2.tar.gz
tar -zxf percona-toolkit_2.2.15-2.tar.gz
cd percona-toolkit-2.2.15/
chmod +x Makefile.PL
perl Makefile.PL
make && make install
ln -s /usr/bin  /usr/local/bin/*

 

2、介紹

1)pt-duplicate-key-checker

功能為從 mysql 表中找出重復的索引和外鍵,這個工具會將重復的索引和外鍵都列出來,並生成了刪除重復索引的語句,非常方便

pt-duplicate-key-checker --h localhost --u root --p 123456 -d test

2)pt-online-schema-change

功能為在 alter 操作更改表結構的時候不用鎖定表,也就是說執行 alter 的時候不會阻塞寫和讀取操作,注意執行這個工具的時候必須 做好備份

官方文檔 http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-ch ange.html

工作原理是創建一個和你要執行 alter 操作的表一樣的空表結構,執 行表結構修改,然后從原表中 copy 原始數據到表結構修改后的表, 當數據 copy 完成以后就會將原表移走,用新表代替原表,默認動作 是將原表 drop 掉。在 copy 數據的過程中,任何在原表的更新操作都 會更新到新表,因為這個工具在會在原表上創建觸發器,觸發器會將 在原表上更新的內容更新到新表。如果表中已經定義了觸發器這個工 具就不能工作了。

pt-online-schema-change --lock-wait-time=120 --alter="ENGINE=InnoDB" D=database,t=table --execute
pt-online-schema-change --lock-wait-time=120 --alter="ADD COLUMN domain_id INT"D=database,t=table --execute

3)pt-query-advisor

根據一些規則分析查詢語句,對可能的問題提出建議

pt-query-advisor /path/to/slow-query.log
pt-query-advisor --type genlog mysql.log
pt-query-digest --type tcpdump.txt --print --no-report | pt-query-advisor
pt-query-advisor --query "select * from test"
pt-query-advisor /path/to/general.log
pt-query-advisor /path/to/localhost-slow.log

4)pt-show-grants

規范化和打印 mysql 權限,讓你在復制、比較 mysql 權限以及進行版 本控制的時候更有效率

pt-show-grants --h localhost --u root --p 123456
pt-show-grants --h localhost --u root --p 123456 -d test
pt-show-grants --h localhost --u root --p 123456 -d test --revoke

5)pt-upgrade

在多台服務器上執行查詢,並比較有什么不同!這在升級服務器的時 候非常有用,可以先安裝並導數據到新的服務器上,然后使用這個工 具跑一下 sql 看看有什么不同,可以找出不同版本之間的差異

6)pt-index-usage

從 log 文件中讀取查詢語句,並用 explain 分析他們是如何利用索引。 完成分析之后會生成一份關於索引沒有被查詢使用過的報告

pt-index-usage /path/to/slow.log --h localhost --u root --p 123456 -d test --no-report --create-save-results-database

7)pt-pmp

為查詢程序執行聚合的 GDB 堆棧跟蹤,先進性堆棧跟蹤,然后將跟蹤信息匯總

pt-pmp -p 21933
pt-pmp -b /usr/local/mysql/bin/mysqld_safe

8)pt-visual-explain

格式化 explain 出來的執行計划按照 tree 方式輸出,方便閱讀

pt-visual-explain --connect aaa --h localhost --u root --p 123456 -d test
pt-visual-explain `mysql --h localhost --u root --p 123456 -d test -e "explain select testx from test where id=1"` |

9、pt-config-diff

比較 mysql 配置文件和服務器參數

pt-config-diff /usr/local/mysql/share/mysql/my-large.cnf /usr/local/mysql/share/mysql/my-medium.cnf

10、pt-mysql-summary

精細地對 mysql 的配置和 sataus 信息進行匯總,匯總后你直接看一眼 就能看明白

pt-mysql-summary  --user=root --password=sEtNcu3O9R7Dl29c --all-databases

11)pt-variable-advisor

分析 mysql 的參數變量,並對可能存在的問題提出建議

pt-variable-advisor --h localhost --u root --p 123456 

結果

# WARN delay_key_write: MyISAM index blocks are never flushed until necessary.

# WARN innodb_lock_wait_timeout: This option has an unusually long value, which can cause system overload if locks are not being released.

# NOTE innodb_max_dirty_pages_pct: The innodb_max_dirty_pages_pct is lower than the default.

# NOTE low_priority_updates: The server is running with non-default lock priority for updates.

# NOTE max_binlog_size: The max_binlog_size is smaller than the default of 1GB.

# NOTE port: The server is listening on a non-default port.

# NOTE read_buffer_size-1: The read_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# NOTE read_rnd_buffer_size-1: The read_rnd_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# CRIT slave_skip_errors: You should not set this option.

# NOTE sort_buffer_size-1: The sort_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# NOTE tx_isolation-1: This server's transaction isolation level is non-default.

# NOTE innodb_data_file_path: Auto-extending InnoDB files can consume a lot of disk space that is very difficult to reclaim later.

# WARN log_output: Directing log output to tables has a high performance impact.

12)pt-deadlock-logger

提取和記錄 mysql 死鎖的相關信息,收集和保存 mysql 上最近的死鎖信息,可以直接打印死鎖信息和存儲 死鎖信息到數據庫中,死鎖信息包括發生死鎖的服務器、最近發生死 鎖的時間、死鎖線程 id、死鎖的事務 id、發生死鎖時事務執行了多長 時間等等非常多的信息

13)pt-fk-error-logger

提取和記錄 mysql 外鍵錯誤信息,通過SHOW INNODB STATUS提取和保存mysql數據庫最近發生的外鍵 錯誤信息。可以通過參數控制直接打印錯誤信息或者將錯誤信息存儲 到數據庫的表中

14)pt-mext

並行查看 SHOW GLOBAL STATUS 的多個樣本的信息,原理:pt-mext 執行你指定的 COMMAND,並每次讀取一行結果,把 空行分割的內容保存到一個一個的臨時文件中,最后結合這些臨時文 件並行查看結果

15)pt-query-digest

分析查詢執行日志,並產生一個查詢報告,為 MySQL、PostgreSQL、 memcached 過濾、重放或者轉換語句

16)pt-trend

居於一組時間序列的數據點做統計,讀取一個慢查詢日志,並輸出統計信息。也可以指定多個文件。如果 不指定文件的話直接從標准輸入中讀取信息

17)pt-heartbeat

監控 mysql 復制延遲,測量復制落后主 mysql 或者主 PostgreSQL 多少時間,你可以使用這個 腳本去更新主或者監控復制

原理:pt-heartbeat 通過真實的復制數據來確認 mysql 和 postgresql 復制延遲,這個避免了對復制機制的依賴,從而能得出准確的落后復 制時間,包含兩部分:第一部分在主上 pt-heartbeat 的--update 線程 會在指定的時間間隔更新一個時間戳,第二部分是 pt-heartbeat 的 --monitor 線程或者--check 線程連接到從上檢查復制的心跳記錄(前 面更新的時間戳),並和當前系統時間進行比較,得出時間的差異。 你可以手工創建 heartbeat 表或者添加--create-table 參數,推薦使用 MEMORY 引擎

18)pt-slave-delay

設置從服務器落后於主服務器指定時間

原理:通過啟動和停止復制 sql 線程來設置從落后於主指定時間。默 認是基於從上 relay 日志的二進制日志的位置來判斷,因此不需要連 接到主服務器,如果 IO 進程不落后主服務器太多的話,這個檢查方 式工作很好,如果網絡通暢的話,一般 IO 線程落后主通常都是毫秒 級別。一般是通過--delay and --delay"+"--interval 來控制。--interval 是 指定檢查是否啟動或者停止從上 sql 線程的頻繁度,默認的是 1 分鍾 檢查一次

19)pt-slave-find

查找和打印 mysql 所有從服務器復制層級關系

原理:連接 mysql 主服務器並查找其所有的從,然后打印出所有從服 務器的層級關系

20)pt-slave-restart

監視 mysql 復制錯誤,並嘗試重啟 mysql 復制當復制停止的時候,監視一個或者多個 mysql 復制錯誤,當從停止的時候嘗試重新啟動復 制。你可以指定跳過的錯誤並運行從到指定的日志位置

21)pt-table-checksum

檢查 mysql 復制一致性

工作原理:pt-table-checksum 在主上執行檢查語句在線檢查 mysql 復 制的一致性,生成 replace 語句,然后通過復制傳遞到從,再通過 update 更新 master_src 的值。通過檢測從上 this_src 和 master_src 的 值從而判斷復制是否一致。 注意:使用的時候選擇業務地峰的時候運行,因為運行的時候會造成 表的部分記錄鎖定。使用--max-load 來指定最大的負載情況,如果達 到那個負載這個暫停運行。如果發現有不一致的數據,可以使用 pt-table-sync 工具來修復。 注意:和 1.0 版本不同,新版本的 pt-table-checksum 只需要在 master 上執行即可。 通過 –explain 參數再結合二進制日志就可以看出腳本的工作原理, 如我的 test 庫有一個名字為 zhang 的表,我們通過抓取二進制日志來 查看

22)pt-table-sync

高效同步 mysql 表的數據

原理:總是在主上執行數據的更改,再同步到從上,不會直接更改成 從的數據,在主上執行更改是基於主上現在的數據,不會更改主上的 數據。注意使用之前先備份你的數據,避免造成數據的丟失.執行 execute 之前最好先換成--print 或--dry-run 查看一下會變更哪些數據

23)pt-diskstats

是一個對 GUN/LINUX 的交互式監控工具,為 GUN/LINUX 打印磁盤 io 統計信息,和 iostat 有點像,但是這個工 具是交互式並且比 iostat 更詳細。可以分析從遠程機器收集的數據

24)pt-fifo-split

模擬切割文件並通過管道傳遞給先入先出隊列而不用真正的切割文 件,pt-fifo-split 讀取大文件中的數據並打印到 fifo 文件,每次達到指定行 數就往 fifo 文件中打印一個 EOF 字符,讀取完成以后,關閉掉 fifo 文 件並移走,然后重建 fifo 文件,打印更多的行。這樣可以保證你每次 讀取的時候都能讀取到制定的行數直到讀取完成。注意此工具只能工 作在類 unix 操作系統。這個程序對大文件的數據導入數據庫非常有 用,具體的可以查看 http://www.mysqlperformanceblog.com/2008/07 /03/how-to-load-large-files-safely-into-innodb-with-load-data-infile/。

25)pt-summary

友好地收集和顯示系統信息概況,此工具並不是一個調優或者診斷工 具,這個工具會產生一個很容易進行比較和發送郵件的報告

原理:此工具會運行和多命令去收集系統狀態和配置信息,先保存到 臨時目錄的文件中去,然后運行一些unix命令對這些結果做格式化, 最好是用 root 用戶或者有權限的用戶運行此命令

26)pt-stalk

出現問題的時候收集 mysql 的用於診斷的數據,pt-stalk 等待觸發條件觸發,然后收集數據幫助錯誤診斷,它被設計 成使用 root 權限運行的守護進程,因此你可以診斷那些你不能直接 觀察的間歇性問題。默認的診斷觸發條件為 SHOW GLOBAL STATUS。 也可以指定 processlist 為診斷觸發條件 ,使用--function 參數指定

27)pt-archiver

將 mysql 數據庫中表的記錄歸檔到另外一個表或者文件,也可以直接 進行記錄的刪除操作

這個工具只是歸檔舊的數據,不會對線上數據的 OLTP 查詢造成太大 影響,你可以將數據插入另外一台服務器的其他表中,也可以寫入到 一個文件中,方便使用 load data infile 命令導入數據。另外你還可以 用它來執行 delete 操作。這個工具默認的會刪除源中的數據。使用 的時候請注意

28)pt-find

查找 mysql 表並執行指定的命令,和 gnu 的 find 命令類似

29)pt-kill

Kill 掉符合指定條件 mysql 語句,假如沒有指定文件的話pt-kill連接到mysql並通過SHOW PROCESSLIST 找到指定的語句,反之 pt-kill 從包含 SHOW PROCESSLIST 結果的文件 中讀取 mysql 語句

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM