PostgreSQL參數優化對比性能測試


1、 測試目的

通過運行標准測試程序TPC-B和TPC-C,確定在不同參數和不同版本下(8.2.14 VS 8.4.2)的性能的不同,為eCop CM上PostgreSQL數據庫的參數配置和版本選擇提供參考。

測試平台為:

硬件配置:CPU E4600 雙核2.4G 2G RAM 160G SATA * 2

操作系統:Ubuntu 9.10 Server

文件系統:Ext3

數據庫:PostgreSQL 8.2.14和8.4.2

采用源碼編譯方式安裝,GCC版本4.4.1

2、 測試和數據

2.1 TPC-B(Pgbench)

2.1.1 測試方法

測試參數:./pgbench -i -s 20 pgbench 將負載因子設定為20

 

初始化數據庫表容量:

able # of rows

————————-

branches 20

tellers 200

accounts 2000000

history 0

數據庫物理大小:數據庫總大小288MB,其中表accounts 248MB

每次事物執行的SQL語句:

1. BEGIN;

2. UPDATE accounts SET abalance = abalance + :delta WHERE aid = :aid;

3. SELECT abalance FROM accounts WHERE aid = :aid;

4. UPDATE tellers SET tbalance = tbalance + :delta WHERE tid = :tid;

5. UPDATE branches SET bbalance = bbalance + :delta WHERE bid = :bid;

6. INSERT INTO history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);

7. END;

測試方法:./pgbench -t 2000 -c 20 -U postgres pgbench 模擬20個並發用戶,每個用戶執行2000次事務。每種配置參數執行三次,記錄TPS值。

2.1.2 測試結果(8.2.14)

PostgreSQL 8.2.14的Pgbench測試結果(單位TPS/每秒鍾事務數量),重點關注的參數:shared_buffers、effective_cache_size、wal_buffers、checkpoint_segments。

序號

參數配置

第一次

第二次

第三次

平均值

1

默認參數

404

408

415

409

2

調整WAL日志參數

wal_buffers = 1024kB (默認64kb)

checkpoint_segments = 32 (默認3)

852

895

813

853

3

將WAL日志在放在第二塊硬盤

1673

1673

1657

1667

4

調整內存參數

shared_buffers = 256MB(默認32MB)

work_mem = 10MB(默認1M)

effective_cache_size = 512MB(默認128M)

2351

2375

2390

2372

5

調整內存參數

shared_buffers = 512MB

work_mem = 10MB

effective_cache_size = 1024MB

2264

2354

2351

2323

6

關閉WAL日志

2761

2806

2810

2792

2.1.3 測試結果(8.4.2)

PostgreSQL 8.4.2的Pgbench測試結果(單位TPS/每秒鍾事務數量),重點關注的參數:shared_buffers、effective_cache_size、wal_buffers、checkpoint_segments。

序號

參數配置

第一次

第二次

第三次

平均值

1

默認參數

466

470

450

462

2

調整WAL日志參數

wal_buffers = 1024kB (默認64kb)

checkpoint_segments = 32 (默認3)

checkpoint_completion_target=0.9(默認0.5)

939

940

1064

981

3*

將WAL日志在放在第二塊硬盤

1364

1945

1378

1562

4

調整內存參數

shared_buffers = 256MB(默認32MB)

work_mem = 10MB(默認1M)

effective_cache_size = 512MB(默認128M)

2316

2341

2341

2332

5

調整內存參數

shared_buffers = 512MB

work_mem = 10MB

effective_cache_size = 1024MB

2319

2361

2370

2350

6

關閉WAL日志

2800

2813

2814

2809

注*執行測試3的時候,數據變化非常大,執行多次也如此,最小值1214,最大值2010,很不穩定

2.1.4 測試性能數據對比

2.1.5 測試數據分析

1) 默認參數配置情況下,性能都很差,不管是8.2.14還是8.4.2,見測試1數據

2) 增大WAL日志參數中的checkpoint_segments的值可以顯著提升性能,提升1倍以上。增大checkpoint_segments的實際效果是數據庫寫入日志更快,見測試2數據

3) 將WAL日志在放在第二塊硬盤以后,降低了I/0的競爭,性能提升顯著,提升幅度在1倍左右,見測試3數據

4) 增加內存參數,使得在內存中基本可以放入整個數據庫表的內容,性能提升明顯,超過50%,見測試4數據

5) 在內存的可以裝入整個數據庫表的情況下,再增大內存參數,對性能提升沒有影響,見測試5數據

6) 關閉預寫式日志的情況下,可以提升20%左右的性能,見測試6數據

7) 8.4.2的性能相對8.2.14有性能提升,最多15%

2.2 TPC-C(BenchMark Factory)

2.2.1 測試方法

采用BenchMark Factory用ODBC連接數據庫,初始化負載因子2,初始化表容量

測試分別模擬5個、10個、15個和20個並發連接,進行測試。

參數配置:

shared_buffers = 512MB

work_mem = 10MB

effective_cache_size = 1024MB

fsync = on/off 打開/關閉WAL

2.2.2 測試結果(8.2.14)

PostgreSQL 8.2.14的TPC-C測試結果(關閉WAL)

並發線程數

TPS(每秒鍾事務量)

平均響應時間(ms)

5

79.24

63

10

110.92

90

15

116.43

128

20

119.40

167

2.2.3 測試結果(8.4.2)

PostgreSQL 8.4.2的TPC-C測試結果(關閉WAL)

並發線程數

TPS(每秒鍾事務量)

平均響應時間(ms)

5

70.65

70

10

107.42

93

15

144.66

103

20

150.35

132

PostgreSQL 8.4.2的TPC-C測試結果(開啟WAL)

並發線程數

TPS(每秒鍾事務量)

平均響應時間(ms)

5

62.98

79

10

116.46

85

15

125.31

119

20

125.74

158

2.2.4 測試性能數據對比

2.2.5 測試數據分析

1) 在低負載的情況下,並發線程數為5和和10個的時候,8.2.14和8.4.2性能差別不打,甚至可能表現得更好,

2) 一旦負載增大,8.2.14的性能同8.4.2相比就體現出來比較大的差距,(並發線程數為20的時候119.40 VS 150.35),8.4.2的性能高出25.9%

3、 測試總結

數據庫性能的關鍵影響點是磁盤I/0性能

eCop默認采用的是8.2.x的版本,目前的數據庫表容量在幾十MB到500MB以內,根據不同機型和用戶量,在CM1-4的機型可以配置如下參數:

shared_buffers = 256MB

work_mem = 10MB

effective_cache_size = 512MB

wal_buffers = 1024kB

checkpoint_segments = 32

CM5的機型可以配置為:

shared_buffers = 512MB

work_mem = 10MB

effective_cache_size = 1024MB

wal_buffers = 1024kB

checkpoint_segments = 32

把WAL日志放到獨立的硬盤上。

在合適的時候可以考慮將數據庫升級到8.4.2,目前發現的兼容性問題比較好解決,只有查詢欄的查詢時間上需要做一定的修改,其他地方都可以保持兼容。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM