postgresql從庫搭建--物理復制


1 復制類型

PostgreSQL支持物理復制(流復制)及邏輯復制2種。通過流復制技術,可以從實例級復制出一個與主庫一模一樣的實例級的從庫。流復制同步方式有同步、異步兩種。

另一種復制方式為邏輯復制,區別於物理復制的是物理復制是基於實例級的復制,只能復制整個PostgreSQL實例,而不能基於部分庫及表。從PostgreSQL10開始,出現了基於表級別的復制,即邏輯復制。

2  流復制

主庫安裝及從庫編譯此處就省略了,直接進入主從復制的安裝環節。

2.1 修改主庫配置文件postgresql.conf

/*  除了基礎參數,搭建備庫至少需要配置如下參數 */
listen_address = '*'
wal_level = replica
archive_mode = on 
archive_command = 'cp %p /data/postgresql/archive/%f '
max_wal_senders= 10  
wal_keep_segments=1024
hot_standby = on

參數簡要說明:

listen_address:  按需設置,本次測試配置為所有主機均可以訪問,生產環境可以按需配置網段或IP等
wal_level:  設置流復制模式至少設置為replica
archive_mode:  本次啟用歸檔
archive_command:WAL日志歸檔命令,生產環境可以將歸檔拷貝到對應目錄或其他機器上,本次測試配置為歸檔到本機的另一個目錄下
max_wal_senders: 最大WAL發送進程數,此數量需大於等於從庫個數且比max_connections小。
wal_keep_segments: pg_wal目錄下保留WAL日志的個數,每個WAL文件默認16M,為保障從庫能在應用歸檔落后時依舊能追上主庫,此值建議設置較大一點。
hot_standby: 此參數控制在恢復歸檔期間是否支持只讀操作,設置為ON后從庫為只讀模式。

注意: 上述參數中有涉及歸檔日志的路徑,需手動創建

mkdir -p  /data/postgresql/archive/

2.2  創建復制賬號

為了數據安全及便於權限控制,創建一個復制專用的數據庫賬號

postgres=# create user repl  REPLICATION  LOGIN ENCRYPTED  PASSWORD 'repl123';
CREATE ROLE

2.3  修改配置文件pg_hba.conf

添加復制賬號的權限,因可能會主從切換,因此 主從機器的IP均添加。也可以設置網段,以便於后期添加從庫。

# replication privilege.
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust
host    replication     repl             192.168.56.33/24            md5
host    replication     repl             192.168.56.32/24            md5

2.4  備份數據

從機上在線備份主庫數據,並將數據放在指定路徑,此路徑建議與主庫路徑一致。可以使用pg_basebackup

命令在線熱備份,具體命令如下:

pg_basebackup -h 192.168.56.32 -U repl -p 5432 -F p -X s -v -P -R -D /data/postgresql/data/ -l postgres32

pg_basebackup命令中的參數說明:

-h 指定連接的數據庫的主機名或IP地址,這里就是主庫的ip

-U 指定連接的用戶名,此處是我們剛才創建的專門負責流復制的repl用戶

-F 指定生成備份的數據格式,支持p(plain原樣輸出)或者t(tar格式輸出)

-X 表示備份開始后,啟動另一個流復制連接從主庫接收WAL日志,有 f(fetch)和s (stream)兩種方式,建議使用s方式

-P 表示顯示數據文件、表空間傳輸的近似百分比 允許在備份過程中實時的打印備份的進度

-v 表示啟用verbose模式,命令執行過程中會打印各階段日志,建議啟用

-R 表示會在備份結束后自動生成recovery.conf文件,這樣也就避免了手動創建

-D 指定把備份寫到哪個目錄,這里尤其要注意一點就是做基礎備份之前從庫的數據目錄(/data/postgresql/data)目錄需要手動清空

-l 表示指定個備份的標識,運行命令后可以看到進度提示

以上備份命令輸出過程如下

[postgres@PG33 data]$ pg_basebackup -h 192.168.56.32 -U repl -p 5432 -F p   -X s  -v -P -R -D /data/postgresql/data/ -l postgres32
Password: 
pg_basebackup: initiating base backup, waiting for checkpoint to complete
pg_basebackup: checkpoint completed
pg_basebackup: write-ahead log start point: 0/2000028 on timeline 1
pg_basebackup: starting background WAL receiver
pg_basebackup: created temporary replication slot "pg_basebackup_17737"
56041/56041 kB (100%), 1/1 tablespace                                         
pg_basebackup: write-ahead log end point: 0/20000F8
pg_basebackup: waiting for background process to finish streaming ...
pg_basebackup: base backup completed

從以上日志信息看出pg_basebackup命令首先對數據庫做一次checkpoint,之后基於時間點做一個全庫基准備份,全備過程中會拷貝$PGDATA數據文件和表空間文件到備庫節點對應目錄。

2.5 修改recovery.conf

以上備份命令中生成了recovery.conf 文件,因此簡單修改即可。

standby_mode = 'on'
primary_conninfo = 'user=repl password=repl123 host=192.168.56.32 port=5432 sslmode=disable sslcompression=0 target_session_attrs=any'
## 添加如下信息
recovery_target_timeline = 'latest'

參數說明:

standby_mode: 設置是否啟用數據庫為備庫,如果設置成on,備庫會不停地從主庫上獲取WAL日志流,直到獲取主庫上最新的WAL日志流
primary_conninfo:設置主庫的連接信息,這里設置了主庫IP、端口、用戶名信息等,此處是明文密碼,生產環境建議配置非明文密碼,而是將密碼配置在另一個隱藏文件中
covery_target_timeline: 設置恢復的時間線(timeline),默認情況下是恢復到基准備份生成時的時間線,設置成latest表示從備份中恢復到最近的時間線,通常流復制環境設置此參數為latest,復雜的恢復場景可將此參數設置成其他值

2.6 啟動從庫

直接使用pg_ctl或配置服務啟動從庫即可。

pg_ctl  -D /data/postgresql/data/  -l pg33.log  start

如果啟動過程中出現如下錯誤

waiting for server to start....2019-09-26 10:40:54.327 CST [10267] FATAL: data directory "/data/postgresql/data" has invalid permissions

2019-09-26 10:40:54.327 CST [10267] DETAIL: Permissions should be u=rwx (0700) or u=rwx,g=rx (0750).

stopped waiting

pg_ctl: could not start serve

Examine the log output.

則需要先修改權限,再啟動即可

[postgres@PG33 data]$ chmod 0750 /data/postgresql/data/
[postgres@PG33 data]$ pg_ctl  -D /data/postgresql/data/  -l pg33.log  start
waiting for server to start.... done
server started

2.7 測試主從同步

在主庫創建表並新增數據

[postgres@PG32 ~]$ psql
psql (11.4)
Type "help" for help.
postgres=# create table test2(id int primary key, name varchar(20));
CREATE TABLE
postgres=# insert into test2 values(1,'aaa'),(2,'abc');
INSERT 0 2

在從庫查看

[postgres@PG33 data]$ psql
psql (11.4)
Type "help" for help.

postgres=# select * from test2;
 id | name 
----+------
  1 | aaa
  2 | abc

數據已正常同步

2.8 查看復制狀態

通過pg_stat_replication視圖可以查看復制狀態

postgres=# select  pid ,usesysid,usename,client_addr,state,sync_state  from  pg_stat_replication;
  pid  | usesysid | usename |  client_addr   |   state   | sync_state 
-------+----------+---------+----------------+-----------+------------
 25123 |    16797 | repl    | 192.168.56.33 | streaming | async
(1 row)

以上查詢結果sync_state字段值為async,表示主備數據復制使用異步方式;state值為streaming,表示流復制方式。

2.9 調整為同步復制

前面的步驟部署的為異步復制,如想配置為同步復制,則調整recovery.conf配置文件里的 synchronous_commit及synchronous_standby_names 后重啟或reload即可。

synchronous_commit = remote_write
synchronous_standby_names = '*'

之后再查看結果如下:

postgres=# select  pid ,usesysid,usename,client_addr,state,sync_state  from  pg_stat_replication;
  pid  | usesysid | usename |  client_addr   |   state   | sync_state 
-------+----------+---------+----------------+-----------+------------
 16265 |    16797 | repl    | 192.168.56.33 | streaming | sync
(1 row)

此時狀態已變為同步復制了。

注: synchronous_commit 有多種方式,在流復制模式下,主要設置情況如下:

remote_write: 當流復制主庫提交事務時,需等待備庫接收主庫發送的WAL日志流並寫入備節點操作系統緩存中,之后向客戶端返回成功,這種情況下備庫實例出現異常關閉時不會有已傳送的WAL日志丟失風險,但備庫操作系統異常宕機就有已傳送的WAL丟失風險了,此時WAL可能還沒完全寫入備節點WAL文件中,簡單地說remote_write表示本地WAL已落盤,備庫的WAL還在備庫操作系統緩存中,也就是說只有一份持久化的WAL,這個選項帶來的事務響應時間較低

on: 設置成on表示流復制主庫提交事務時,需等待備庫接收主庫發送的WAL日志流並寫入WAL文件,之后才向客戶端返回成功,簡單地說on表示本地WAL已落盤,備庫的WAL也已落盤,也就是說有兩份持久化的WAL,但備庫此時還沒有完成重做,這個選項帶來的事務響應時間較高

remote_apply: 表示表示流復制主庫提交事務時,需等待備庫接收主庫發送的WAL並寫入WAL文件,同時備庫已經完成重做,之后才向客戶端返回成功,簡單地說remote_apply表示本地WAL已落盤,備庫WAL已落盤並且已完成重做,這個設置保證了擁有兩份持久化的WAL,同時備庫也完成了重做,這個選項帶來的事務響應時間最高,即性能最差。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM