Flyway介紹
Flyway的定位:數據庫的版本控制。
用一種簡單、干凈的方案,幫助用戶完成數據庫遷移的工作。使用Flyway,用戶可以從任意一個數據庫版本遷移到最新版本,簡單而且有效。
支持多個平台:windows、ios、linux、docker、java、android
2018年度,產品被下載1千萬多次:
開源:
支持多種使用方式:
基於命令行模式,用戶從官網下載工具包,進行一些必要的配置,就可以通過命令行使用其功能。
基於Java API,用戶可以將Flyway提供的第三方包加入classpath,通過Flyway提供的API來使用其功能。
基於Maven或Gradle,用戶可以通過配置插件,運行mvn或gradle命令來使用其功能。
支持多種數據庫:
被spring-boot集成:
官方文檔簡潔,以我這樣蹩腳的英語水平,也很容易理解。
P.S. 開源版本支持大部分常用的功能,Flyway還有商業版本,會支持一些額外的功能。
Flyway的工作模式
這一節主要介紹Flyway是如何工作的,也可以理解為flyway的數據庫升級方案。
Flyway可以對數據庫進行升級,從任意一個版本升級到最新的版本。但是升級的依據是用戶自己編寫的sql腳本,用戶自己決定每一個版本的升級內容。
Flyway不限定腳本里面的內容,但是對腳本文件的名稱有一定的要求:
版本號可以使用小版本,如V1.1。
具體要求:
- 版本號和版本描述之間,使用兩個下划線分隔。
- 版本描述之間,使用一個下划線分隔單詞。
- 版本號唯一:不允許多個腳本文件有相同的版本號。
使用Flyway升級,flyway會自動創建一張歷史記錄表:flyway_schema_history。
這張表記錄了每一次升級的記錄,包括已經執行了哪些腳本,腳本的文件名,內容校驗和,執行的時間和結果:
flyway在升級數據庫的時候,會檢查已經執行過的版本對應的腳本是否發生變化,包括腳本文件名,以及腳本內容。如果flyway檢測到發生了變化,則拋出錯誤,並終止升級。
如果已經執行過的腳本沒有發生變化,flyway會跳過這些腳本,依次執行后續版本的腳本,並在記錄表中插入對應的升級記錄。
所以,flyway總是冪等的,而且可以支持跨版本的升級。
如果你好奇,flyway如何檢查腳本文件的內容是否有修改。你可以注意以下記錄表中有一個字段checksum,它記錄了腳本文件的校驗和。flyway通過比對文件的校驗和來檢測文件的內容是否變更。
使用上面的方式,升級一個空的數據庫,或者在一直使用flyway升級方案的數據庫上進行升級,都不會又問題。但是,如果在已有的數據庫引入flyway,就需要一些額外的工作。
flyway檢測數據庫中是否有歷史記錄表,沒有則代表是第一次升級。此時,flyway要求數據庫是空的,並拒絕對數據庫進行升級。
你可以設置baseline-on-migrate參數為true,flyway會自動將當前的數據庫記錄為V1版本,然后執行升級腳本。這也表示用戶所准備的腳本中,V1版本的腳本會被跳過,只有V1之后的版本才會被執行。
下文在介紹Maven客戶端的時候,會介紹另一種方案,實現在已有數據庫中第一次引入flyway。
Flyway的使用場景
命令行
用戶可以在官網下載適合自己平台的工具包,進行相關配置之后,就可以通過命令行的方式使用Flyway。
這一塊只是在官網上看到其介紹,本人並沒有嘗試,我直接選擇了后面的方案。
使用Maven或Gradle插件
這種方式可以代替命令行的方式,因為我們項目中就使用maven,所以我更傾向於使用這種方式。
以Maven為例,在pom文件中進行必要的配置,包括插件及插件所需要的一些數據庫連接信息,就可以通過運行插件來使用其功能。
<?xml version="1.0" encoding="UTF-8"?>
<project ...>
<properties>
<flyway.user>postgres</flyway.user>
<flyway.password>postgres</flyway.password>
<flyway.url>jdbc:postgresql://localhost:5432/test?currentSchema=demo_flyway</flyway.url>
<flyway.driver>org.postgresql.Driver</flyway.driver>
</properties>
<dependencies>
...
<dependency>
<groupId>org.postgresql</groupId>
<artifactId>postgresql</artifactId>
<scope>runtime</scope>
</dependency>
...
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.flywaydb</groupId>
<artifactId>flyway-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
maven插件所支持的命令:
使用maven命令執行插件,默認在classpath:/db/migration
目錄搜索腳本,如果該目錄不存在,命令將被忽略。
所有的命令,以如下的格式執行:
mvn flyway:{flyway-command}
migrate
mvn flyway:migrate
這個命令會搜索默認的腳本目錄,檢測並根據結果選擇執行升級腳本。
clean
mvn flyway:clean
這個命令會清除指定schema下所有的對象,包括table、view、triggers...,讓schema變成空的狀態。
info
mvn flyway:info
這個命令顯示指定schema的升級狀態,當前的數據庫的版本信息。
validate
mvn flyway:validate
這個命令用於校驗,范圍包括已升級的腳本是否改名,已升級的腳本內容是否修改。所有針對已升級的腳本進行的改動都會導致校驗失敗。
執行migrate會自動進行校驗,如果失敗將不會做任何的migrate。
flyway希望用戶提供的腳本是穩定的,以免造成額外的復雜性和混亂。
baseline
mvn flyway:baseline
如果用戶從一個已有的數據庫導出腳本,作為flyway的升級腳本。已存在的數據庫是不需要升級的。
baseline用於將當前數據庫標記為baseline,並記錄version為1。這表示用戶繼續執行migrate命令時,會自動跳過V1版本對應的腳本。
而對於空的數據庫,因為沒有執行baseline,所以可以正常的執行V1版本對應的腳本。
P.S. 手動修改flyway自動生成的baseline記錄,將版本號改為其他的版本號,將自動跳過該版本及更早的版本。
Java API
Flyway提供了基於Java的API包,用戶可以將API包引入maven依賴,直接通過調用其API來執行相關命令。
Spring-Boot集成了Flyway,只要把API包加入classpath,spring-boot在啟動應用時會去指定的目錄查找腳本文件,並根據一定的策略選擇或忽略執行。
使用Spring-Boot,用戶不必再顯式的編寫代碼調用API,只需要將腳本文件放在約定的目錄,或者告訴Spring-Boot你把腳本文件放在哪里了。
如果用戶需要實現非常靈活的遷移,Spring-Boot默認的方案無法滿足,也可以嘗試尋找自己編碼調用API的方案。
以下內容介紹基於Spring-Boot + Maven的集成方案:
step1:在maven中引入flyway依賴
<?xml version="1.0" encoding="UTF-8"?>
<project ...>
...
<dependencies>
<dependency>
<groupId>org.flywaydb</groupId>
<artifactId>flyway-core</artifactId>
</dependency>
<dependency>
<groupId>org.postgresql</groupId>
<artifactId>postgresql</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
...
</dependencies>
...
</project>
flyway-core即為我們所說的API包,除此之外,還要引入postgresql驅動包和spring-boot-starter-jdbc。
step2:配置application
按照常規的方式,在application.yml文件中配置spring.datasource系列:
spring:
datasource:
url: jdbc:postgresql://localhost:5432/test?currentSchema=demo_flyway
driver-class-name: org.postgresql.Driver
username: postgres
password: postgres
spring為flyway准備了專屬的數據源配置,但是在默認的情況下,可以直接使用spring.datasource的配置。
用戶可以將腳本放在約定的位置:classpath:/db/migration
,或者配置一個自定義的位置:
step3:在指定的目錄編寫腳本
如果用戶沒有特地設置腳本的位置,則應該在/db/migration
創建腳本。否則,在對應的位置創建腳本。
使用總結
我們是在中途嘗試使用flyway,所以開發環境會有一個已存在的數據庫。我們需要從開發環境中導出數據庫腳本,並對開發環境數據庫進行baseline標記。導出的腳本可用於新環境的部署。
如果我們已經有了生產環境,而且生產環境和開發環境的數據庫已經有了較大的差異。暫時可以想到的方案大概有2個方案:
方案一:
在生產環境備份數據庫,然后創建一個全新的數據庫,手動將備份庫里的數據導入到新的數據庫。
方案二:
基於生產環境的數據庫,創建V1版本的腳本;基於開發庫相對於生產庫的變更,創建V2版本的腳本。在開發環境baseline,然后修改版本記錄,改為2。在生產環境中baseline,然后migrate使其升級到2。
方案一,需要更多的人工介入,但是比較穩妥;方案二,難點在於溯源出正確的差異,編制V2腳本。