備份MySQL數據庫並上傳到阿里雲OSS存儲

1. 環境配置

要將本地文件上傳到阿里雲oss中, 必須使用阿里雲提供的工具 ossutil, 有32位,也有64位的, Linux和Windows都有.具體可以到阿里雲官網下載

官網及文檔: https://helpcdn.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.2.45.637b1c7aEqbumo

本文以Linux系統為例:

下載工具：
wget http://gosspublic.alicdn.com/ossutil/1.6.7/ossutil64
修改文件執行權限：
chmod 755 ossutil64
使用交互式配置生成配置文件：
./ossutil64 config

該命令將創建一個配置文件，在其中存儲配置信息。
請輸入配置文件路徑（默認為：/home/user/.ossutilconfig，回車將使用默認路徑。如果用戶設置為其它路徑，在使用命令時需要將--config-file選項設置為該路徑）：
未輸入配置文件路徑，將使用默認配置文件：/home/user/.ossutilconfig。
對於下述配置，回車將跳過相關配置項的設置，配置項的具體含義，請使用"help config"命令查看。
請輸入endpoint：http://oss-cn-hangzhou.aliyuncs.com
請輸入accessKeyID：yourAccessKeyID
請輸入accessKeySecret：yourAccessKeySecret
請輸入stsToken：
endpoint：填寫Bucket所在地域的域名信息，可參考訪問域名和數據中心。
accessKeyID：查看方式請參考創建AccessKey。
accessKeySecret：查看方式請參考創建AccessKey。
stsToken：非必配項，若采用STS臨時授權方式訪問OSS需要配置該項，否則置空即可。stsToken生成方式參考臨時訪問憑證。
說明 更詳細的配置文件說明可參考 https://helpcdn.aliyun.com/document_detail/120072.html?spm=a2c4g.11186623.2.21.409c448ahCrIHZ#concept-303826 。

配置完成后,可以用如下命令進行測試:

ossutil64 cp /etc/fatab oss://aliyunoss-backup/DB_DATA/

# aliyunoss-backup 為我的oss Bucket名稱.DB_DATA為數據庫備份目錄.

如果你在第一步輸入了 config file path, 執行上傳命令的時候必須要加上指定的 config file path, 否則到默認的地方/root/.ossutilconfig是找不到的.如:

ossutil64 cp /etc/fatab oss://aliyunoss-backup/DB_DATA/ --config-file=/path to config file/filename

2. 配置示例

說明, 如下腳本是本人用的備份MySQL數據庫並上傳到阿里雲oss存儲.

#!/bin/bash
# mysql_backup.sh: backup mysql databases and keep newest 7 days backup.  
#  
# ${db_user} is mysql username  
# ${db_password} is mysql password  
# ${db_host} is mysql host   
# —————————–  
#/root/mysql_backup.sh
# everyday 3:00 AM execute database backup
# 0 3 * * * /root/mysql_backup_to_oss.sh
#/etc/cron.daily

# the directory for story your backup file.  #
backup_dir="/opt/backup/mysql/"

# 要備份的數據庫名 #
all_db="mydb1 mydb2 mydb3"

# 要保留的備份天數 #
backup_day=7

#數據庫備份日志文件存儲的路徑
logfile="/var/log/mysql_backup.log"

# Aliyun OSS Bucket Name.
bucket_name=aliyunoss-backup

# local IP address
local_ip=`hostname -i`

# date format for backup file (dd-mm-yyyy)  #
time="$(date +"%Y-%m-%d")"

# mysql, ${mysqldump} and some other bin's path  #
mysql="/usr/bin/mysql"
mysqldump="/usr/bin/mysqldump"

# the directory for story the newest backup  #
test ! -d ${backup_dir} && mkdir -p ${backup_dir}

#備份數據庫函數#
mysql_backup()
{
    # 取所有的數據庫名 #
    for db in ${all_db}
    do
        backname=${db}.${time}
        dumpfile=${backup_dir}${backname}
        
        #將備份的時間、數據庫名存入日志
        echo "------"$(date +'%Y-%m-%d %T')" Beginning database "${db}" backup--------" >>${logfile}
        ${mysqldump} --login-path=my3306 ${db} > ${dumpfile}.sql 2>>${logfile} 2>&1
        
        #開始將壓縮數據日志寫入log
        echo $(date +'%Y-%m-%d %T')" Beginning zip ${dumpfile}.sql" >>${logfile}
        
        #將備份數據庫文件庫壓成ZIP文件，並刪除先前的SQL文件. #
        tar -czvf ${backname}.tar.gz ${backname}.sql 2>&1 && rm ${dumpfile}.sql 2>>${logfile} 2>&1 
        
        #將壓縮后的文件名存入日志。
        echo "backup file name:"${dumpfile}".tar.gz" >>${logfile}
        echo -e "-------"$(date +'%Y-%m-%d %T')" Ending database "${db}" backup-------\n" >>${logfile}    
    done
}

delete_old_backup()
{    
    echo "delete backup file:" >>${logfile}
    # 刪除舊的備份 查找出當前目錄下七天前生成的文件，並將之刪除
    find ${backup_dir} -type f -mtime +${backup_day} | tee delete_list.log | xargs rm -rf
    cat delete_list.log >>${logfile}
}

upload_backups_toAliyunOSS()
{
    # upload backfile to Aliyun OSS bucket
    for db in ${all_db}
    do
        backname=${db}.${time}
        echo "upload ${backname}.tar.gz to AliyunOSS begin at "$(date +'%Y-%m-%d %T') >>${logfile}
        ### Upload to AliyunOSS by storage Monthly ### 
        ossutil64 cp ${backname}.tar.gz oss://${bucket_name}/DB_DATA/$(date +'%Y%m')/${local_ip}/ -f
        echo "upload ${backname}.tar.gz to AliyunOSS done at "$(date +'%Y-%m-%d %T') >>${logfile}
    done
}

#進入數據庫備份文件目錄
cd ${backup_dir}

mysql_backup
delete_old_backup
upload_backups_toAliyunOSS

echo -e "========== mysql backup && upload_to_AliyunOSS done at "$(date +'%Y-%m-%d %T')" ==========\n\n">>${logfile}
#cat ${logfile}

OSS中存儲格式:

 

 備份日志:

 

 

3. MySQL認證登錄配置

在上述腳本中使用到了MySQL認證登錄, 使用mysql_config_editor工具提前配置好MySQL的認證登錄.

mysql_config_editor是在MySQL-5.6以后提供的, 這個工具可以認證信息加密存儲在.mylogin.cnf中，通常這個文件在Linux用戶的家目錄，當然password信息是加密的，無需擔心泄露問題, 當然也不需要每次登錄都輸入密碼, 更不用講密碼寫入腳本或配置文件中, 登錄MySQL只需要使用認證信息登錄即可. 在一定程度上保障了數據庫的安全.

mysql_config_editor使用方法:

mysql_config_editor set --login-path=[認證信息名] user=[用戶名] --password
#認證信息名是該條認證信息的名稱，后續登錄時直接使用認證信息名即可登錄，無需再次輸入密碼。
#這里需要注意的是密碼里面不能含有特殊字符，建議創建一個新的用戶來進行備份操作
mysql --login-path=[認證信息名]
#直接使用認證信息名來登錄

如:

mysql_config_editor set --login-path=my3306 --user=root --socket=/opt/mysql/mysql.sock --password

輸入密碼后,就建立了認證信息文件my3306, 下次登錄MySQL數據庫, 就不用輸入密碼了,使用如下命令即可免密登錄mysql:

mysql --login-path=my3306

MySQL備份:
mysqldump --login-path=my3306 py3db > py3db.sql

 

 

 無需輸入MySQL密碼, 即可執行命令.