Apsara Clouder雲計算技能認證：雲數據庫管理與數據遷移

一.課程介紹

二.雲數據庫的簡介及使用場景

1.雲數據庫簡介

1.1特點:

• 用戶按存儲容量和帶寬的需求付費
• 可移植性
• 按需擴展
• 高可用性(HA)

1.2阿里雲雲數據庫 RDS 

• 穩定可靠,可彈性伸縮的在線數據庫服務.
• 基於飛天分布式系統和全 SSD 盤高性能存儲
• 支持 MySQL,SQLServer,PostgreSQL 和 PPAS 引擎
• 提供容災,備份,恢復,監控,遷移等方面的全套解決方案.

 

 

2.雲數據庫與自建數據庫對比

 

3.雲數據庫功能特點

3.1 安全性

• 3層安全防護體系,通過十項安全合規認定,為您抵御90%以上的網絡攻擊.
• 安全事前防護:IP 白名單,支持 VPC私用網絡
• 安全事中防護:SSL 加密,只是 TDE(透明數據加密)
• 安全事后審計:RDS 支持 SQL 審計功能

3.2可用性

• 3重高可用(容災)架構,提供99.95%的業務可用性保障
• 主備架構:位於兩個服務器,自動同步,異常切換
• 同城容災:在不同可用區部署
• 異地容災:支持創建一定災備實例

3.3 可擴展性

• 彈性擴展,實現100%的資源利用率
• 可按需升級實例內存,磁盤空間大小,提升業務處理能力;單實例最大支持50000IOPS,3TB 存儲空間.
• RDS for MySQL 支持掛載只讀實例,擴展讀取能力;每個只讀實例擁有獨立的連接地址,可有應用端控制壓力分配

3.4 易用性

• 內網外網同時連接,方便本地化管理
• 自動備份,兩年內數據恢復,解決90%以上的系統故障
• 自動監控預警,定期性能巡檢,分擔60%以上的運維工作

4.雲數據庫的應用場景

4.1數據多樣化存儲

RDS 支持搭配雲數據庫 Memcache,雲數據庫 redis 和對象存儲 OSS 等存儲產品使用,實現多樣化存儲擴展

4.2數據異地容災場景

阿里雲雲數據庫支持創建異地容災實例

用戶也可以通過 DTS數據傳輸服務,將傳統自建數據庫同步到雲數據庫RDS 中

4.3 大數據分析場景

大數據計算服務(MaxCompute,原名 ODPS)提供海量數據倉庫解決方案以及針對大數據分析建模服務.

通過數據集成服務,可將 RDS 數據導入 MaxCompute,實現大規模數據計算.

三.雲數據庫 MySQL 版的基本概念

1.數據庫 Mysql 版的分類

• 單機基礎版
• 雙機高可用版
• 金融版

2.雲數據庫的基本概念

• 實例:數據庫服務進程
• 數據庫:實例下的邏輯單元
• 賬號:一個實例可以創建多個賬號
• 內外網地址:訪問模式對連接地址的選擇有限制
• 訪問模式:標准模式,高安全模式
• 白名單

四.創建實例,數據庫與賬號

1.雲數據庫快速管理流程

雲數據庫快速管理流程

 

 

五.SQL 操作與數據導入導出

1.連接雲數據庫

2.數據庫管理服務 DMS 介紹

DMS 的優勢

• 數據分析
• 提升研發效率
• 實時優化數據庫性能
• 訪問安全
• 豐富數據源支持

3.數據的導入及導出

• 導入數據
• 導出數據
• 表結構對比

 

4.sql 操作

• 命令窗口
• sql 窗口
• 表操作

六.數據庫遷移上雲

1.數據庫遷移上雲概述及工具

應用場景

• 線下自建數據庫遷移
• 雲上自建數據庫遷移
• 阿里雲內部跨實例遷移
• 其他雲數據庫遷移

注意條件:

• 需支持同異構數據庫源之間的遷移
• 需支持庫列表三級映射,數據過濾多種 ETL 特性

mysql 遷移工具:

• 傳統數據庫遷移工具,mysqldump,phpMyAdmin
• 阿里雲 DTS

 

2.遷移模式DTS

遷移模式:

• 結構遷移
• 全量數據遷移
• 增聯數據遷移

3.遷移步驟

前提條件:

• 創建 RDS 數據庫
• 創建遷移賬戶

操作步驟:

• 創建遷移任務
• 配置遷移實例連接信息
• 遷移對象及遷移類型配置
• 預檢查
• 啟動遷移任務

4.數據庫遷移上雲演示

七.雲數據庫運維常用設置

• 1.變更配置
• 2.設置參數
• 3.設置可維護時間段
• 4.遷移可用區
• 5.切換主備實例
• 6.數據復制方式
• 7.切換網絡訪問模式

八.雲數據管理初體驗

1.登錄到 RDS 管理控制台

如何登錄到阿里雲RDS管理控制台，並進入RDS實例。

1. 首先，通過如下操作步驟，登錄到阿里雲RDS管理控制台：
1）點擊頁面左側 實驗資源 ，下拉框中點擊 點擊 前往控制台 ，
2）依次輸入 實驗資源 提供的 子用戶名稱 、子帳號密碼 ，然后點擊 登錄 。
3）頂部導航欄處點擊 產品與服務 ，下拉菜單中，依次選擇 雲計算基礎服務 ---> 數據庫 ---> 雲數據庫RDS版 ，進入阿里雲RDS管理控制台。


2. 通過如下步驟，進入實驗資源 雲數據庫RDS實例 的管理控制台。
1）在頂部地址欄，選擇 實驗資源 提供的 地域 信息。
2）在搜索欄中，輸入 實驗資源 提供的 雲數據庫RDS實例 的 實例ID ，並點擊 搜索 。
3）在下方搜索結果中，點擊實例右側的 管理 ，進入RDS實例的管理控制台。

2.創建RDS數據庫賬號

如何創建RDS數據庫賬號。

1. 通過如下步驟，進入數據庫賬號創建頁面：
1）在RDS實例的管理頁面，點擊左側欄的 賬號管理 ，進入數據庫賬號管理頁面。
2）在 用戶賬號 頁面，點擊右側的 創建賬號 。


2. 填寫如下信息，完成數據庫賬號創建：
說明：如下參數的具體說明，煩請參考 背景知識 小節中 RDS 數據庫帳號 的 創建數據庫帳號 部分。
1）數據庫賬號：請根據 輸入框 下端的 命名規則 ，輸入 數據庫賬號名稱，例如：lab_user 。
2）密碼 ：請根據 輸入框 下端的 密碼規則 ，輸入 密碼，例如：Passw0rd；
3）確認密碼：再次輸入創建的密碼。
4）完成如上信息后，點擊 確定 。

3. 自動返回 賬號管理 的 用戶賬號  頁面，查看到新建賬號 lab_user 的 狀態 為 激活 。

3.創建RDS數據庫

在RDS實例上創建數據庫。

1. 通過如下操作步驟，進入數據庫創建頁面：
1）點擊左側欄的 數據庫管理 ，進入數據庫管理頁面。
2）在右側的 數據庫管理 頁面，點擊右側的 創建數據庫 ，進入創建頁面。

2. 在創建頁面中，添加如下信息：
說明：如下參數的具體說明，煩請參考 背景知識 小節中 RDS 數據庫 的 創建數據庫 部分。
1）數據庫（DB）名稱：請根據 輸入框 下端的 命名規則 ，輸入 數據庫名稱，例如：lab_db 。
2）支持字符集：默認設為 utf8 。
3）授權帳號：選擇新建數據庫賬號 lab_user。
4）賬號類型：默認設置為 讀寫 。
5）完成如上配置信息后，點擊底部的 確定 ，完成數據庫的創建。

3. 在 數據庫管理 頁面中，等待1分鍾左右，點擊右上角的 刷新 ，可以查看到數據庫 lab_db 的 數據庫狀態 為 運行中 ，且 綁定賬號 為 新建數據庫賬號 lab_user 。

4.登錄 RDS 數據庫

通過RDS管理控制台，登錄到 新建RDS數據庫。

1. 在 賬號管理 頁面，點擊頂部右側的 登錄數據庫 ，彈出數據庫登錄頁面。



2. 通過如下步驟，查看登錄的 網路地址：端口 的信息：
1）返回RDS管理控制台，點擊左側 基本信息 。
2）點擊 內網地址 右側的 復制地址 ，拷貝RDS實例的內網連接地址。
3）查看 內網端口 為 3306 。


3. 返回數據庫管理控制台，輸入如下信息：
1）第一行：輸入 內網地址:3306 ，其中 內網地址 為 上一步拷貝的 內網地址 的信息。
2）第二行：輸入 新建數據庫賬號 ，lab_user 。 
3）第三行：輸入 新建數據庫賬號密碼 ，Passw0rd 。
4）點擊 登錄 ，登錄到數據庫管理系統。


4.  下一小節，將在DMS管理控制台中，導入測試數據，並查看。

5.導入測試數據

導入客戶模擬數據到 新建數據庫 中，並查看數據。

1. 通過如下操作步驟，進入數據庫導入的頁面：
1）點擊頁面頂部的 數據處理 。
2）在彈出的下拉菜單中，點擊 導入 。

2. 通過如下操作步驟，導入本地測試數據：
1）點擊本小節頁面左側的 附件下載 ，然后下載文件 lab.sql 作為測試數據到本地。
2）返回 數據庫管理控制台 的 導入 頁面，點擊 新增任務 ，創建導入數據任務。
3）在 附件 欄右側，點擊 選擇附件 ，並選擇下載 lab.sql 文件的本地保存路徑。
4）完成后，點擊底部的 開始 ，導入測試數據。
5）等待幾秒鍾，查看到導入 進度 為 100% ，證明導入成功。
6）點擊底部的 關閉 ，關閉頁面。

3. 在 導入歷史列表 中，可以查看到狀態為 完成 的任務。

4. 通過如下步驟，查看導入表的信息：
1）在左側欄的左上角下拉框中，可以查看當前數據庫為 新建數據庫 ：lab_db 。
說明：若不是，點擊下拉按鈕，並選擇對應需要查看的數據庫名稱。
2）點擊數據庫顯示右側的 刷新 鍵，刷新數據庫信息，可以查看到通過sql文件導入的表信息。
3）點擊 表名 ，例如：admin_app_version ，可以查看到所有對表的操作，例如：SQL操作數據、打開表 等等。


5. 下一小節，將介紹如何查看數據庫的診斷報告。

6.查看診斷報告

查看實例的診斷報告。

1. 通過如下步驟，進入診斷報告頁面：
1）點擊頂部 性能 。
2）在下拉菜單中，點擊 診斷報告 。

2. 通過如下步驟，發起實例診斷：
1）在診斷報告的主頁面中，點擊左側的 發起診斷 。
2）彈出提示，點擊 Yes 。
3）彈出新的提示，點擊 Yes 。
4）重新加載 頁面（刷新），查看診斷報告的 狀態 變為 診斷完成 。

3. 通過如下步驟，查看診斷報告，並進行分析：
1）點擊診斷報告右側的 查看報告 ，彈出診斷報告頁面。
2）可以在頁面中，查看到如下的診斷報告信息：

實例規格
健康狀況
SQL優化
空間診斷
會話列表
慢SQL匯總
性能趨勢圖

九.數據庫上雲遷移實踐 

1.查詢源數據庫

登錄本地部署的MySQL數據庫實驗環境，並查看本地MySQL源數據庫中的信息。

1. 通過本地遠程連接服務，遠程登錄到 我的實驗資源 中的 MySQL源數據庫 ECS實例。
說明：遠程連接的詳細操作步驟，請參考 幫助文檔 的 遠程連接服務器ECS 中 遠程訪問Linux系統。登錄時，請使用 我的實驗資源 提供ECS實例的 外網地址 ，用戶 和 密碼 。

2. 運行如下命令，登錄到ECS實例的MySQL數據庫：
mysql -u root -p
Enter password:  （輸入123456，輸入的密碼不會顯示）

3. 通過如下操作，查看源數據庫bakery、其中的表customer和product，以及表中的數據。
1）執行如下命令，查看數據庫信息。
mysql> show databases;
2）執行如下命令，切換數據庫為bakery：
mysql> use bakery;
3）執行如下命令，查看表中數據：
mysql> show columns from customer;
mysql> show columns from product;
mysql> select * from customer;
mysql> select * from product;

2.建立目標數據庫

在RDS管理控制台上，創建數據庫和數據庫賬號

1. 首先，通過如下操作步驟，登錄到阿里雲RDS管理控制台：
1）點擊頁面左側導航欄處的 實驗資源 。
2）點擊 前往控制台 ，進入阿里雲管理控制台RAM登錄界面。
3）依次輸入 實驗資源 提供的 子用戶名稱 ，子用戶密碼 。
4）點擊 登錄 ，進入阿里雲管理控制台。子用戶登錄子用戶密碼
5）在 我的產品 欄目下，點擊 雲數據庫RDS版 ，進入阿里雲RDS管理控制台。



2. 通過如下步驟，進入實驗資源 雲數據庫RDS實例 的管理控制台。
1）在頂部地址欄，選擇 實驗資源 提供的 地域 信息。
2）在搜索欄中，輸入 實驗資源 提供的 目標數據庫 的 實例ID ，並點擊 搜索 。
3）在下方搜索結果中，點擊實例右側的 管理 ，進入RDS實例的管理控制台。

3. 通過如下步驟，進入數據庫賬號創建頁面：
1）在RDS實例的管理頁面，點擊左側欄的 賬號管理 ，進入數據庫賬號管理頁面。
2）在 用戶賬號 頁面，點擊右側的 創建賬號 。

2. 填寫如下信息，完成數據庫賬號創建：
1）數據庫賬號：請根據 輸入框 下端的 命名規則 ，輸入 數據庫賬號名稱，例如：lab_user 。
2）密碼 ：請根據 輸入框 下端的 密碼規則 ，輸入 密碼，例如：Passw0rd；
3）確認密碼：再次輸入創建的密碼。
4）完成如上信息后，點擊 確定 。
5）返回 賬號管理 的 用戶賬號 ，查看到新建賬號 lab_user 的 狀態 為 激活 。

3. 通過如下操作步驟，進入數據庫創建頁面：
1）點擊左側欄的 數據庫管理 ，進入數據庫管理頁面。
2）在右側的 數據庫管理 頁面，點擊右側的 創建數據庫 ，進入創建頁面。

4. 在創建頁面中，添加如下信息：
1）數據庫（DB）名稱：請根據 輸入框 下端的 命名規則 ，輸入 數據庫名稱，例如：lab_db 。
2）支持字符集：默認設為 utf8 。
3）授權帳號：選擇新建數據庫賬號 lab_user。
4）賬號類型：默認設置為 讀寫 。
5）完成如上配置信息后，點擊底部的 確定 ，完成數據庫的創建。
6）在 數據庫管理 頁面中，等待1分鍾左右，點擊右上角的 刷新 ，可以查看到數據庫 lab_db 的 數據庫狀態 為 運行中 ，且 綁定賬號 為 新建數據庫賬號 lab_user 。

3.數據庫遷移

  本小節的主要內容：通過數據遷移服務，將本地MySQL中的源數據庫中的數據遷移到RDS的新建目標數據庫 lab_db。

1. 通過如下步驟，進入數據遷移管理頁面：
1）點擊頁面右上角的 遷移數據庫 。進入 數據遷移服務 的管理頁面。
2）點擊左側欄 數據遷移 ，進入數據遷移的管理頁面。
3）點擊 數據遷移 右上角的 創建遷移任務 。

2. 新建一個遷移任務，按照如下步驟，輸入 源庫信息 的配置信息：
1)   任務名稱：自定義一個名稱，以便能找到自己的數據遷移任務。
2）實例類型：選擇 有公網IP的自建數據庫 。
3）實例地區： 選擇 實驗資源 中分配的 地域 ，例如：華東1 
4）數據庫類型：選擇 MySQL 。
5）主機名或IP地址：輸入 實驗資源 中分配的 MySQL源數據庫 ECS實例的 彈性IP。
6）端口：使用默認端口號 3306
7）數據庫賬號：輸入ECS上自建MySQL的 數據庫賬號 ，root；數據庫密碼：自建MySQL的訪問密碼，123456
8）完成如上配置后，點擊右側的 測試鏈接 ，測試自建MySQL數據庫的連通性，若顯示 測試通過 ，證明連接成功。否則，請檢查如上配置信息是否正確。數據遷移名稱

3. 按照如下步驟，完成 目標庫信息 的配置信息：
1）實例類型：選擇 RDS實例
2）實例地區：選擇 實驗資源 中分配的 地域 ，例如：華東1 
3）RDS實例ID ：選擇 實驗資源 中提供的 目標數據庫 的 實例ID 
4）數據庫賬號：輸入RDS實例中新建的 數據庫賬號 ，lab_user ；數據庫密碼：新建數據庫的密碼，Passw0rd
5）完成如上配置后，點擊右側的 測試鏈接 ，測試RDS賬號的連通性，若顯示 測試通過 ，證明連接成功。否則，請檢查如上配置信息是否正確。
6）完成如上的配置后，點擊右下角的 授權白名單並進入下一步 。



5. 通過如下步驟，配置遷移任務的 遷移類型及列表：
1）勾選左側 遷移對象 中的本地MySQL數據庫中的bakery 
2）點擊 > 
3）數據庫 bakery 移動到 已選擇對象 的列表中。
4）完成如上配置后，點擊右下角的 預檢查並啟動 。



6. 等待3秒鍾左右，完成預檢查，檢查結果為 預檢查通過100% ，點擊 下一步 。
說明：若預檢查未通過，請根據錯誤提示和如上的操作步驟，核對遷移任務的配置是否正確。

7. 按照如下內容，購買遷移任務的配置：
1）鏈路地域：使用默認地域 
2）鏈路規格：選擇 small
3）勾選 《數據傳輸（按量付費）服務條款》
4）完成如上配置后，點擊 立即購買並啟動 

8.此時，頁面遷移任務的狀態為 遷移中 ，等待3-4分鍾，狀態變為 已完成 。

4.查閱遷移結果

在RDS的管理控制台，查看數據遷移結果。

1. 點擊頂部的 產品與服務 ，然后，依次選擇 雲計算基礎服務器，數據庫。點擊 雲數據庫RDS版，進入RDS管理控制台。
產品與服務-RDS
2）在 實例列表 界面中，點擊右上角的 登錄數據庫 ，進入數據庫管理登錄界面。
3）在彈出的頁面中，輸入如下的信息：
網絡地址:端口：請輸入 實驗資源 中，RDS 目標數據庫 提供的 鏈接地址 以及端口號 3306。
     例如：提供的RDS 鏈接地址為
rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com
，則輸入信息為：
rm-uf6l90d950j1o7890.mysql.rds.aliyuncs.com:3306
用戶名：輸入新建數據庫賬號 lab_user
密碼：輸入新建數據庫密碼 Passw0rd
   完成后，點擊 登錄 。
rds數據庫登錄


2. 進入數據庫管理頁面，證明數據庫遷移成功。
遷移結果