本文由雲+社區發表
作者:邵宗文,2009年加入騰訊,現為騰訊雲數據庫專家產品經理。之前曾負責為OMG事業群構建數據庫平台,部署,規划及運維支持,為騰訊網,新聞客戶端,快報,視頻,財經,體育等提供了穩定的服務。06-09年曾任新浪數據庫專家,數據庫平台主管,有非常豐富的海量大數據經驗。
下方視頻為邵宗文在未來大會演講實錄。每個行業對數據庫有不一樣的要求,雲上數據庫通過智能化運維,數據會越來越多,准確度也越來越高,模型也會越來越精准。騰訊雲上數據庫如何滿足用戶多樣化的訴求?一起來聽聽吧。
數據庫SaaS服務體系
數據SaaS服務涵蓋用戶從上雲,日常運維使用,數據安全審計,及訂閱商業分析。
騰訊雲數據庫讓您可以輕松在雲端部署、使用數據庫。通過雲數據庫MySQL,您在幾分鍾內即可部署可擴展的數據庫實例。不僅經濟實惠,而且可以彈性調整硬件容量的大小而無需停機。TencentDB for MySQL 提供備份回檔、監控、快速擴容、數據傳輸等數據庫運維全套解決方案,為您簡化 IT 運維工作,讓您能更加專注於業務發展。
數據庫遷移
數據傳輸服務(Data Transmission Serivce DTS)提供數據遷移、數據同步、數據訂閱於一體的數據庫數據傳輸服務,幫助您在業務不停服的前提下輕松完成數據庫遷移,利用實時同步通道輕松構建異地容災的高可用數據庫架構。數據傳輸服務DTS的目標是幫用戶將復雜的數據交互工作承擔下來,讓用戶可以專注於上層的業務開發。
數據遷移
支持不同環境及不同類型的數據庫遷移。支持遷移的源庫包括有公網IP的外網自建數據庫,通過VPN、專線等網絡環境接入騰訊雲的自建數據庫,雲服務器CVM自建數據庫;目標庫為TencentDB for MySQL實例。支持查看所有遷移任務的狀態及多任務批量操作。 DTS提供的數據遷移功能是您數據上雲的的最佳選擇。數據遷移僅需幾步設置,則可幫助您完成數據從本地遷移上雲的一系列繁瑣工作。遷移過程中並不影響源數據庫繼續對外提供服務,最小化上雲過程對您業務的影響。
提供自建 MySQL 數據庫到雲數據庫 TencentDB for MySQL 的連續數據復制,用戶可在不停服的情況下對數據進行在線熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊雲雲服務器 CVM 上 MySQL 數據庫遷移。實例有關聯災備實例暫不支持數據傳輸服務,請建工單進行遷移。(通過增量遷移的時間建議不超過15天,請確保主從追上之后單擊遷移完成按鈕。)
1.Redis 遷移
在線遷移工具暫不支持的遷移類型:主從版、集群版、自研CKV+引擎 三者實例間的遷移。
遷移注意事項
- 目前僅支持遷移到騰訊雲 redis 的主從版本;
- 為保障遷移效率,CVM 自建實例遷移不支持跨地域遷移;
- 由於 rdb 協議限制,暫不支持自建實例 redis 3.2 版本的遷移;
- 外網實例遷移時,請確保源實例服務在外網環境下可訪問;
- 進行遷移任務時,只允許遷移正常運行狀態下的實例,且未初始化密碼或者有其他任務在執行中的實例,是不能夠遷移的;
- 目的實例必須是沒有數據的空實例,遷移過程中,會鎖住實例,不能對實例進行寫入操作;
- 遷移成功時,由業務側驗證數據后,可斷開源實例連接,將連接切換到目標實例。
2.PostgreSQL 數據庫遷移
數據傳輸服務 DTS 支持數據遷移功能,提供自建 PostgreSQL 數據庫到雲數據庫TencentDB for MySQL的連續數據復制,用戶可在不停服的情況下對數據進行在線熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊雲雲服務器 CVM 上 PostgreSQL 數據庫遷移。數據遷移目前只支持 PostgreSQL 數據庫的版本是9.3.x,9.5.x,同時9.3.x 不支持增量同步,9.5.x 需要通過在線同步插件才能支持。
數據庫審計
數據庫審計是騰訊雲為了解決行業客戶遇到的諸如金融審計需求,以及實際運行中遇到的安全防護,SQL 延遲性能問題等多種綜合需求而提供的產品。
1.全面審計
- 數據庫訪問的全部記錄,最大程度滿足用戶審計需求,可追溯對應用者的身份和行為;
- 准確審計:用戶可設置規則,只保證規則匹配到的審計規則有數據保存,規則也可以設置為全量審計;
- 提供海量 TB 級數據存儲,可以后續根據用戶要求提供長期備份。
2.高效審計
- 與目前其他通過旁路做審計檢查方式不同,騰訊雲數據庫 TencentDB for MySQL 通過內核插件進行上報;
- 后期還會逐步增加實時阻隔功能,另外在實際測試影響性能不到 2%;
- 高效分析:提供用戶、IP、客戶端工具、訪問時間、操作對象、SQL 操作類型、成功與否、訪問時長、影響行數等多種檢索條件的快速分析與檢索,實測 30 多億級數據 6-8 秒內響應。
背景說明
管理風險
系統管理員存在的誤操作、違規操作、越權操作,損害業務系統安全運行;
多人公用一個帳號,責任難以分清;
第三方開發維護人員的誤操作,惡意操作和篡改;
超級管理員權限過大,無法審計監控。
技術風險
應用系統開發商后門或漏洞;
離職員工留下后門。
政策風險
無法達到國家等級保護(三級)明確要求(7.1.3.3);
滿足不了行業信息安全合規性文件要求——如人行《金融行業信息系統信息安全等級保護實施指引》;
數據訂閱
數據傳輸服務 DTS 提供了基於 binlog 的增量數據訂閱功能,僅需幾步簡單操作,即可訂閱雲數據庫 TencentDB for MySQL 的增量更新數據:
- 在騰訊雲 DTS 控制台購買並創建 TencentDB for MySQL 實例的訂閱通道。
- 使用 DTS 數據訂閱 SDK 連接這個訂閱通道,訂閱並消費增量數據。
原理
我們會通過模擬從庫向主庫獲取對應 binlog 內容進行分析,大概架構圖如下,我們會通過解析 binlog ,按照訂閱通道配置的庫表進行分析,所以幾乎對主庫沒有影響。
注意:
- 目前我們對訂閱的消息內容默認會保留最近 3 天。
- 另外如果訂閱整庫的話,后續新增的表也是會在原有訂閱通道出現,不需要對原訂閱通道進行新增配置操作。
- 目前只支持 TencentDB for MySQL5.6,后續會很快支持 TencentDB for MySQL5.7。
- 數據訂閱暫不支持view,觸發器和外鍵。
- 數據訂閱初次配置需要對相關 binlog_row_image 參數做調整,會根據符合條件自動 kill 老的 session 使參數立即生效。
- 數據訂閱目前支持的字符集包括 latin1,utf8,utf8mb4。
總結
未來的雲數據庫將會成為企業IT架構的“水,電,煤”,可以按需快速啟動,支持各種類型的數據,滿足所有種類的業務,無限存儲,無服務器,全智能,自驅動,零運維,閑時免費,覆蓋全球並能自動擴展到近用戶端,提供穩定可靠自由擴展的服務,騰訊雲數據庫將不懈的努力將更多的產品能力普惠世界。
此文已由騰訊雲+社區在各渠道發布
獲取更多新鮮技術干貨,可以關注我們騰訊雲技術社區-雲加社區官方號及知乎機構號