歡迎大家前往騰訊雲+社區，獲取更多騰訊海量技術實踐干貨哦~
作者：馮偉源，高級工程師，騰訊雲Redis系統運維負責人。6年DBA經驗，一直從事SQL優化、實例調優、數據庫架構、海量數據庫集群運維、運營平台建設和管理等工作。為 QQ、Qzone、QQ音樂、微雲、騰訊雲等業務提供數據庫服務。
導語：騰訊雲Redis自2015年誕生以來，爆發時增長，為上萬家客戶提供服務。作者作為唯一的運維負責人，面對三大挑戰是如何破解？
- 元信息的一致性管理
- 萬台設備高效運維
- 如何實現智能調度
解讀騰訊雲Redis
騰訊雲Redis是基於騰訊內部分布式緩存領域在QQ、音樂、Qzone、微雲等業務多年的技術沉淀，為客戶打造除的一款高可用、高可靠的Redis服務平台。其業務發展迅速，目前有上萬台設備，QPS已達億級。
騰訊雲Redis目前分別提供主從版、集群版、新一代三個版本。在使用上，基本兼容 Redis 協議，支持字符串、鏈表、集合、有序集合、哈希表等多種數據類型，能幫助客戶完成不同類型的業務場景開發。騰訊雲Redis支持主從熱備，提供自動容災切換、數據備份、故障遷移、實例監控、在線擴容、數據回檔等全套的數據庫服務。
運營問題
我們在運營Redis的過程中，遇到各種各樣的問題總結如下：
-
環境：網絡、TCP參數設置的問題；
-
設計：做持久化時，頁表復制造成的卡頓；
-
開發者：慢查詢，連接風暴，缺流控等；
-
最終用戶：比如電商的秒殺活動，訪問陡增導致處理能力到極限。
總的來說，是服務運行過程中，資源的需求與供給不匹配。
三大挑戰
在應對這些運營難題過程中，我們陸續地翻越三座大山：
挑戰一：元信息的一致性管理
元信息的混亂導致一些運維故障在日常運營中經常碰到？最基本的四類元信息是集群、設備、實例和配置。 我們解決這類問題的時候定3條原則。
- “全”---元信息梳理統計全；
- “准”---和現網各種信息保持一致；
- “一”---統一的入口，提供統一的API，來進行數據的讀取與修改，讓元數據的變更可以被審計。
首先對所有元信息進行梳理，提取各種元信息的公共特征，分類建模，然后抽象出模板對象的屬性與方法，定義數據結構，最后設定數據同步與消費的方式，對外提供API接口。這樣一套基本的DB-CMDB子系統就建成了。也就是數據庫層統一元信息管理系統。
設計思路上，采用通用框架，可以管理不同數據庫類型的信息，也為后面的運維自動化奠定基礎。
挑戰二：萬台設備的作業方式
系統提供服務之初，整體運維規模還不大，很多運維工作可以通過手工解決。在客戶量爆發后，1~2個DBA是無法通過手工解決萬台設備運營？更無法面對億級QPS性能沖擊？
為了應對規模化的運營，我們打造“作業平台”的系統，來承載我們的運維邏輯。
- 平台化---原子操作，工具托管在平台上
- 流程化---工具串成流程，流程化，可復用
- 可視化---各類運維操作可視化，簡單明了
首先將腳本編輯作為工具，托管在平台上。這種工具的原則是原子操作，只有失敗與成功兩種狀態。工具串起來成為流程，每個工具可以被多個流程復用，這樣大部分運維操作，包括上下架機器，Redis的遷移，擴縮容都可以通過流程來實施。同時各類操作均通過可視化來展示，簡單明了。
目前騰訊雲Redis作業平台已建成數百種場景化的工作流程，日調用次數達上千次，覆蓋大部分的運維場景，變更導致的事故減少，服務更為穩定可靠，場景化運維工作效率提升300%。通過平台化、可視化、流程化的“作業平台”，整個團隊的工作協同，積累，傳承做得更好。
挑戰三：如何實現智能調度
手工觸發的運維流程，只能算是半自動化。我們該如何把整體的運營工作打造成全自動化呢？
- 自動化調度系統
- 決策系統
自動化調度系統：對於按事件和時間調度系統異常時觸發的告警，第一是按時間調度，比如每周三下午3點重啟一個服務，通過時間來觸發。第二是按事件調度，我們把每一種告警，都作為一種事件，注冊到調度系統中。調度系統捕獲到事件后，可以調用作業平台的任務或者流程去完成一些工作，這就形成一個運維的閉環。
決策系統：在處理一個事情之前，我們還需要獲取各種信息，如何根據信息做決策？一個決策系統，先發起決策請求，過程中可能會涉及到一些決策樹，或者AI決策等，根據決策的結果，再確定調哪些作業流程，或者是否調作業流程。
總結運營之道
運維成熟度的衡量
運維成熟度在騰訊雲的成熟度衡量：從比較原始的方式，到實現一些標准的工具。再到可視化、流程化、平台化，以及實現能基於時間與事件觸發的自動調度平台，實現全自動化的運維閉環。智能化解讀，通過機器學習，深度學習的方法能幫助我們更好地做一些決策，比如說數據庫自動調參，智能分析實現數據的冷熱沉降；最后，通過業務畫像，數據分析，成本優化等為業務帶來更多的價值。
總結：技術支持業務，技術推動業務，技術引領業務。
雲時代下對DBA的全面要求
雲時代下，DBA應該對自身能力提出更高更全面的要求。我們不但要保證系統高效穩定，協助好使用者，還要在產品打造方向、架構設計的細節上，組件的源碼，社區的跟進甚至是引領，我們都需要有自己的積累與影響力。
我們既是運維，也是開發，也是產品。這也是雲時代下，服務化、DO合一的一個趨勢！
**此文已由作者授權騰訊雲+社區發布，原文鏈接：https://cloud.tencent.com/developer/article/1140691?fromSource=waitui **
歡迎大家前往騰訊雲+社區或關注雲加社區微信公眾號（QcloudCommunity），第一時間獲取更多海量技術實踐干貨哦~