摘要：當電商平台對AI算法模型的需求越來越多，特征數據平台的統一建設是不少開發團隊頭疼的事情。因為只有通過統一的特征數據存儲，才能改變原有的“數據孤島”，解決生產重復造輪子的窘境。
本文分享自華為雲社區《華為雲企業級Redis：助力VMALL打造先進特征平台》，作者： GaussDB 數據庫 。
1 客戶介紹
華為商城（VMALL）是華為公司旗下自營及精選好物的官方電商平台，本着“智慧生活、精選好物”的理念，為消費者提供最齊全的華為品牌產品及鴻蒙生態產品，覆蓋了辦公、出行、居家、運動、娛樂等生活需求，致力於將全場景智慧生活帶給更多的消費者。
雲數據庫GaussDB(for Redis)作為華為雲旗下企業級Redis，致力於為客戶提供穩定可靠、超高並發，且能夠極速彈性擴容的KV存儲服務。GaussDB(for Redis)在VMALL特征工程平台建設中，起到了關鍵作用。
2 業務痛點
VMALL使用了大量的AI和大數據技術，用來支撐智能推薦、精准營銷、智能搜索、選品投放等業務的高效開展。
隨着業務的快速發展，系統對AI算法模型的需求日益增多。當前的AI開發流程中，“模型訓練”和“模型部署”階段都已經有成熟的平台支撐，唯獨“特征數據准備”階段缺乏通用平台，導致了“線上推理和線下訓練的特征數據不一致”、“各算法模型獨立開發，特征生產重復造輪子”、“特征工程投入時間多（占據算法開發耗時的60%-70%）”3個關鍵問題，嚴重影響了研發效率，阻礙業務發展。
為解決此問題，VMALL大數據團隊開始着手建設統一的特征平台。
特征平台的核心部件是特征存儲數據庫，只有通過統一的特征數據存儲，才能改變原有的“數據孤島”窘境，徹底解決“不一致”、“難共享”、“效率低”3大問題。
但也正是由於特征數據庫需要承擔打通線上/線下多個場景，對接批式/流式多種數據源，滿足訓練/推理多樣消費需求，對特征數據庫的選型提出了非常高的要求：需要找到一款數據存儲服務，既能提供低成本的海量數據存儲並方便擴容，又能保證數據的絕對可靠和服務的高可用；既要滿足低時延的線上推理，又要滿足高吞吐的線下訓練；既能提供簡潔的KV接口供下游輕松消費，又要兼容主流的批式/流式處理引擎（Spark/Flink等）供上游快速接入。
經過深入調研，VMALL大數據團隊最終選擇了GaussDB(for Redis)作為特征數據庫，下面就讓我們詳細看看GaussDB(for Redis)是如何滿足上述苛刻要求的。
3 解決方案
特征平台使用GaussDB(for Redis)的主要流程
1）特征生產（抽取、處理、存儲）
- 離線特征（靜態特征）：
定時調度Spark作業，從各種數據倉庫、數據湖中提取數據，進行特征工程處理后，存入GaussDB(for Redis) 。
- 實時特征（動態特征）：
Flink消費Kafka，或流式存儲中的數據，持續更新到GaussDB(for Redis)中。
2）特征消費
- 線上推理：
模型已經部署到生產，開始承接業務，需要低時延，高並發的消費數據，從GaussDB(for Redis)
中讀取數據。
- 線下訓練：
GaussDB(for Redis)存有最新的特征數據，OBS中存有全量的特征數據。
1）對於使用靜態特征的較為簡單的模型，可以直接從OBS中獲取特征使用。
2）對於使用實時特征的場景（如實時推薦系統），由Flink從Kafka中實時取得用戶請求記錄，並從GaussDB(for Redis) 查詢取得特征，將記錄和特征拼接成訓練樣本，存儲到文件中，供線下訓練使用。
特征平台對GaussDB(for Redis)的核心訴求
結合上述業務場景，總結特征平台對GaussDB(for Redis)的核心訴求如下：
GaussDB(for Redis)滿足特征平台訴求的關鍵方案
1）業務接口
GaussDB(for Redis)兼容社區Redis5.0接口，支持和Spark/Flink Connector的對接，很好的滿足了業務的使用需求
2）穩定性
GaussDB(for Redis)采用自研內核，解決了社區Redis的fork，oom等老大難問題，具備了企業級應用的穩定性
3）可靠性
數據零丟失：逐條命令實時落盤，底層三副本冗余存儲，無數據丟失風險
數據強一致：基於GaussDB公共的共享存儲部件DFV，實現三副本強一致，多點訪問無臟讀風險
4）成本
GaussDB(for Redis)實現數據的自動冷熱分離，采用內存+SSD的混合存儲方案，大幅降低了客戶的使用成本。按照VMALL的特征體量測算，億級用戶，每個用戶的特征數量是數K-數10K，GaussDB(for Redis)一年的費用僅3W出頭，如果選用社區Redis，費用在20W+
5）性能
GaussDB(for Redis)采用多線程架構，並且所有節點可以同時支持寫入，因此可以較好滿足批量灌庫的高吞吐寫需求。讀方面，基於冷熱分離方案，熱數據常駐內存提供穩定低時延；冷數據讀涉及IO交換，存在一定長尾，但可滿足VMALL業務要求（目前VMALL線上GaussDB(for Redis)實例讀時延平均0.16ms，P99 0.4ms，P9999 1.5ms）
6）可擴展性
基於計算存儲分離架構，底層數據可被任一節點訪問，擴容過程不發生數據拷貝搬遷，因此速度極快；計算節點擴容分鍾級完成，存儲擴容秒級完成，RTO < 10秒
綜上，與社區Redis相比，GaussDB(for Redis)提供了更穩定的使用體驗，更可靠的數據存儲，更低廉的使用成本和更便捷的擴展能力，是更適合像VMALL特征平台這樣大規模電商大數據應用的企業級Redis服務。因此，VMALL特征平台最終選擇GaussDB(for Redis)作為特征數據的存儲服務。
4 上線后效果
目前VMALL已完成一期的特征數據遷移，包括“特征生產”業務中的“Spark離線特征生產”，以及“特征消費”業務中的“線下訓練Flink特征查詢”，已遷移到GaussDB(for Redis)。
當前GaussDB(for Redis)運行平穩，業務高峰時段時延穩定，能夠滿足VMALL當前業務要求。其中，讀平均時延0.2ms（p99<0.4ms），寫入平均時延0.6ms（P99<2ms）。
VMALL當前已啟動二期的特征數據遷移，計划完成包括“Flink在線特征生成”，“線上推理”等核心業務的接入。
5 總結
本文介紹了華為商城（VMALL）在建設特征平台過程中，對特征數據存儲服務的選型和應用。由此可見，華為雲GaussDB(for Redis)服務在成本，可靠性，可擴展性等方面具有優勢，可作為特征數據存儲的理想方案，提供企業級的穩定可靠的Redis服務能力。
企業級Redis專場熱賣中，不限新老用戶，首月免費（鏈接）：
https://console.huaweicloud.com/nosql/?region=cn-north-4&promotionId=P2109280321005721G5P1YZ0VUN22R&promotionPlanId=PDP2109280321005041XSEIKF05B9C4C&buyTime=1&dbType=redis&flavorId=large.4#/instance/create