轉http://blog.csdn.net/chichengjunma/article/details/78510444
2017.11.11天貓雙11背后的阿里技術
在阿里雲上與所有新技術相遇
////////////////////////////////////////////////////////////////
2017雙十一阿里技術匯總
機器智能推薦系統：生成個性化頁面，實現人見人愛的“千人千面”；
魯班AI設計師：自動生成多樣廣告圖，每秒制作8000張雙11海報，沒有一張雷同；
阿里小蜜機器人：承擔海量客服咨詢量，帶來傳統服務行業模式的變化與體驗提升；
IDC智能機器人：365天*24小時巡檢不間斷，接替了運維人員以往30%的重復性工作，實現了數據中心無人值守；
人機協同的時代已然到來，阿里強大的智能技術，為雙11創造了獨一無二的體驗：
阿里語音技術：將人類語音轉換為機器可讀信息，使產品“能聽、會說、懂你”；
AliNLP平台：通過機器理解人類語言的含義，讓機器更懂你；
阿里圖像技術：讓機器識圖，雙11當天拍立淘成為消費者買買買的便捷方式；
默默無聞、卻又強大可靠的技術基礎設施：
阿里基礎網絡：具備自愈能力，實時故障發現和收斂，並自動恢復，全面保障雙11業務穩定運行；
混部技術：基於全網pouch容器化和Sigma調度技術，雙11期間混部集群資源利用率大幅提升，IT資產新增成本顯著削減；
基礎中間件：掌控超千億規模消息推送和分布式數據庫調用，支撐雙11洪峰消息；
新一代分布式數據庫集群X-Cluster：全面兼容MySQL 5.7，服務雙11淘寶天貓核心交易系統，支撐零點峰值交易；
實時計算平台Blink：支撐阿里絕大部分實時計算任務，雙11當天毫秒級延遲；
離線計算平台MaxCompute：承載阿里所有離線計算任務，支撐每日百萬級規模作業；
////////////////////////////////////////////////////////////
新零售技術創新
時尚大腦
雙11期間，時尚大腦將在多個品牌的線下門店擔任時尚顧問。時尚大腦學習了有2萬多名穿衣大人近50萬套潮流搭配模板，已經達到專業搭配師的水准。
門店發貨/自提
實時把訂單分配到離消費者最近的門店，由門店發貨到消費者，或者消費者上門取件，做到了人貨提前匹配。
智慧門店天梭
通過將門店的客流，商品和交易數字化，結合阿里巴巴線上的用戶圖像，實現門店的精准營銷和智能運營，使線下門店也具備了線上旗艦店的數字化運營能力，調高運營效率。
隨身購物袋
用戶可以在門店掃條碼或者掃商品，任意選擇線上線下交易，還能根據個人喜好，自動推薦相關商品，解決搭配問題，對於商家來說提高關連轉換率。
數據銀行
打通線上營銷，智能智慧門店。線下數字化門店，用數據指導全渠道經營。
支付
OceanBase
雙11支付峰值及數據庫處理峰值，是OceanBase在發揮關鍵作用，這是螞蟻金服自主研發的金融級分布式關系型數據庫，可以存放萬億條以上的記錄。它就像一位超級會計師，單台普通的服務器每秒可以支撐百萬筆處理量，平均一次花的時間是零點幾毫秒。
離在線混部
2017年雙11，螞蟻金服首次運用離在線混合部署，在雙11支付峰值來臨時，借調處理離線數據服務器的計算資源，進一步降低大促技術成本，提升效率。據估算，這項技術能為2017年雙11減少近兩千萬台服務器的投入。
GeaBase
這是一個金融級圖數據庫，“圖”，是網絡關系的章節，它能從百億個節點，千億條邊（關系）的海量數據規模中迅速鎖定目標關聯，是支付寶風控系統背后的關鍵技術支撐之一。
支付工具精准推薦
精准用戶用了什么卡支付，避免用戶到了收銀台還要切換，讓用戶下單更快。
海淘正品溯源
運用區塊鏈技術，為海淘，新西蘭等國家進口食品提供食品安全溯源支持，和此前自家自錄入商品信息不同的是，區塊鏈是讓多位“記賬師”公正、獨立、不可抵賴地完成記賬。
雲計算
阿里雲彈性計算ECS
為阿里集團及全社會提高安全、穩定目極高彈性的計算服務，用戶使用阿里雲ECS企業級雲服務器可以在5分鍾內交付一個中型互聯網公司規模的計算平台，助力平穩承接雙十一期間數十倍甚至百倍於平時的業務流量，用戶的每一次瀏覽和點擊背后都有ECS提供高性能、穩定計算力的支撐-本地磁盤210w隨機IOPS，450w網絡PPS能力，全球領先的性能滿足雙十一脈沖計算的極致性能要求。
ApsaraCache
ApsaraCache是阿里雲深度定制的高性能、搞穩定的Redis雲服務，為今年雙11提高了萬千級別的TB級別的高性能訪問緩存能力。
阿里雲數據庫RDS
阿里雲數據庫保障今年丟單和故障的風險，大促期間，商家訂單量較平時增加十倍甚至百倍級別，RDS靈活的高彈性升級能力幫助商家瞬間提升RDS性能，應對高並發流量，當前已有99%的訂單通過磐石塔安全，高效處理。
阿里雲內容分發網絡CDN
在雙11期間全球數以億計的買家同步下單的情況下，阿里雲內容分發網絡CDN以6大洲60多個國家和地區的1200+個節點保證每一位買家都能快速瀏覽點擊查看高清的產品介紹圖片、視頻，流暢下單。
日志服務
日志服務經阿里集團多年大數據場景錘煉而成，提供一站式實時數據采集，消費，投資和查詢分析服務，雙十一支撐阿里雲/螞蟻金服全站，及大量阿里集團重要業務。
移動雲
雙十一期間移動雲HTTPDNS承載了全網移動App流量調度和解析，移動推送平穩保障了雙十一0點尖刺流量峰值和消息的及時送達，移動雲依靠近十年的阿里巴巴移動技術沉淀確保業務在尖峰時刻的完美表現。
阿里雲OSS
阿里雲OSS是阿里雲對外提供的海量、安全、低成本、高可靠的雲存儲服務。幾年天貓雙11，天貓的圖片，視頻都全部在阿里雲OSS上。
阿里雲DDoS防御技術
在幾年雙11期間，阿里雲DDoS防御技術像“保鏢”一樣，首次采用全自動化防御能力精准地判斷攻擊流量和異常行為，阻斷可能威脅商家站點的黑客。
混合雲架構
從2015年開始，天貓雙11每年都采用了混合雲架構，它是將電商交易的核心鏈條，菜鳥物流訂單流量以及倉配公司，直接切換到了阿里雲的公共計算平台。三年來，每年天貓雙11全球狂歡節，阿里巴巴都在突破自己的技術極限，不斷創造最近記錄的全球最大規模混合雲架構實踐。
專有網絡VPC
雙11電商核心的交易、訂單、物流等都是在公共雲平台上，公共雲平台是所有用戶共享的平台，為了保證雙11交易的安全，使用了專有網絡VPC進行租戶隔離。
負載均衡SLB
雙11億萬用戶訪問的流量洪峰需要大量的服務器進行處理，而這些服務器的調度都需要依賴負載均衡SLB，負載均衡SLB接收到用戶的請求，之恩給你調度到后端的ECS進行處理，並將處理后的結果返回給用戶。因此，雙11的流量洪峰能不能打住，用戶購物體驗是不是流程，負載均衡SLB是關鍵因素。
高速通道
2017年雙11是異常全球最大規模的混合雲彈性架構實踐，混合雲將公共雲和雲下數據中心通過專線互通，這個專線就是高速通道。高速通道基於阿里巴巴骨干網絡，能夠構建安全、穩定、高速的混合雲。雙11的背后是一個極其復雜的系統，很多系統調用頻繁再公共雲和雲下數據中心之間進行，這些系統調用的背后就是高速通道。
NAT網關
當雙11的用戶選擇嗯啦自己看中的寶貝並下了單后，會跳轉到支付寶進行付款，這個時候雲服務器上的程序就需要通過NAT網關去調用支付寶的支付接口，這就是NAT網關的SNAT功能。雙11支付寶交易每一筆的支付都需要NAT網關。
視頻直播
在雙11期間，承載優酷，手機淘寶雙11晚會的互聯網直播服務，承載100%的晚會直播流量，以阿里雲特有的窄帶高清2.0轉圖技術，為數億觀眾呈現出最流暢、最侵襲的視頻直播流。
雲導播
雙11晚會期間，雲導播技術承載晚會現場多路直播流的切換，疊加字幕，聲音合成等服務，做到了把視頻直播的后端處理工作到雲端。今年任何一場大型的直播晚會，發布會等直播，都可以實現在雲端的導播處理工作，便脫了復雜、昂貴的硬件導播設備。
基礎設施新技術
大規模文件分發系統
通過使用P2P技術原理同事結合動態壓縮、自動化預熱、內存文件系統以及智能流控等多種創新技術。解決大規模文件下載，大型文件下載以及跨地域跨網絡隔離域等場景下各種文件分發難題，大幅提高UMP數據預熱，大規模容災部署等業務能力。
X-Cluster
自研的金融級分布式數據庫，在2017年雙11，X-Cluster服務於淘寶天貓核心交易系統，經受了零點壓力峰值的考驗，並且在數據質量得到保證的前提下提供了高效穩定的跨單元數據同步服務。
時間序列異常檢測算法
基於智能基礎的時間序列異常檢測算法具有自動學習、自動化監控數據和預警的能力，有了它，業務指標監控的准確率從傳統監控策略的40%左右提升到80%。
Changefre系統
基於機器智能的changefre保證所有線上變更有跡可領，它通過對變更數據進行全文檢索加自定義規則引擎，輔以機器學習的手段全自動統計並分析，快速定位故障，同比故障恢復時間提高65%。
阿里智能流量調度系統
雙11的用戶遍及全球，阿里的骨干網絡也遍及全球，並通過世界各地的運營商網絡組成的互聯網全球用戶提供服務。阿里智能流量調度系統能實施監控互聯網質量，並動態調整用戶訪問阿里數據中心的網絡路徑，確保高質量的用戶雙11體驗。
StartAgent
支持百萬級規模服務器管控，通過基於消息的分布式架構改造，1秒可操作上萬台服務器，系統具有多中心部署能力，單機房單存儲故障不影響業務，高危操作自動識別與攔截有效的保證系統安全。
調度混部技術
Sigma調度可以跨多個不同平台來分配雙11所需的資源，使雙11IT成本下降50%，混部技術把服務器資源利用率提高30%，復用計算任務集群為雙11節約大量服務器，全網Pouch化實現阿里在線服務全部容器化，內部達到百萬級容器部署規模，Pouch容器已對外開源。
網絡自愈技術
通過實時准確的故障發現和故障收斂能力，結合自動化康復，2017年阿里巴巴網絡已經具備自愈能力，全面保障雙11全體業務的穩定運行。
“無人值守”的全鏈路壓測
“無人值守”的全鏈路壓測相當於高考前的“模擬測試”，利用自動化程序根據參加壓測的幾百個系統的表現，定位壓測中發生前問題，並做出相應的決策判斷。
菜鳥
菜鳥方舟
菜農方舟是一款全新的產品，它基於混合雲模式，能夠在雙11期間對突然上漲的峰值，容器服務需求進行快速擴容。
機器智能“新物種”戰隊
雲小蜜
阿里小蜜是阿里巴巴自主研發的人工智能客服機器人，功能包含但不限於解答客戶查詢、查物流、做導購、交話費、訂機票、講段子。目前，一天能服務350萬客戶左右，是人類小二的一萬多倍。
螞蟻安安
安安是螞蟻金服的智能機器人，能夠根據用戶使用支付寶App的軌跡進行預判，有時能在用戶提問之前就“猜”到用戶想問的問題，直接給出答案。今年雙11，安安在近100個不同場景中，為近100萬用戶提高了提前教育、客戶關懷等服務。
首席揀貨官
針對每年雙11大量包裹，過去揀貨員需要在倉庫里逐一將貨物找出來，一個揀貨員日行八萬步，今年雙11，菜鳥啟動了超級機器人倉群，倉庫里機器人來卸貨，揀貨員抬手就可以揀貨。
小G二代：只能配送員
今年雙11，已經在阿里巴巴上崗一年多的智能配送機器人菜鳥小G，正式升級。小G能上電梯能躲避行人，全自動將包裹送達阿里巴巴西溪園區的每一個工位。
天巡
今年，機房機器人“天巡”開始在阿里的華北數據中心投入使用，“天巡”不僅全天24小時巡查，而且接替了運維人員以往30%的重復性工作，在大幅提高工作效率的同事，可以讓工作人員有時間去做創造性的工作。
尖兵
尖兵是一個“無人值守”的全鏈路壓測，通過尖兵，可以提前暴露系統的問題，並且通過變壓邊彈，讓客流配比達到最佳，讓系統在全鏈路壓測之前就達到一個穩定可靠的狀態，今年雙11，全鏈路壓測從往年的8次減少到3次，節省了近1000人次。
達靈
今年雙11，阿里巴巴計算資源AI分配官“達靈”正式上任，在實習期間，達靈打破了人類工程師的多項記錄：將數據中心資源分配率拉升到了90%以上，在部分業務中節省了一半服務器，並且可以2秒鍾鎖定異常機器，命中率94%。
魯班
魯班是阿里巴巴的AI設計師，可自動生成美觀漂亮的banner，目前每秒可生成8000張的商品banner，解決了雙11期間大批量的設計問題。
螞蟻佐羅
佐羅是螞蟻金服人臉識別機器人，在今年雙11全面應用於賬戶安全保護，最新的測試顯示器人臉識別准確率已達99.6%，再配合眼紋等多因子驗證，准確率為99.99%，遠超肉眼識別97%的准確率。
無人汽車售賣機
無人汽車售賣機是一個可以自動販售的人工智能機器人，買車人只要按下按鈕，伴隨着托盤的緩緩轉動，一輛嶄新的汽車就出現在眼前。
安全
霸下-七層流量清洗
霸下-七層流量清洗是一款安全產品，他能夠將所有請求中夾雜的網絡主機入侵、DDOS攻擊，CC攻擊、Web攻擊、爬蟲、機器刷單等惡意流量進行高精度清洗，從而保障雙11期間業務系統在超負載運行狀態下的安全。
錢盾
錢盾通過全球領先的病毒木馬檢測技術、全局反釣魚、詐騙電話短信識別等技術，為消費者在雙11購物提供安全的手機購物支付環境。
MTEE3
MTEE3是阿里巴巴集團最新一代業務安全智能風控平台，雙11期間，為阿里經濟體的各個核心業務提供賬號安全、黃牛刷單、活動反作弊、內容安全、人機識別等幾十種風險的防護與保障，日處理300億次業務風險掃描，掃描峰值超過100萬次/秒。
“御城河”
“御城河”依靠其獨創的數據泄露風險監測及溯源技術，構建了全鏈路、立體化的數據安全產品及服務體系，在雙11期間服務數百萬商家，1000多家核心服務器，20多家物流伙伴，實時檢測人員、賬號、設備等30多個維度的數據訪問風險。
CTU
它是螞蟻金服風險管理的核心系統，在CTU系統的保護下，目前支付寶的交易資損率為百萬分之一，遠低於國際領先支付機構萬分之時期的風險水平，在保證用戶賬戶安全的基礎上，CTU還能精准識別安全交易，有效降低對用戶的打擾率。