被動式全棧設備指紋技術調研
zoerywzhou@163.com
http://www.cnblogs.com/swje/
作者：Zhouwan
2017-4-9
前言
1、傳統的設備識別技術：
早先的設備指紋技術，通過安裝插件獲取設備信息生成設備ID，是主動采集終端用戶設備乃至隱私信息，用戶體驗苛刻，同時在跨App及跨網頁時存在技術壁壘。因此在面對更隱性的移動黑產時往往有心無力。
2、被動式全棧設備指紋技術：
“全棧被動式設備指紋”識別技術對用戶完全透明，通過OSI協議棧快速獲取上網設備的軟件、硬件、網絡等多層次指紋信息，為每個入網設備生成跨平台的唯一設備ID，作為虛擬空間的“身份證”，打造開放化平台的隱形賬號體系。
僅僅依靠分析每個移動設備發出的普通HTTP請求，就能從中提取出每個設備獨特的“指紋”，設備實時識別准確率高於96%。
既可以做到精准的識別手機、平板、電腦、智能家電、智能汽車等多種多樣的移動設備，同時又不依賴在用戶終端植入腳本的方式獲取所需的信息。
“全棧”指的是通過收集網絡通訊7層協議全棧中所有可用的信息作為特征，以及物理時空（Temporal-Spatial）信息進行核心運算獲得設備“指紋”以識別設備。
“被動式”指的是不主動從用戶終端獲取信息，無需在用戶終端植入任何代碼，因此可以做到100%保護用戶隱私安全。
技術要點整合
從以下幾個角度對被動式全棧設備指紋技術進行分析：
Saas 平台系統：
欺詐等行為的解決方案主要是由 Maxent 獨立開發的 Saas 平台系統實現的。
猛獁反詐欺 Saas 服務平台：基於 Maxent 自身的專利機器學習技術及 DFP 技術自動發現新的詐欺模式，持續地自行進行反詐欺算法的優化，根據客戶交易平台的實時活動事件及歷史數據，挖掘海量數據以分辨真實或可疑的設備。
動態實時更新規則：實時監測詐欺行為，主動優化詐欺算法
詐欺指數 MoMA Score：提供各類交易的分析頁面，將數據簡單化、可視化。綜合設備 IP、地理位置、交易速度等用戶數據打分，排查出有風險的設備
自動核算 + 人工審核：系統自動計算詐欺指數，並且對單筆交易提供接受 or 拒絕的選項，簡化全人工審核到了流程
底層技術的優勢：
Maxent 使用多種底層技術共同支撐猛獁反詐欺平台的動態詐欺模式挖掘，建立了各種風險模型，其底層技術的優勢主要歸結為以下兩方面：
設備身份識別：被動式全站設備指紋技術是將同一設備在不同應用、不同場景、不同網絡中的行為做關聯，產生精准的設備畫像，幫助線上交易風控系統定向識別在線詐欺行為。
機器學習：動態地發現欺詐特征，以非監督或者半監督的方式動態調整參數訓練的算法模型，由系統自動推斷出詐欺風險。在此過程中，當機器需要大量數據不斷修正參數去訓練模式及算法的時候，根據用戶的指令、機器的自我學習，久而久之機器就可以自動計算出用戶需要的結果。
也就是說隨着單個 B 端企業用戶使用次數的增加，算法進行自我學習的過程中也會進行自我優化，最終隨着不同行業給出的數據和反饋，漸漸機器就適應了每個單個的客戶，機器計算出的結果會越來越契合用戶的業務需求。
技術門檻：
Maxent 的技術門檻就體現在：通過分析協議棧里的信息或者通過算法就可以分析出來單用戶的多設備關聯鏈接，多種底層技術各有側重和優勢。
在不侵犯用戶隱私的前提下 僅依靠收集授權及公開的設備信息做數據挖掘、無侵入式追蹤，遵守國際隱私法規。
有一句話說得好：
大數據很多情況下陷入了數據的誤區，而公司想要解決的問題就是如何更好地利用現有數據為決策做支撐。
主動式、被動式、混合式的比較
主動式主要通過SDK或JS代碼在客戶端主動收集設備信息，來實現設備的精准識別，響應速度和准確度相對較高，但使用場景常因為隱私保護而受限。
被動式主要通過在服務器端收集通信協議和網絡的特征來識別設備， 100%保護用戶隱私，因而有更大的適用范圍，尤其是一些對隱私信息非常敏感，不便於植入SDK或JS代碼的場景，如互聯網金融行業。同時，被動式設備指紋也有着算法和系統復雜度高、響應時間較長、研發難度大等局限。
混合式設備指紋技術指將主動式和被動式設備指紋技術整合在同一個設備識別與跟蹤的架構中，將主動式設備指紋技術在客戶端生成的設備標識符，與被動式設備指紋技術在服務器端收集的、協議棧相關的特征信息對應起來，使得所有的設備都有一個唯一的設備識別ID。
跨設備行為關聯問題中：
在需要將同一用戶在移動Web和App中的行為關聯起來的場景中，混合式設備指紋技術有着比主動式更大的應用范圍。
一個典型的案例是，當一個消費者點擊到一個移動網絡廣告以獲取一個新應用時，廣告主希望知道此次廣告點擊是否最終帶來了新用戶。而由於嵌入Web頁面的Javascript代碼和移動APP中的SDK收集的設備特征不同，導致生成的設備指紋標識符也不相同。因此主動式設備指紋技術無法將同一用戶在移動Web和App中的行為關聯起來，而被動式和混合式可以根據相同的協議棧特征，來判斷移動WEB和APP發送的消息是否來自於同一台移動設備。
最后我想說：被動式全棧設備指紋技術沒有那么簡單就能實現：
Maxent創業團隊簡介：
通付盾創業公司CEO簡介：
先打基礎功，從小事做起吧
首先要清楚地明白OIS七層網絡結構：OSI七層與TCP/IP五層網絡架構詳解
然后再說然后吧……先確立個小目標，比如先把機器學習學精通，再比如DFP技術，再比如反欺詐領域相關的各種背景和技術。
參考資料
Maxent：被動式全棧設備指紋技術跟手指頭還真沒什么關系，主做互聯網金融反欺詐解決方案，增強小貸公司金融寒冬中御寒能力
補充：
看到知乎上有一篇還不錯的文章，比較詳細地解釋了從流量報文中解析出相關應用的問題的技術（DPI）。或許對我們研究被動式全棧設備指紋技術有所幫助，與君共勉：