簡要介紹Active Learning(主動學習)思想框架，以及從IF（isolation forest）衍生出來的算法：FBIF（Feedback-Guided Anomaly Discovery）

1. 引言

本文所討論的內容為筆者對外文文獻的翻譯，並加入了筆者自己的理解和總結，文中涉及到的原始外文論文和相關學習鏈接我會放在reference里，另外，推薦讀者朋友購買 Stephen Boyd的《凸優化》Convex Optimization這本書，封面一半橘黃色一半白色的，有國內學者翻譯成了中文版，淘寶可以買到。這本書非常美妙，能讓你系統地學習機器學習算法背后蘊含的優化理論，體會數學之美。

本文主要圍繞下面這篇paper展開內涵和外延的討論：

[1] Siddiqui M A, Fern A, Dietterich T G, et al. Feedback-guided anomaly discovery via online optimization[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2018: 2200-2209.

同時會在文章前半部分介紹這篇paper涉及到的2個主要理論：1）Active Learn；2）(online) Convex Optimization；3）isolation forest的相關內容請參閱另一篇blog。

筆者這里先簡單概括一下這篇筆者所理解的這篇paper的主要核心思想：

1. 主動學習思想的融合：

主動學習，也叫查詢學習，它要求算法在每輪學習迭代中能夠基於某種策略，從當前樣本集中選擇出“最不確定的一個或一組樣本”。從這個角度來思考，無監督異常檢測算法普遍都能勝任這個目標，作者在paper中也提到了這個框架的可插拔性，paper中選擇了 isolation forest孤立森林算法，每一輪迭代中，通過不斷將 isolation tree 當前不確定的數據（無監督模型發現的異常數據），也即最淺路徑葉節點輸出給外部反饋者並接受feedback label（正例 or 負例），以此獲得一批打標樣本。

值得注意的是，這種反饋算法框架和具體的abnormal detection algorithm無關，不管是generalized linear anomaly detectors (GLADs)還是tree-based anomaly detectors，都可以應用。相關的討論可以參閱其他的文章：

Active Anomaly Discovery (AAD) algorithm
https://www.onacademic.com/detail/journal_1000039828922010_bc30.html
https://www.researchgate.net/publication/318431946_Incorporating_Feedback_into_Tree-based_Anomaly_Detection 

Loda: Lightweight on-line detector of anomalies
https://link.springer.com/article/10.1007%2Fs10994-015-5521-0

SSAD (Semi-Supervised Anomaly Detection)
Active learning for network intrusion detection
https://www.deepdyve.com/lp/association-for-computing-machinery/active-learning-for-network-intrusion-detection-4Y5zwDUev5 

Toward Supervised Anomaly Detection
https://jair.org/index.php/jair/article/view/10802

但是僅僅融入和主動學習還不夠的， IF算法是無監督的，無法處理這批打標樣本，我們還需要引入有監督訓練過程，將外部反饋的新信息輸入到模型中被存儲以及記憶。

2. 凸優化框架的融合：

Isolation tree是一種樹狀結構，每個樣本數據都是樹中的一個葉節點。作者創造性在原始 Isolation tree 的基礎上，將葉節點所在邊賦予了權重w的概念，並將feedback數據（相當於label有監督標簽）作為目標label值。這樣，每次獲得feedback反饋后，就可以基於這批feedback數據（例如100個）進行多元線性回歸的參數學習，即回到了有監督學習的范疇內。具體的涉及到Loss Function如何選擇，文章接下來會詳細討論。

 

2. Active Learning（主動學習）

0x1：主動學習基本概念

主動學習（查詢學習），是機器學習的一個子領域。主要的思想是：通過一定的算法查詢最有用的未標記樣本，並交由專家進行標記，然后用查詢到的樣本訓練分類模型來提高模型的精確度。

0x2：什么場景下需要主動學習

1. 項目是冷啟動的，在冷啟動初期，標簽數據是非常稀少的，而且打標成本也相對比較高；

2. 項目雖然不是冷啟動，但是很難通過專家構建多元線性分類器，換句話說就是很難通過寫出一條條實值規則的邏輯組合。這在實際工作中也是非常常見的，典型地表現會是安全運營人員會發現自己的專家經驗“很難准確定義”，往往是通過長時間地不斷調整邏輯組合以及判別閾值threshold后，可能依然無法做到0誤報0漏報。
顯然，人腦不適合高維的、高精確度的復雜線性函數的處理。但是與此同時，人腦又善於根據復雜的高緯度特征，得出一個模糊性的綜合判斷。例如，當一個安全專家具體拿到某個樣本的時候，他通過經驗還是能夠較快判斷出正例/負例，在大多數時候，這個判斷又是非常准確的。
筆者認為，我們需要通過機器學習輔助我們進行安全數據分析的一個原因就在於：人腦似乎可以進行非常復雜的邏輯判斷，但是卻很難數學化地准確表達出自己具體是怎么得到這個結果的。人的經驗在很多時候是很准的，但是你要是問他到底是怎么判斷的，他往往只能沉思片刻，然后露出一副堅定而微笑的表情，憑經驗判斷的！而通過機器學習的訓練過程，讓機器從數據中學習到人的模糊經驗，得到一個數值化的、可穩定復現的決策系統。

3. 無監督算法得到的異常未必就對應了業務場景中的一個真實異常事件，即算法層面的outlier和真實業務場景中的abnormal_target往往是存在一個gap的。
我們知道，無監督異常檢測算法是根據特征工程后的特征向量進行數值計算后，得到一個異常值排序，這就導致特征工程的結果會極大影響之后的算法運行結果。
針對這一困難，傳統方法是需要模型開發者基於對業務的理解去優化特征設計，甚至優化樣本集。這一優化通常是純粹基於經驗和嘗試的，過程中由於缺少標簽指引，其迭代過程甚為繁瑣。

0x3：主動學習算法模型框架

主動學習的模型如下：

A = (C，Q，S，L，U)

其中 L 是用於訓練已標注的樣本；

C 為一組或者一個算法模型，用戶接收上一輪的標記樣本集，通過負反饋調整模型參數，並輸出對應的預測結果向量集；

Q 是查詢函數，用於從當前剩余的未標注樣本池（未標記樣本會逐漸減少）U 中查詢信息量最大（最不確定）的top樣本；

S是督導者，可以為 U 中樣本標注正確的標簽；

active learning模型通過少量初始標記樣本 L 開始學習，通過一定的查詢函數 Q 選擇出一個或一批最有用的樣本，並向督導者詢問標簽，然后利用獲得的新知識來訓練分類器和進行下一輪查詢。主動學習是一個循環的過程，直至達到某一停止准則為止。

需要注意的是，active learning是一個算法框架，上圖中的單個模塊具備可替換性（alternative），我們接下來討論具體每個子模塊的選擇原則。

1. 機器學習模型C

只要是有監督學習算法即可。

2. 查詢函數Q

查詢函數的設計最常用的策略是： 不確定性准則（uncertainty）和 差異性准則（diversity）。

1）不確定性准則對於不確定性，我們可以借助信息熵的概念來進行理解。我們知道信息熵是衡量信息量的概念，也是衡量不確定性的概念。信息熵越大，就代表不確定性越大，包含的信息量也就越豐富。

不確定性策略就是要想方設法地找出不確定性高的樣本，因為這些樣本所包含的豐富信息量，對我們訓練模型來說就是有用的。

2）差異性准則（diversity）

查詢函數每次迭代中，查詢一個或者 一批樣本。我們希望所查詢的樣本提供的信息是全面的，各個樣本提供的信息不重復不冗余，即樣本之間具有一定的差異性（概率分布盡量全面）。

在每輪迭代抽取單個信息量最大的樣本加入訓練集的情況下，每一輪迭代中模型都被重新訓練，以新獲得的知識去參與對樣本不確定性的評估可以有效地避免數據冗余。但是如果每次迭代查詢一批樣本，那么就應該想辦法來保證樣本的差異性，避免數據冗余。

0x4：Online Active learning or Batch-size Active learning?

通俗地理解：

Online active learning就是模型一次只輸出一個預測樣本給打標員，打標員通過檢視后將反饋結果輸入回模型，完成一次迭代。

Batch-size active learning是模型一次輸出一整批數據（例如128），打標員統一打標后，統一將結果輸入回模型。

理論上說，online learning更利於逼近全局最優，但是在實際工程中，online learning並不容易做到，因為人是不可能持續地一個樣本一個樣本的打標的，人畢竟不是機器，人會疲勞。因此，筆者在實際項目中，對原始論文中的Online部分修改為了Batch-size，通過一次積累一個batch樣本，然后依然流式地逐一輸入給原算法。

和online GD和batch-size GD問題一樣，batch-size可以理解為對online的一種近似模擬，一般情況下，只要batch不要設置地太大（32-64），對最終結果的影響基本上可以忽略不計。

論文原作者提出的是online active learning，在實際工業場景中，online active learning的部署成本很大，我們一般采用small batch-size active learning代替，總體上效果影響有限。

即模型一次輸出top rank的異常數據，由打標員統一打標后再輸入回模型，之后將這批樣本全部輸入模型進行權重w的調整。接着進入下一輪的top rank異常點評選，如此循環。

Relevant Link: 

https://blog.csdn.net/Jinpeijie217/article/details/80707978
https://www.jianshu.com/p/e908c3595fc0
https://www.cnblogs.com/hust-yingjie/p/8522165.html

 

3. (Online) Convex Optimization Framework

0x1：凸優化簡介

凸優化在數學規划領域具有非常重要的地位，一旦將一個實際問題表示為一個凸優化問題，大體上意味着對應問題已經得到徹底解決。從理論角度看，用凸優化模型對一般非線性優化模型進行局部逼近，始終是研究非線性規划問題的主要途徑。

從理論推演脈絡角度來說，凸優化理論是研究優化問題的一個重要分支。實際上，最小二乘以及現行規划問題都屬於凸優化問題。

0x2：在線凸優化算法流程

下圖展示在線凸優化的偽碼流程圖：

 

在一輪的迭代中，都要從凸集中選擇一組向量序列w，並選擇一個損失函數f()用於計算和目標值之間的差距。

算法的最終目標是：通過選擇一組權重w序列，以及一組損失函數，並使總體的離差最小。

 

Relevant Link: 

https://www.cnblogs.com/wzdLY/p/9569576.html
https://www.cnblogs.com/wzdLY/p/9570843.html 
https://www.jianshu.com/p/e908c3595fc0

  

4. Feedback-Guided Anomaly Discovery via Online Optimization

0x1：FBIF和傳統IF（isolation forest）的區別

我們在文章的開頭已經討論了FBIF的主要思想，下面通過一個圖例來說明，FBIF是如何具體解決傳統IF的缺陷的。

1. 傳統IF問題

傳統IF檢測異常時通常會將頭部異常樣本集（通常不會太多）輸出給分析師，借助他們的專家經驗判定是否為所要抓捕的風險，若准確率滿足要求則進行生產部署，若不滿足要求，則需要建模人員和分析師一起嘗試修改特征工程，或者通過白名單排除一些樣本集，這是一個將分析師的評估結果人工翻譯給IF算法的過程。

這樣方法的問題在於，outlier檢測算法模式是固定的，具體被檢出哪些是outlier，很大程度上依賴於特征工程的設計。所以這個時候為了提高異常發現的recall，算法設計者會盡可能地將“領域經驗”融入到特征工程的設計中。但如我們前面所說，算法層面上的異常並不一定就是在業務場景下關注的目標事件，可能某個樣本向量從算法層面看，確實非常異常的“離群”，但是從業務角度看卻恰恰是一個正常的數據點，而且最麻煩的問題是，當我們不斷嘗試優化、調整、增加我們的領域經驗特征后，這個現象依然大量存在，往往這個時候，模型開發者就只能遺憾地宣布：oh！no！我的這個業務場景不適合無監督異常發現，換別的方案吧。

2. FBIF的解決思路

FBIF作者的解決思路我這里理解是這樣的：首先IF是一種生成式模型，IF訓練收斂過程沒有打標樣本的參與，最終生成的概率分布決策函數（decision function）沒有有監督樣本的參與，經驗誤差自然會很大。作者將online learning框架思想融入模型中，將監督學習的思想和流程加入到這個無監督過程中，使完全的無監督算法變成半監督的算法。這樣得到的綜合模型即擁有無監督異常算法的泛化能力，同時也能兼顧有監督學習的強擬合能力的特點。

FBIF省去了傳統利用IF做異常檢測模型中，反復人工翻譯的過程，直接輸出，反饋，而后吸收的過程建模為一個online learning過程。

0x2：FBIF算法模型  

FBIF本質上還是一個異常點預測函數，模型產出的對應數據點的異常值，模型公式如下：
，x代表待預測樣本點，w代表模型超參數。注意，這是一個半監督模型，超參數w是可以不斷調整的。

這個函數是一個特征映射函數（feature function），用於將輸入的樣本向量轉化到一個n維向量空間中，即：。 

這樣講可能有些抽象，以IF為例，輸入樣本示例是一個我們定義的向量（例如12維），通過IF之后形成了tree-based的結構，對IF中每棵樹的每一條邊$\mathrm{e，定義：}$

這樣我們將整個tree上的每一條邊按照ont-hot形式進行編碼，那么可以很容易想象，每一個leaf節點都會經過一定數量的邊，例如一顆3層6個邊的樹，某個節點對應的樹結構向量可能就是【1，1，1，0，0，0】，如下圖所示：

那函數有什么作用呢？我們先來直觀理解一下，回到我們上面舉得例子：

，同時看另一個葉節點

從IF的算法理論來看，葉節點d的異常度是比葉節點b的異常度要高的。原始的IF算法也就是基於這點對“不同深度”的葉節點得出不同的異常度的。並且，原始IF，每個邊的權重都相等，因此節點的異常值完全取決於映射后得到的向量，也即越淺層的葉節點越異常。

回到FBIF的公式上來：，FBIF給每個邊一個權重，同時滿足，即樹中所有的邊和權重w進行向量相乘和總的概率分配和為1.

權重w是由feedback反饋(有監督標簽)驅動調整的，因此，score越大意味着異常度越高，score越小意味着異常度越小，這就構成了一個有監督線性回歸模型（也即原文說的generalized linear anomaly detectors (GLADs)）的回歸訓練過程。

很顯然，IF算法是固定的這里不再贅述，讀者朋友可以參閱另一篇blog。 我們本文主要討論的是權重w是如何調整的，這是FBIF的重點。 

0x3：online convex optimization(OCO) - 有監督參數調整過程

FBIF的主體框架采用了online convex optimization(OCO)框架來描述該過程，可以理解為：我們是在一個對抗性的環境循環地一輪輪做游戲的過程，其中每一輪我們的行動（action）是選擇convex set S中的向量，在游戲的第t步，過程如下： 

• 1. 我們選擇
• 2. 環境選擇一個凸函數
• 3. 我們得到損失 

詳細的算法流程如下：

我們接下來逐個討論各個子環節。

1. Select a vector wt for the abnormal detector

注意，OCO是一個不斷迭代循環的過程，模型不僅產出“suspicious abnormal instance”給反饋者，同時上一輪反饋者給的feedback也會影響這一輪的模型預測結果，是一個遞歸過程。

，w的維度等於樹中邊的數量。

特別的，，初始狀態和傳統IF是一樣的，所有邊的權重都相等。

 

OCO框架采用了正則化技術，使用L2范數進行差異評估，關於正則化技術的討論可以參閱另一篇blog。

另外，在論文中選用了tree-based的anomaly detect function，所以對權重w的限制是非負，這點在寫代碼的時候需要注意。

2. Find top anomaly score's instance

接下來按照IF的傳統過程得到映射后向量，並乘上權重參數w，根據異常值score得到一組top anomaly instance。 

3. Get feedback

yt = +1：alien
yt = −1：nominal

4. 無放回反饋

注意，上面算法流程圖中，，FBIF每輪反饋后的樣本點是不參與下一輪的反饋抽樣的。理論上說，不斷循環下去，所有的樣本都會得到一次反饋，最終半監督過程徹底演化為完全的有監督過程。

但是在實際工程項目中，基本上，樣本集D是一個天文數字，在筆者所在的網絡安全攻防場景更是家常便飯，所以人工反饋最多只能完成最多上萬次的反饋，一般通過上千次的反饋后，FBIF模型就會完成收斂。

5. Use yt to calculate Loss Function 

接下來的問題如何將反饋轉換為可優化的數值函數，以便進行最優逼近，例如梯度下降。

基本上來說：

yt = +1：loss值要更小
yt = -1：loss值要相對更大

損失函數的總體目的是在整個比賽中（所有的t輪次）之后，總體的損失最小，所以這是一個符合貪婪模式的迭代式優化算法。

文章列舉了loss function ${\mathrm{function的兩種定義方式，這也是我們很熟悉的線性回歸中的損失函數，這部分的討論其實和線性回歸沒有本質的原理區別。}}^{}$

1）Linear Loss

$${\mathrm{2）Log-likelihood\; Loss}}^{}$$

$${\mathrm{，其中，}}^{}$$

6. Update the weight vector

得到了損失函數的形式和計算方法之后，通過梯度下降對權重參數進行更新。

0x4：算法運行過程概述 

• 初始化（只運行一次）：基於數據集訓練初始化IF，根據樹結構得到映射函數，並初始化邊權重。
• 循環運行OCO反饋過程，並不斷調整權重w。在OCO優化過程中，樹結構是不變的，也即映射函數是不變的，變動的只有權重w。
• 達到收斂條件，例如反饋人員精疲力竭、全部樣本都反饋一遍了、達到設定的最大迭代次數。

該算法的時間復雜度很低，它的主要計算開銷集中在初始化訓練IF，在迭代過程中得益於online setting可以實現增量更新，其時間成本幾乎可忽略不計。  

可以看到，人工的反饋相當於加入了一種梯度方向，在原始Unsupervised Dection algorithm的基礎上，強行“影響”了訓練過程中參數的調整方向，最終得到的模型參數是“數據+人經驗”綜合影響的結果。這可以理解為是一種加入了先驗知識的模型訓練。

不太嚴謹地一個比喻，我們可以將原本IF預測函數有一個超判別面（超矩形），現在加入了feedback之后，又一只手強行扭動這個超判別面的形狀，將其盡量地扭成符合業務場景中關注的異常和正常的真值概率邊界位置，這個扭動的力度和程度就取決於feedback反饋進行的次數以及每次反饋的樣例數。

 

5. 通過一個例子來看FBIF的直觀效果

$ cd test
$ ../iforest.exe -i datasets/anomaly/ann_thyroid_1v3/fullsamples/ann_thyroid_1v3_1.csv -o outtest/ann_thyroid_1v3_1 -t 100 -s 256 -m 1 -x 5 -f 10 -w 2 -l 2 -a 1
# Trees          = 100
# Samples        = 256
MaxHeight        = 0
Orig Dimension   = 3251,21
# Iterations     = 128 # 迭代1024次
# Feedbacks      = 10 # 返回10個top異常樣本的label結果
Loss   type      = logistic
Update type      = online
Num Grad Upd     = 1
Reg. Constant    = 0
Learning Rate    = 1
Variable LRate   = 0
Positive W only  = 0
ReInitWgts       = 0
Regularizer type = L2

程序對一個數據集同時進行了IF和FBIF過程，注意，最好運行1024次以上，比較容易看出數據趨勢。運行結束后可以得到兩個不同的文件：

# IF運行結果
"ann_thyroid_1v3_1_summary_feed_0_losstype_logistic_updatetype_online_ngrad_1_reg_0_lrate_1_pwgt_0_inwgt_0_rtype_L2.csv"  
iter,feed1,feed2,feed3,feed4,feed5,feed6,feed7,feed8,feed9,feed10
1,0,1,1,1,1,2,3,3,4,4
2,1,1,2,2,2,2,3,3,4,5
3,0,0,1,1,1,2,2,2,2,2
4,0,0,1,2,2,2,3,4,4,5
5,1,1,1,1,1,1,2,2,2,2
6,1,1,1,1,2,2,2,2,2,3
7,1,1,1,1,1,1,1,1,2,2
8,0,0,0,1,1,2,3,3,3,3
9,0,0,0,1,2,2,2,2,2,2
10,0,1,1,1,1,1,1,1,1,1
11,1,1,1,1,2,2,2,2,2,2
12,0,1,1,1,1,2,2,2,2,2
13,0,0,1,2,2,2,2,2,3,3
14,0,1,1,1,1,2,2,2,2,2
15,0,0,0,0,1,1,1,1,1,2
16,0,1,1,2,2,2,2,2,2,2
17,0,1,1,2,2,2,2,2,2,2
18,1,1,2,2,2,2,3,3,3,3
19,0,1,1,1,1,1,1,1,2,2
20,0,0,0,0,1,1,1,1,1,1
21,0,0,1,2,2,2,3,3,4,5
22,0,1,1,1,1,1,1,1,1,1



# FBIF運行結果
"ann_thyroid_1v3_1_summary_feed_10_losstype_logistic_updatetype_online_ngrad_1_reg_0_lrate_1_pwgt_0_inwgt_0_rtype_L2.csv"
iter,feed1,feed2,feed3,feed4,feed5,feed6,feed7,feed8,feed9,feed10
1,0,1,2,3,3,4,5,6,7,8
2,1,2,3,4,4,5,6,7,8,9
3,0,0,1,2,2,3,4,5,6,7
4,0,0,1,2,3,4,5,6,7,8
5,1,2,3,3,4,5,6,7,8,9
6,1,2,2,3,4,5,6,7,8,9
7,1,2,2,2,3,4,5,6,7,7
8,0,0,0,1,2,2,3,4,5,6
9,0,0,0,1,2,3,3,4,5,6
10,0,1,1,2,3,4,4,5,6,7
11,1,2,2,3,4,5,6,7,8,9
12,0,1,2,3,3,4,5,6,7,8
13,0,0,1,2,3,3,4,5,6,7
14,0,1,2,3,3,4,5,6,7,8
15,0,0,0,0,1,2,2,2,3,4
16,0,1,2,2,3,4,5,6,7,8
17,0,1,2,3,3,3,4,5,6,7
18,1,2,3,4,5,6,7,7,8,9
19,0,1,2,2,2,2,2,2,2,3
20,0,0,0,0,1,2,3,4,5,6
21,0,0,1,2,3,3,4,5,6,7
22,0,1,2,2,2,2,2,2,2,2
23,0,1,2,2,3,4,5,6,7,8
24,0,0,1,2,2,3,4,5,6,7
25,0,0,1,2,3,4,4,5,6,7
26,0,0,1,2,3,4,5,5,6,7

咋一看好像看不出有什么區別，我們接下來從幾個角度來分析一下結果數據：

0x1：算法收斂速度對比

我們先對兩個文件進行unique處理，結果如下：

# IF過程
1024 -> 230：壓縮率 = 77.5%

# FBIF過程
1024 -> 138：壓縮率 = 86.7%

壓縮率越低，意味着預測結果的概率分布越分散，即不集中。

這個結果可以這么理解，IF是基於隨機過程進行特征選擇和切分閾值選擇的，隨機性很高，不容易收斂。

而FBIF因為加入了feedback的擬合過程，隨着梯度下降的訓練，模型逐漸向feedback的梯度方向擬合，因此收斂速度更快。

0x2：算法擬合能力對比

再來看IF和FBIF的平均反饋值：

Avg: Baseline -> 2.31934 Feedback -> 6.70898

可以看到，FBIF比IF的平均異常反饋要高很多，這意味着，FBIF算法產出的異常值，更有可能是業務場景中關心的異常點（也即和label更靠近）。

再來看最后一次預測結果的召回對比：

# FBIF
1024,1,2,3,4,5,6,6,7,8,9

# IF
1024,1,2,2,2,2,2,2,2,2,3

FBIF的召回率已經比開始時有很大提升，而IF依然和初始時沒有太多變化。

從這里也看出，IF算法不需要迭代運行多次，一次運行和多次運行的結果沒有太多區別。

Relevant Link:  

https://github.com/siddiqmd/FeedbackIsolationForest

 

6. FBIF在安全場景里應用思考

0x1：是否會發生過擬合？

筆者在項目中，feedback不斷迭代之后，整個模型中線性部分w的影響力會逐漸占統治地位，最終整個模型會逐漸和專家經驗過擬合。

尤其是在原來概率分布灰色地帶的樣本點，模型會趨向不告警。

這樣導致的效果是，整體模型的誤報確實少了，模型可能可以上線了，但是漏報的潛在風險也大了，要用別的新的泛化方法來發現可能的漏報。

有興趣的讀者可以使用阿里雲的公共機器學習平台PAI平台，我們已經開放了相關算法組件的運算能力：

通過構建工作流，可以不斷進行迭代feedback訓練，並最終得到擬合於專家經驗的FBIF模型。