從分類,排序,top-k多個方面對推薦算法穩定性的評價

介紹

論文名: “classification, ranking, and top-k stability of recommendation algorithms”.
本文講述比較推薦系統在三種情況下, 推薦穩定性情況.
與常規准確率比較的方式不同, 本文從還有一個角度, 即推薦算法穩定性方面進行比較.

具體

參與比較的推薦算法

包含:

1. baseline
2. 傳統基於用戶
3. 傳統基於物品
4. oneSlope
5. svd

比較方式

比較的過程分為兩個階段:

階段一, 將原始數據分為兩個部分, 一部分為已知打分, 還有一部分為未知打分, 用於預測.
階段二, 在用於預測打分那部分數據中, 取出一部分數據, 增加到已知打分部分, 剩余部分仍然為預測部分.

比較階段一中的預測結果和階段二中預測結果的比較.
數據划分情況如圖所是.

比較的方式

預測穩定性

預測性的評價方式有下面幾種:
MAE, RMSE

分類穩定性

分類型的評價方式有下面幾種:
准確率, 召回率, F-分數.

排名穩定性

排名型的評價方式有下面幾種:
排名相關性, Spearman的 ρ 評價, Kruskal的 γ 評價, Kendall的 τ 評價.

前K項穩定性

前k項的評價方式有下面幾種:
點擊率穩定性(hit-rate), NDCG(normalized discounted cumulative gain).

比較的場景

稀疏性沖擊

改變數據的稀疏性, 從幾個方面比較這些推薦算法的穩定性.

結果如圖所是.

基於內存的推薦算法和slopeone算法表現出強烈的不穩定性和對數據敏感性.
svd和baseline算法相對穩定.

評價數量沖擊

改變第二階段中新增加數據的數量, 比較兩次實驗的差異.

結果如圖所是:

橫坐標為比例, 即已知打分數據的倍數, 從10%到500%.

從圖中能夠看出, 在新增加的數據較少時, 各個推薦算法表現出高度的穩定性.

當新增加的數據較多時, 基於內存的推薦算法的穩定性不斷下降.
相反, 基於模型的方法相對穩定.

打分分布沖擊

除了新增加的數據外, 新增加的數據的數據分布也一定程度上影響了推薦算法的穩定性.

下表顯示了改動數據分布的策略:

實驗的結果例如以下:

從圖中能夠看出, 當增加的數據為隨機時, 各個推薦算法都表現出相對較高的穩定性.
可是, 當增加的數據出現歪斜時, 基於內存的推薦算法的穩定性減少較快, 基於模型的推薦算法的穩定性基本保持不變.

算法參數沖擊

對於推薦算法而言, 除了數據的因素外, 還有算法本身參數對算法穩定性的影響.

對於基於內存的算法, 類似用戶/物品的數量影響着推薦算法的效果,
對於svd算法, 隱含屬性的數量影響着推薦算法的結果.

實驗通過改動推薦算法參數的方式進行比較, 結果如圖所時:

對於top-K的比較, k值的大小也影響推薦算法的穩定性.
通過改動k的大小, 實驗的結果如圖所時:

實驗結果表示:

對於改動算法的參數, 對svd算法的影響較少, 對於基於內存的算法影響較大.

改動top-k中k的大小, 對基於模型的推薦算法影響較小, 對於基於內存的推薦算法的穩定性影響較大.

總結

對於上面多種情況的比較.
基於模型的推薦算法在多種情況下, 穩定性較高, 特別時svd算法.
基於內存的推薦算法穩定性較差.