用戶滿意度
描述用戶對推薦結果的滿意程度,這是推薦系統最重要的指標。一般通過對用戶進行問卷或者監測用戶線上行為數據獲得。
預測准確度
描述推薦系統預測用戶行為的能力。一般通過離線數據集上算法給出的推薦列表和用戶行為的重合率來計算。重合率越大則准確率越高。
覆蓋率
描述推薦系統對物品長尾的發掘能力。一般通過所有推薦物品占總物品的比例和所有物品被推薦的概率分布來計算。比例越大,概率分布越均勻則覆蓋率越大。
多樣性
描述推薦系統中推薦結果能否覆蓋用戶不同的興趣領域。一般通過推薦列表中物品兩兩之間不相似性來計算,物品之間越不相似則多樣性越好。
新穎性
如果用戶沒有聽說過推薦列表中的大部分物品,則說明該推薦系統的新穎性較好。可以通過推薦結果的平均流行度和對用戶進行問卷來獲得。
驚喜度
如果推薦結果和用戶的歷史興趣不相似,但讓用戶很滿意,則可以說這是一個讓用戶驚喜的推薦。可以定性地通過推薦結果與用戶歷史興趣的相似度和用戶滿意度來衡量。
簡而言之,一個好的推薦系統就是在推薦准確的基礎上,給所有用戶推薦的物品盡量廣泛(挖掘長尾),給單個用戶推薦的物品盡量覆蓋多個類別,同時不要給用戶推薦太多熱門物品,最牛逼的則是能讓用戶看到推薦后有種「相見恨晚」的感覺。
推薦系統的分類