【十大經典數據挖掘算法】PageRank

【十大經典數據挖掘算法】系列

1. C4.5
2. K-Means
3. SVM
4. Apriori
5. EM
6. PageRank
7. AdaBoost
8. kNN
9. Naïve Bayes
10. CART

---

我特地把PageRank作為【十大經典數據挖掘算法】系列的收尾篇，是因為本人是Google腦殘粉。因了PageRank而Google得以成立，因了Google而這個世界變得好了那么一點點。

1. 引言

PageRank是Sergey Brin與Larry Page於1998年在WWW7會議上提出來的，用來解決鏈接分析中網頁排名的問題。在衡量一個網頁的排名，直覺告訴我們：

• 當一個網頁被更多網頁所鏈接時，其排名會越靠前；
• 排名高的網頁應具有更大的表決權，即當一個網頁被排名高的網頁所鏈接時，其重要性也應對應提高。

對於這兩個直覺，PageRank算法所建立的模型非常簡單：一個網頁的排名等於所有鏈接到該網頁的網頁的加權排名之和：

\begin{equation}
PR_i = \sum_{(j,i)\in E} \frac{PR_j}{O_j}
\label{eq:pr1}
\end{equation}

\(PR_i\)表示第\(i\)個網頁的PageRank值，用以衡量每一個網頁的排名；若排名越高，則其PageRank值越大。網頁之間的鏈接關系可以表示成一個有向圖\(G=(V,E)\)，邊\((j,i)\)代表了網頁\(j\)鏈接到了網頁\(i\)；\(O_j\)為網頁\(j\)的出度，也可看作網頁\(j\)的外鏈數（ the number of out-links）。

假定\(P=(PR_1, PR_2, \cdots, PR_n)^T\)為n維PageRank值向量，\(A\)為有向圖\(G\)所對應的轉移矩陣，

\[A_{ij}=\left \{ { \matrix { \frac{1}{O_i} & if \ (i,j) \in E \cr 0 & otherwise } } \right. \]

\(n\)個等式\eqref{eq:pr1}可改寫為矩陣相乘：

\begin{equation}
P = A^T P
\label{eq:pr2}
\end{equation}

但是，為了獲得某個網頁的排名，而需要知道其他網頁的排名，這不就等同於“是先有雞還是先有蛋”的問題了么？幸運的是，PageRank采用power iteration方法破解了這個問題怪圈。欲知詳情，請看下節分解。

2. 求解

為了對上述及以下求解過程有個直觀的了解，我們先來看一個例子，網頁鏈接關系圖如下圖所示：

那么，矩陣\(A\)即為

所謂power iteration，是指先給定一個\(P\)的初始值\(P^0\)，然后通過多輪迭代求解:

\[P^k = A^TP^{k-1} \]

最后收斂於\(||P^k-P^{k-1}|| < \xi\)，即差別小於某個閾值。我們發現式子\eqref{eq:pr2}為一個特征方程（characteristic equation），並且解\(P\)是當特征值（eigenvalue）為\(1\)時的特征向量（eigenvector）。為了滿足\eqref{eq:pr2}是有解的，則矩陣\(A\)應滿足如下三個性質：

• stochastic matrix，則行至少存在一個非零值，即必須存在一個外鏈接（沒有外鏈接的網頁被稱為dangling pages）；
• 不可約（irreducible），即矩陣\(A\)所對應的有向圖\(G\)必須是強連通的，對於任意兩個節點\(u,v \in V\)，存在一個從\(u\)到\(v\)的路徑；
• 非周期性（aperiodic），即每個節點存在自回路。

顯然，一般情況下矩陣\(A\)這三個性質均不滿足。為了滿足性質stochastic matrix，可以把全為0的行替換為\(\mathrm{e}/n\)，其中\(e\)為單位向量；同時為了滿足性質不可約、非周期，需要做平滑處理：

\[P=\left( (1-d)\frac{\mathrm{E}}{n} + dA^T\right) \]

其中，\(d\)為 damping factor，常置為0與1之間的一個常數；\(E\)為單位陣。那么，式子\eqref{eq:pr1}被改寫為

\[PR_i = (1-d) + d\sum_{(j,i)\in E} \frac{PR_j}{O_j} \]

3. 參考資料

[1] Bing Liu and Philip S. Yu, "The Top Ten Algorithms in Data Mining" Chapter 6.