張量分解與應用-學習筆記[02]

3. 張量秩與CANDECOMP/PARAFAC分解法

3.0 CANDECOMP/PARAFAC分解法的定義

• CANDECOMP(canonical decomposition)和PARAFAC(parallel factors)是一種對張量進行拆分的方法, 其核心思想是用有限個的秩1張量的和來(近似地)表示該張量. 這種方法被很多人獨立的發現, 不考慮歷史上的因素, 我們將其稱為CP分解法 (CP decomposition).
  

• 例: 如果我們要把一個3階張量\(\mathcal{X}\in\mathbb{R}^{I \times J \times K}\)進行CP分解, 我們期待其結果如下.

\[\begin{equation} \mathcal{X} \approx \sum_{r=1}^R a_r \circ b_r \circ c_r \end{equation}, \]

• 通過外積的定義, 對每個元素都有:

\[x_{ijk} \approx \sum_{r=1}^R a_{ir}b_{jr}c_{kr} \text{ for $i=1,\dots,I,\,j=1,\dots,J, \, k=1,\dots,K.$} \]

• 我們稱那些上式中通過外積組成秩1張量元素的向量集合為因子矩陣(factor matrices). 例如, \(\mathrm{A} = \begin{bmatrix} a_1 & a_2 & \dots & a_R \end{bmatrix}\), 類似的,我們構造\(\mathrm{B}\) 和 \(\mathrm{C}\). 利用這些定義, CP分解可以被等價寫作以下矩陣形式. 注意, 其左側都是張量的對應mode的矩陣化.

\[\mathrm{X}_{(1)} \approx \mathrm{A}(\mathrm{C}\odot \mathrm{B})^\mathsf{T},\\ \mathrm{X}_{(2)} \approx \mathrm{B}(\mathrm{C}\odot \mathrm{A})^\mathsf{T},\\ \mathrm{X}_{(3)} \approx \mathrm{C}(\mathrm{B}\odot \mathrm{A})^\mathsf{T}. \]

• 上述性質證明請查閱此論文第四頁

• 以上3維模型也可以用張量的frontal slices來表示:

\[\mathcal{X} \approx \mathrm{A}\mathrm{D}^{(k)}\mathrm{B}^\mathsf{T},\, \text{ where }\, \mathrm{D}^{(k)} \equiv \text{diag}(c_{k::}) \, \text{ for $\, k=1,...,K.$} \]

• 我們也可以將上式子改寫為horizontal slices和lateral slices的版本, 需要注意的是, 這種以slice為主體的表達很難延伸到超過3維的張量之中. 利用Kolda的命名方式, 我們也可以進一步簡化CP模型:

\[\mathcal{X} \approx [\![\mathrm{A,B,C]}\!] \equiv \sum_{r=1}^R \mathrm{a}_r \circ \mathrm{b}_r \circ \mathrm{c}_r. \]

• 為了便利, 我們通常假設\(\mathrm{A, B}\)和\(\mathrm{C}\)的列向量都是歸一化的(normalized). 而原本的比重(weights)則被一個向量\(\lambda\in\mathbb{R}^R\)所吸收, 寫作以下形式:

\[\mathcal{X} \approx [\![\lambda \, ; \, \mathrm{A,B,C}]\!] \equiv \sum_{r=1}^R \lambda_r \: \mathrm{a}_r \circ \mathrm{b}_r \circ \mathrm{c}_r. \]

• 到現在為止, 我們都只把注意力放在了3維張量上. 這是因為3維張量恰恰是應用當中最為廣泛也往往是足夠滿足我們需求的張量. 對於一個N階的張量, \(\mathcal{X}\in\mathbb{R}^{I_1\times I_2 \times \dots \times I_N}\)來說, 他的CP分解可以被寫為

\[\mathcal{X} \approx [\![\lambda \:; \mathrm{A}^{(1)}, \mathrm{A}^{(2)},\dots,\mathrm{A}^{(N)}]\!] \equiv \sum_{r=1}^R \lambda_r \: \mathrm{a}_r^{(1)} \circ \mathrm{a}_r^{(1)}\circ \dots \circ \mathrm{a}_r^{(N)}, \]

• 其中\(\lambda \in \mathbb{R}^R\)以及\(\mathrm{A}^{(n)}\in \mathbb{R}^{I_n\,\times\,\mathbb{R}}\). 在這種情況下, mode-n 矩陣化的版本將為如下:

\[\mathrm{X}_{(n)}\approx \mathrm{A}^{(n)}\Lambda(\mathrm{A}^{(N)}\circ \dots \circ \mathrm{A}^{(n+1)} \circ \mathrm{A}^{(n-1)} \cdot \dots \cdot \mathrm{A^{(1)})^\mathsf{T}} \]

• 其中 \(\Lambda = diag(\lambda).\)

3.1 張量秩(tensor rank)的基本

• 與矩陣時的定義類似, 張量秩寫作$ \text{rank}(\mathcal{X}) \(, 為還原張量所需秩1張量的最小數目. 換句話說, 也就是精確(exact)CP分解中的最小成分數. 當CP分解是精確的, 也就是\)R=\text{rank}(\mathcal{X})$時, 我們也稱之為秩分解(rank decomposition).

• 雖然張量秩的定義和矩陣類似, 但他們的性質之間存在很多不同. 其中一個不同便是在 \(\mathbb{R}\) 和 \(\mathbb{C}\) 之下, 實數值得張量可以存在不同的秩. 舉例來說, 令張量\(\mathcal{X}\)的frontal slice為:

\[\mathrm{X}_1 = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \quad \text{and} \quad \mathrm{X}_2 = \begin{bmatrix} 0 & 1 \\ -1 & 0\end{bmatrix}. \]

• 這個張量在 \(\mathbb{R}\) 下的秩為3, 但在 \(\mathbb{C}\) 下的秩為2. 其 \(\mathbb{R}\) 之下的秩分解\(\mathcal{X} = [\![\mathrm{A}, \mathrm{B}, \mathrm{C}]\!]\)為:

\[\mathrm{A} = \begin{bmatrix}1 & 0 & 1 \\ 0 & 1 & -1 \end{bmatrix}, \quad \mathrm{B} = \begin{bmatrix}1 & 0 & 1 \\ 0 & 1 & 1 \end{bmatrix}, \quad and \quad \mathrm{C} = \begin{bmatrix}1 & 1 & 0 \\ -1 & 1 & 1 \end{bmatrix}, \]

• 在 \(\mathbb{C}\) 之下, 其秩分解則為:

\[\mathrm{A} = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1 \\ -i & i \end{bmatrix}, \quad \mathrm{B} = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1 \\ i & -i \end{bmatrix}, \quad and \quad \mathrm{C} = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1 \\ i & -i \end{bmatrix} \]

• 或許讀者已經注意到了, 我們給出了張量秩的定義, 但我們沒有給出如何求他的方法. 這是張量秩和矩陣秩的第二個巨大不同. 張量秩沒有一個簡單直接的求法, 以至於任何張量秩都伴隨着證明他確實為秩的過程. 即使我們對秩的最大值有一定程度的了解, 直接求秩本身已被證明是NP-hard.

• 除了最大秩以外, 我們定義典型秩為那些出現概率不為0的秩. 當給定尺寸的張量中填上隨機實數值,我們用monte-carlo法等檢測其秩為某數的概率. 當其概率不為0時, 我們稱之為典型秩. 比如, 我們發現\(2 \times 2 \times 2\)張量中, 79%的可能性是秩2, 21%可能性是秩3. 秩1理論可能,但概率為0. (試想隨機生成的一個張量恰好為3個秩1向量外積的可能性).

• 下圖是一些在某些情況下我們知道的最大秩(maximum rank)和典型秩(typical rank), 其中最詳細的是某維度下只有兩層slice的3階張量:

• 對於任意的一個3階張量\(\mathcal{X}^{I\times J \times K}\), 我們只知道其秩最大秩的弱上限:

\[\text{rank}(\mathcal{X}) \leq \text{min}\{IJ, IK, JK\}. \]

• 當我們知道張量的某一個slice是對稱的時候, 我們從這個限制中推測出更多信息. 由於秩與維度的順序無關, 在不失一般性的情況下,我們假設其frontal slice是對稱的. 其秩的相關信息可見下圖:
  
• 對於超對稱(supersymmetric)的張量來說, 我們可以借由定義一個新的概念:對稱秩(symmetric rank)來研究他. 設張量\(\mathcal{X}\in \mathcal{C}^{I\times I\times \dots \times I}\)是超對稱的, 則其在\(\mathcal{C}\)上的對稱秩被定義為:

\[\text{rank}_S(\mathcal{X}) = \text{min} \Big\{ R: \mathcal{X} = \sum_{r=1}^{R} \mathrm{a}_r \circ \mathrm{a}_r \circ \dots \circ \mathrm{a}_r, \text{ where $\mathrm{A} \in \mathbb{C}^{I \times R}$} \Big\}, \]

• 也就是其對稱秩1因子的最小數目. Comon et al.指出, 除了\((N,I) \in \{ (3,5), (4,3), (4,4), (4,5)\}\)的時候等式需要加1以外,以下等式成立的概率為1.

\[\text{rank}_S(\mathcal{X}) = \Bigg\lceil \frac{{I+N-1}\choose{N}}{I} \Bigg\rceil, \]

3.2 唯一性 Uniqueness

• 高維張量的另一個很神奇的特性在於他們的秩分解往往是唯一的. 而矩陣並不是, 他們往往有多個秩分解解法. 我們可以從一個簡單的例子來復習如何輕易構造出無窮多個這樣的矩陣秩分解.

• 令矩陣\(\mathrm{X} \in \mathbb{R}^{I \times J}\), 則他的秩分解為:

\[\mathrm{X} = \mathrm{A}\mathrm{B}^\mathsf{T} = \sum_{r=1}^R \mathrm{a}_r \circ \mathrm{b}_r. \]

• 如果\(\mathrm{X}\)的SVD為\(\mathrm{U\Sigma V}^\mathsf{T}\)那么, 我們可以選擇\(\mathrm{A} = \mathrm{U \Sigma}\)和\(\mathrm{B} = \mathrm{V}.\) 然而, 這也等效於選擇\(\mathrm{A} = \mathrm{U \Sigma W}\)和\(\mathrm{B} = \mathrm{VW}\), 其中 \(\mathrm{W}\) 是任意一個 \(R\times R\)的正交矩陣(orthogonal matrix)

• 換句話說, 我們可以找到無窮多個滿足上述要求的矩陣秩分解. SVD的結果是唯一理由僅僅是因為其正交限制及對奇異值排序上的約束所導致.

• 然而, CP分解在弱的多的前提下也是唯一的.令\(\mathcal{X} \in \mathbb{R}^{I \times J \times K}\)為一個秩\(R\)三階張量, 那么我們有如下分解:

\[\mathcal{X} = \sum_{r=1}^R \mathrm{a}_r \circ \mathrm{b}_r \circ \mathrm{c}_r = [\![\mathrm{A},\mathrm{B},\mathrm{C}]\!]. \quad\quad\quad\quad\quad(3.1) \]

• 上述的唯一性指的是, 我們只能找到一種可能的秩1張量的組合使得他們的和為\(\mathcal{X}\). 請注意, 由於張量的特殊性, 我們在講唯一時排除了張量的度量(scaling)和置換(permutation)上的內在不確定性(indeterminacy).

• 置換不確定性是因為任何秩1張量都可以被隨意交換維度. 寫成數學語言便是:

\[\mathcal{X} = [\![\mathrm{A}, \mathrm{B}, \mathrm{C}]\!] = [\![\mathrm{A\Pi}, \mathrm{B\Pi}, \mathrm{C\Pi}]\!] \,\text{ for any $R \times R$ permutaton matrix $\mathrm{\Pi}$}. \]

• 而度量的不確定性則來自於我們可以縮放組成秩1張量的向量, 只要保證他們最后的外積不便即可:

\[\mathcal{X} = \sum_{r=1}^{R}(\alpha_r \mathrm{a}_r) \circ (\beta_r \mathrm{b}_r) \circ (\gamma_r \mathrm{c}_r), \quad \alpha_r \beta_r \gamma_r = 1 \text{ for }r=1,\dots,R. \]

• 在唯一性這方面最有建樹的理論之一來自於Kruskal和新概念k-rank. 對於一個矩陣\(\mathrm{A}\)來說, k-rank, 寫作\(k_\mathrm{A}\),是滿足A的任意k個列向量都是線性不相關的條件下的k的最大值. 該k揭示了CP分解法(3.1)唯一性的充分條件:

\[k_{\mathrm{A}} + k_{\mathrm{B}} + k_{\mathrm{C}} \geq 2R + 2. \]

• 隨后, Kruskal的結論被其他人延伸至N階張量. 設\(\mathcal{X}\)是一個N階的秩R張量, 並假設其CP分解如下:

\[\mathcal{X} = \sum_{r=1}^R \mathrm{a}_r^{(1)}\circ \mathrm{a}_r^{(2)} \circ \dots \circ \mathrm{a}_r^{(N)} = [\![\mathrm{A}^{(1)}, \mathrm{A}^{(2)},\dots,\mathrm{A}^{(N)}]\!]. \]

• 那么, 其唯一性的充分條件為:

\[\sum_{n=1}^N k_\mathrm{A}^{(n)} \geq 2R + (N-1). \]

• 上述分解唯一性的充分條件, 對秩2或秩3張量來說同時也是必要條件. 而當秩大於3的時候, 就不一定了. 一個更為一般的CP分解的必要條件集如下:

\[\min_{n=1,\dots,N} \text{rank} \Big(\mathrm{A}^{(1)} \cdot \dots \cdot \mathrm{A}^{(n-1)} \cdot \mathrm{A}^{(n+1)}\cdot \dots \cdot \mathrm{A}^{(N)}\Big) = R. \]

• 然而我們通過觀察發現, \(\text{rank}(\mathrm{A} \odot \mathrm{B}) \leq \text{rank} (\mathrm{A} \otimes \mathrm{B}) \leq \text{rank}(\mathrm{A}) \cdot \text{rank}(\mathrm{B})\), 我們可以甚至可以得出一個更簡單的必要條件:

\[\min_{n=1,\dots,N}\Bigg(\prod_{m=1 \\ m \neq n} \text{rank}(\mathrm{A}^{(m)})\Bigg) \geq R. \]

• De Lathauwer 提出了觀察張量秩是否為確定唯一(deterministically unique)或generically unique (一般唯一, 也就是概率為1). CP分解法對一個\(\mathcal{X} \in \mathbb{R}^{I \times J \times K}\)的一般唯一條件如下:

\[R \leq K \quad \text{and} \quad R(R-1) \leq I(I-1)J(J-1)/2. \]

• 類似的, 對於一個4階秩R張量$\mathcal{X} \in \mathbb{R}^{I \times J \times K \times L}來說, CP分解法的一般唯一條件為:

\[R \leq L \quad \text{and} \quad R(R-1) \leq IJK(3IJK - IJ - IK - JK - I - J - K +3)/4 \]

3.3 低秩近似(Low-Rank Approximations)與邊界秩(the Border Rank)

• 對矩陣來說, 我們知道使用SVD的前k個因子即可獲得其最好的秩k近似(rank-k approximation). 我們來復習一下. 若秩R矩陣\(\mathrm{A}\)的SVD如下:

\[\mathrm{A} = \sum_{r=1}^R \sigma_r \mathrm{u}_r \circ \mathrm{v}_r \quad \text{with }\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_R > 0. \]

• 最小化\(||\mathrm{A} - \mathrm{B}||\)的秩k近似為:

\[\mathrm{B}= \sum_{r=1}^k \sigma_r \mathrm{u}_r \circ \mathrm{v}_r. \]

• 然而, 這種類型的近似法對高維張量來說不成立. 例如: 考慮一個3階秩R張量的如下CP分解:

\[\mathcal{X} = \sum_{r=1}^R \lambda_r \mathrm{a}_r \circ \mathrm{b}_r \circ \mathrm{c}_r. \]

• 理想狀態下, 我們期待將其中k個分解因子相加來獲得一個最佳k秩近似. 但實際上, 這並不可行. Kolda已經給出一個反例, 其中最佳秩1近似的因子, 並不存在於其最佳秩2分解的因子中. 換句話說, 我們不能通過尋找秩N分解因子集, 來按序給出秩N以下的最佳近似. 我們必須獨立的面對每個秩k問題, 並同時找出其所有因子.

• 然而, 問題可能更為復雜. 因為在高維張量可能根本不存在其最佳秩K近似. 我們稱那些可以被低秩因子近似到任意程度的張量為退化的(degenerate)張量. 舉例來說, 令\(\mathcal{X}\in \mathbb{R}^{I \times J \times K}\) 為一個被如下式所定義的3階張量

\[\mathcal{X} = \mathrm{a}_1 \circ \mathrm{b}_1 \circ \mathrm{c}_2 + \mathrm{a}_1 \circ \mathrm{b}_2 \circ \mathrm{c}_1 + \mathrm{a}_2 \circ \mathrm{b}_1 \circ \mathrm{c}_1 , \]

• 其中, \(\mathrm{A} \in \mathbb{R}^{I \times 2}, \, \mathrm{B} \in \mathbb{J \times 2}, \quad \mathrm{C} \in \mathbb{R}^{K \times 2}\) 並且其列向量均為線性無關. 那么, 這個張量就可以被一個秩2張量近似至任意程度:

\[\mathcal{Y} = \alpha \, \Big( \mathrm{a}_1 + \frac{1}{\alpha} \mathrm{a}_2 \Big) \circ \Big( \mathrm{b}_1 + \frac{1}{\alpha} \mathrm{b}_2 \Big) \circ \Big( \mathrm{c}_1 + \frac{1}{\alpha} \mathrm{c}_2 \Big) - \alpha \, \mathrm{a}_1 \circ \mathrm{b}_1 \circ \mathrm{c}_1. \]

• 具體來說:

\[||\mathcal{X} - \mathcal{Y}|| = \frac{1}{\alpha} \Bigg|\Bigg| \, \mathrm{a}_2 \circ \mathrm{b}_2 \circ \mathrm{c}_1 + \mathrm{a}_2 \circ \mathrm{b}_1 \circ \mathrm{c}_2 + \mathrm{a}_1 \circ \mathrm{b}_2 \circ \mathrm{c}_2 + \frac{1}{\alpha} \mathrm{a}_2 \circ \mathrm{b}_2 \circ \mathrm{c}_2 \,\Bigg|\Bigg| \]

• 很顯然, 此式可以被縮小至任意程度. 因此上述張量為退化的. 從這個例子中我們還可以發現, 秩2張量空間並不是閉合(closed)的. 此例中, 如下圖所示的那樣, 秩2向量的序列收斂於秩3張量.
  

• 接下來快速的敘述一些關於此性質的重要發現. Lundy, Harshman 和 Kruskal發現結合Tucker分解法可以避免退化. De Silva和Lima指出, 那些沒有最優秩k近似的張量, 至少對某些k來說有正體積(Lebesgue measure 勒貝格測度). 換句話說, 沒有最優秩k近似並不是一個罕見的事件. Comon給出了對稱矩陣和對稱近似的相似退化例子. Stegeman證明了維度為\(I\times \times 2\)時, 任何秩為\(I+1\)的張量都不存在最佳秩\(I\)近似. 他接下來又證明了當張量的維度為\(I\times J\times 3\), 秩為其2種典型秩時, 絕大多數情況下我們可以找到一個近似至任意程度的低秩近似.

• 當最佳低秩近似不存在時, 考慮其邊界秩(border rank)變得十分有用. 他被定義為允許我們近似至任意精度時, 所需秩1張量的數量的最小值:

\[\begin{aligned} \widetilde{\text{rank}} (\mathcal{X}) = \min \{ \, r \, | \, \text{ for any $\epsilon > 0$, exists tensor $\mathcal{E}$ such that $||\mathcal{E}|| < \epsilon$, rank $(\mathcal{X} + \mathcal{\mathcal{E}}) = r$}\} \end{aligned} \]

• 顯然, 邊界秩滿足:

\[\widetilde{\text{rank}}(\mathcal{X}) \leq \text{rank}(\mathcal{X}). \]

3.4 計算CP分解 Computing the CP Decomposition

• 就如前文所述, 並沒有一個確定的算法來得出一個張量的秩. 於是, 當我們試圖計算CP分解時遇到的第一個問題, 便是如何選擇其秩1成分的個數. 許多計算方法同時選擇了幾個不同的秩1成分個數來計算CP分解, 直到發現某一種選擇看起來"最好". 理想上來說, 如果數據是沒有噪音而且秩1成分數量給定后的CP計算方法是已知的, 那么我們只要在分解的擬合精度達到100%之前, 對\(R= 1,2,3,\dots\)依序進行計算即可.

• 然而, 就如同你可能預料的那樣, 這樣的方法有許多問題.

  • 我們發現即使給定秩1成分的數量, 也沒有完美的方法去求出CP.
  • 而且, 就和我們在之前的例子中看到的那樣, 有些張量是退化的, 他們擁有可以精確至任意精度的低秩分解. 這在應用之中引起了一些麻煩.
  • 最后, 數據中經常是有噪音的. 當有噪時, 任何擬合都不能決定秩的大小.

• 給定秩1成分數量后計算CP的主流算法有許多. 我們將目光先焦距在流行算法ALS(alternating least squares)(交替最小方差法)身上. 原始算法如下圖. 為了簡化, 接下來我們只會推導3階算法, 原始論文是針對N階的.
  

• 假設三階張量\(\mathcal{X} \in \mathbb{R}^{I \times J \times K}\). 我們的目標是算出他的CP分解, 使得其中R個秩1元素的和能夠最好的近似\(\mathcal{X}\). 也就是說, 我們要尋找

\[\min_{\hat{\mathcal{X}}} ||\mathcal{X} - \hat{\mathcal{X}}|| \, \text{ with } \, \hat{\mathcal{X}} = \sum_{t=1}^R \lambda_r \, \mathrm{a}_r \circ \mathrm{b} \circ \mathrm{c}_r = [\![\mathrm{\lambda}\, ; \, \mathrm{A}, \mathrm{B}, \mathrm{C}]\!]. \]

• 交替最小方差法先固定\(\mathrm{B}\)和\(\mathrm{C}\)來求出\(\mathrm{A}\), 然后固定\(\mathrm{A}\)和\(\mathrm{C}\)來求\(\mathrm{B}\), 最后固定\(\mathrm{A}\)和\(\mathrm{B}\)來求出\(\mathrm{C}\). 然后將重復整個流程直到一些收斂條件被符合.

• 通過固定除了一個矩陣以外的所有矩陣, 問題就被簡化成了一個線性最小方差問題. 比如, 假設\(\mathrm{B}\)和\(\mathrm{C}\)被固定, 回憶在上一章中我們提及以下性質:

\[\mathrm{X}_{(1)} \approx \mathrm{A}(\mathrm{C}\odot \mathrm{B})^\mathsf{T},\\ \mathrm{X}_{(2)} \approx \mathrm{B}(\mathrm{C}\odot \mathrm{A})^\mathsf{T},\\ \mathrm{X}_{(3)} \approx \mathrm{C}(\mathrm{B}\odot \mathrm{A})^\mathsf{T}. \]

• 因此, 最小化問題可以被寫成以下矩陣形式

\[\min_{\hat{\mathrm{A}}}||\mathrm{X}_{(1)} - \hat{\mathrm{A}}(\mathrm{C}\odot\mathrm{B})^\mathsf{T}||_F, \]

• 其中. \(\hat{\mathrm{A}} = \mathrm{A} \cdot \text{diag}(\lambda)\) . 最優解為:

\[\hat{\mathrm{A}} = \mathrm{X}_{(1)}\big[(\mathrm{C}\odot \mathrm{B})^{\mathsf{T}}\big]^\dagger. \]

• 由於Khatri-Rao乘積的性質, 其偽逆矩陣有特殊形式. (可參考本筆記開頭介紹Khatri-Rao性質的部分). 經常將解寫作

\[\hat{\mathrm{A}} = \mathrm{X}_{(1)}(\mathrm{C} \odot \mathrm{B})(\mathrm{C}^{\mathsf{T}}\mathrm{C} * \mathrm{B}^{\mathsf{T}}\mathrm{B})^\dagger. \]

• 這個版本的優勢在於我們僅僅需要計算一個\(R\times R\)而不是\(JK\times R\)矩陣的偽逆矩陣. 然而, 由於存在數值病態條件的可能, 我們並不總是推薦這個版本.

• 最后, 我們還需要歸一化\(\hat{\mathrm{A}}\)的列向量來獲得\(\mathrm{A}\). 換句話說, 令\(\lambda_r = ||\hat{\mathrm{a}}_r||\) 及 \(\mathrm{a}_r = \hat{\mathrm{a}}_r / \lambda_r \, \text{ for } r = 1,\dots , R.\)

• 完整的ALS算法參照上面的Figure3.3. 他假設CP分解的成分數R是被給定的. 其因子矩陣可以用任何方式初始化, 可以是隨機的, 也可以令其為對應mode下的矩陣化結果的從左側起R個奇異向量

\[\mathrm{A}^{(n)} = R \,\text{ leading left singular vectors of }\mathrm{X}_{(n)} \,\text{ for }\, n=1,\dots,N. \]

• 如圖中所述, 在每個內迭代中, 都必須計算矩陣\(\mathrm{V}\)的偽逆矩陣. 雖然這只是個\(R\times R\)尺寸的矩陣. 迭代將持續到某些停止條件都被符合為止. 常見的選擇有: 目標函數的提升為0或低於閾值; 因子矩陣幾乎或沒有被改變; 目標值為0或幾乎為0以及預設的最大迭代次數被超過等. (熟悉深度學習的朋友應該都很熟悉這些常見的停止模式)

• ALS算法簡單易懂, 實現輕松, 但往往需要很多次迭代才能收斂, 顯得效率有些低. 而且, 該算法並不保證我們能達到一個全局最小值, 甚至不能保證是一個駐點. 他其實只是給出了一個上述最小化目標的函數的解, 使得最小化目標函數開始慢慢停止減少, 他沒有保證這個最小化目標函數處於最低值或者不會繼續減少.

• 替代ALS的可行算法有許多, 但在時間不是緊缺的情況下, 研究表明並沒有一個比ALS全面優秀的算法存在. 研究ALS的變種算法的論文更是不計其數. 他成為了一個分支研究的起點, 人們期待從他出發, 尋找張量分解的新的可能.

下一章我們將引入另一種分解法: Tucker分解法及張量壓縮, 敬請期待!!