https://blog.csdn.net/qq_31073871/article/details/81067301
已知變量X和Y為線性關系（這里XY均為nx1的列向量），為了得知X和Y到底具有怎樣的線性關系（也即求解X的系數），如果這是一個工程問題，我們解決這一問題的方法就是對X和Y進行采樣，獲得很多組樣本，然后就能求解出系數了，按照線代的理論，系數矩陣為nxn方陣，且秩為n時，方程具有唯一解，如果采樣點過多，也即方程的數目多於未知數的數目，則方程組無解，這時只能求出一個近似解，以不同的目的獲得的近似解是不同的，如果為了使方程左右兩邊的誤差的平方和最小，而獲得的近似解，就是最小二乘解(所謂“二乘”，就是“平方”的意思，最小二乘就是最小平方和)。這個問題的證明在研究生的矩陣分析引論數學課上學過，現在也忘光了，只記得結論表達式了。
例子：假設變量y是n個變量xi的線性組合，求系數。
設方程為AX=y，也即
為了計算出系數a1、a2、···an的值，我們至少需要n次X、Y的采樣值，形如：
這樣就能求解出系數a1、a2、···an的值了，如果采樣樣本不止n個，而是多於n個，也不要緊，雖然會會造成方程組無解，但是可以求出最小二乘解。
把方程組寫成矩陣形式為：
XA=Y （式2）
至此，就求出了所有的系數ai
-----------------------------------------------------后記---------------------------------------------------------------------
又翻了電子版課本，把最小二乘的證明過程也貼上來：
證明過程在《矩陣分析引論》第30頁。證明過程需要用到子空間的概念，這一概念的定義在第6頁。
最后簡單整理一下證明過程：
————————————————
版權聲明：本文為CSDN博主「qq_610642」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/qq_31073871/article/details/81067301
參考1：https://blog.csdn.net/lsh_2013/article/details/46697625