1 極值點
對於一元函數 f(x)，其極值點有如下結論：
1）當一階導數為零時，該點為極值點；
2）當二階導數大於零時，該點為極小值；當二階導數小於零時，該點為極大值；
3）當二階導數等於零時，無法判斷；
對於一般二元函數 ，其一階偏導滿足關系 
為極值點，
使用泰勒公式的二階近似 
，
由於一階偏導為零，進一步簡化為 
，
則函數 
在臨界點 
的極值特性取決於關系式 
，
通過配方上式改寫為兩完全平方項之和 
，
1）當 
時，兩平方項均為非負值，z 最終值取決於 
。
當 
時，臨界點 為極小值點；當 
時，臨界點 為極大值點；當 
時，無法判斷；
2）當 
時，將該公式乘以 
，第一項小於零，第二項大於零，則臨界點 為鞍點（saddle point）；
通過以上討論，對於二元函數 
，當其值始終大於零（非零點）時，該函數被稱為正定的（positive definite）；
推廣到多元函數，也有類似結論；
2 正定矩陣
將二元二次函數改寫為矩陣 
, 當滿足 
時，矩陣 A 被稱為正定矩陣；
類似的，n元二次函數 
,
其矩陣形式為 
，當滿足 時，矩陣 A 被稱為正定矩陣；
觀察矩陣 A 可知，該矩陣為對稱矩陣，故其特征值為實數，特征向量為正交向量；
3 正定矩陣的判定依據
當矩陣 A 為實對稱矩陣時，以下條件都是矩陣 A 為正定矩陣的充分必要條件(necessary and sufficient condition)：
1），這是正定矩陣的基本定義；
2）矩陣 A 的所有特征值均大於零；
由於 
，
，所以 
，矩陣 A 的所有特征值都大於零；
反過來，當所有特征值均大於零時，有如下推導：
對稱矩陣有相互正交的特征向量（單位長度） 
，任意向量 x 可被分解為 
，
，
，整理得：
，由於特征值均大於零，則 ；
3）矩陣 A 的所有子矩陣的行列式值均大於零；
由於正定矩陣 A 滿足條件 2），所以其行列式值大於零；
由於正定矩陣 A 滿足條件 1），令
，
有 
，所有子矩陣均為正定矩陣；
由於所有子矩陣均為正定矩陣，故滿足條件2），所有子矩陣行列式值大於零；
4）矩陣 A 的所有主元(pivots)均大於零；
4 半正定矩陣
在最小二乘法應用中， 
產生的矩陣一般是正定矩陣（至少是半正定矩陣），證明如下：
，
當 R 每列向量相互獨立時，僅有零向量位於 R 的零空間，當 x 不為零時Rx 不為零， 為正定矩陣；
當 R 存在不獨立的列向量，存在非零向量 x 位於 R 的零空間，故存在 x 不為零時Rx 為零情形， 為半正定矩陣；
以下給出半正定矩陣的充分必要條件：
1）
；
2）所有特征值均大於或等於零；
3）所有子矩陣的行列式值均大於或等於零；
4）所有主元都大於或等於零；
5 n維空間橢球面
由於正定矩陣 A 的特征向量正交，有如下分解：
，
，
由於 
為相互正交的單位特征向量，所以 
表示任意向量 x 在特征向量上的投影長度，上式可改寫為：
，
令 
，表示滿足該條件的向量集合，在二維平面上為橢圓，三維空間中為橢球；
假設向量 x 位於 
方向上，則向量 x 僅在 
方向上投影不為零，則橢球在 
方向上的長度為 
；
同理，在其他各個特征向量方向上長度為 
；
參考資料 Linear Algebra And Its Applications Gilbert Strang