AI 數學基礎 張量 范數

1、張量

幾何代數中定義的張量是基於向量和矩陣的推廣，通俗一點理解的話，我們可以將標量視為零階張量，矢量視為一階張量，那么矩陣就是二階張量。

例如，可以將任意一張彩色圖片表示成一個三階張量，三個維度分別是圖片的高度、寬度和色彩數據。將這張圖用張量表示出來，就是最下方的那張表格：

其中表的橫軸表示圖片的寬度值，這里只截取0~319；表的縱軸表示圖片的高度值，這里只截取0~4；表格中每個方格代表一個像素點，比如第一行第一列的表格數據為[1.0,1.0,1.0]，代表的就是RGB三原色在圖片的這個位置的取值情況（即R=1.0，G=1.0，B=1.0）。

當然我們還可以將這一定義繼續擴展，即：我們可以用四階張量表示一個包含多張圖片的數據集，這四個維度分別是：圖片在數據集中的編號，圖片高度、寬度，以及色彩數據。

張量在深度學習中是一個很重要的概念，因為它是一個深度學習框架中的一個核心組件，后續的所有運算和優化算法幾乎都是基於張量進行的。

 

2、范數

有時我們需要衡量一個向量的大小。在機器學習中，我們經常使用被稱為范數(norm) 的函數衡量矩陣大小。Lp 范數如下：

所以：

L1范數：為x向量各個元素絕對值之和；

L2范數：為x向量各個元素平方和的開方。

這里先說明一下，在機器學習中，L1范數和L2范數很常見，主要用在損失函數中起到一個限制模型參數復雜度的作用，至於為什么要限制模型的復雜度，這又涉及到機器學習中常見的過擬合問題。具體的概念在后續文章中會有詳細的說明和推導，大家先記住：這個東西很重要，實際中經常會涉及到