標量，向量，矩陣與張量
1、標量
一個標量就是一個單獨的數，一般用小寫的的變量名稱表示。
2、向量
一個向量就是一列數，這些數是有序排列的。用過次序中的索引，我們可以確定每個單獨的數。通常會賦予向量粗體的小寫名稱。當我們需要明確表示向量中的元素時，我們會將元素排列成一個方括號包圍的縱柱：
我們可以把向量看作空間中的點，每個元素是不同的坐標軸上的坐標。
3、矩陣
矩陣是二維數組，其中的每一個元素被兩個索引而非一個所確定。我們通常會賦予矩陣粗體的大寫變量名稱，比如A。 如果一個實數矩陣高度為m，寬度為n，那么我們說 
。
矩陣這東西在機器學習中就不要太重要了！實際上，如果我們現在有N個用戶的數據，每條數據含有M個特征，那其實它對應的就是一個N*M的矩陣呀；再比如，一張圖由16*16的像素點組成，那這就是一個16*16的矩陣了。現在才發現，我們大一學的矩陣原理原來這么的有用！要是當時老師講課的時候先普及一下，也不至於很多同學學矩陣的時候覺得莫名其妙了。
4、張量
幾何代數中定義的張量是基於向量和矩陣的推廣，通俗一點理解的話，我們可以將標量視為零階張量，矢量視為一階張量，那么矩陣就是二階張量。
例如，可以將任意一張彩色圖片表示成一個三階張量，三個維度分別是圖片的高度、寬度和色彩數據。將這張圖用張量表示出來，就是最下方的那張表格：
其中表的橫軸表示圖片的寬度值，這里只截取0~319；表的縱軸表示圖片的高度值，這里只截取0~4；表格中每個方格代表一個像素點，比如第一行第一列的表格數據為[1.0,1.0,1.0]，代表的就是RGB三原色在圖片的這個位置的取值情況（即R=1.0，G=1.0，B=1.0）。
當然我們還可以將這一定義繼續擴展，即：我們可以用四階張量表示一個包含多張圖片的數據集，這四個維度分別是：圖片在數據集中的編號，圖片高度、寬度，以及色彩數據。
張量在深度學習中是一個很重要的概念，因為它是一個深度學習框架中的一個核心組件，后續的所有運算和優化算法幾乎都是基於張量進行的。