信息熵：
利用信息論中信息熵概念，求出任意一個離散信源的熵（平均自信息量）。自信息是一個隨機變量,它是指某一信源發出某一消息所含有的信息量。一條信息的信息量和它的不確定性有着直接的關系。所發出的消息不同，它們所含有的信息量也就不同。任何一個消息的自信息量都代表不了信源所包含的平均自信息量。不能作為整個信源的信息測度，因此定義自信息量的數學期望為信源的平均自信息量：
信息熵的意義：信源的信息熵H是從整個信源的統計特性來考慮的。它是從平均意義上來表征信源的總體特性的。對於某特定的信源，其信息熵只有一個。不同的信源因統計特性不同，其熵也不同。信息熵一般用符號H表示，單位是比特。變量的不確定性越大，熵也就越大。
圖像熵：
1.一元灰度熵
圖像熵是一種特征的統計形式，它反映了圖像中平均信息量的多少。圖像的一維熵表示圖像中灰度分布的聚集特征所包含的信息量，令Pi 表示圖像中灰度值為i的像素所占的比例，則定義灰度圖像的一元灰度熵為：
其中Pi是某個灰度在該圖像中出現的概率，可由灰度直方圖獲得。
1.二維熵
圖像的一維熵可以表示圖像灰度分布的聚集特征，卻不能反映圖像灰度分布的空間特征，為了表征這種空間特征，可以在一維熵的基礎上引入能夠反映灰度分布空間特征的特征量來組成圖像的二維熵。選擇圖像的鄰域灰度均值作為灰度分布的空間特征量，與圖像的像素灰度組成特征二元組，記為( i, j )，其中i 表示像素的灰度值(0 <= i <= 255)，j 表示鄰域灰度均值(0 <= j <= 255)：
上式能反應某像素位置上的灰度值與其周圍像素灰度分布的綜合特征，其中f(i, j)為特征二元組(i, j)出現的頻數，N 為圖像的尺度，定義離散的圖像二維熵為：
構造的圖像二維熵可以在圖像所包含信息量的前提下，突出反映圖像中像素位置的灰度信息和像素鄰域內灰度分布的綜合特征。