信息熵通俗解釋

一、總結

一句話總結：

【不確定性叫做熵】：當一件事情（宏觀態）有多種可能情況（微觀態）時，這件事情（宏觀態）對某人（觀察者）而言具體是哪種情況（微觀態）的不確定性叫做熵（entropy）

【消除不確定性的叫信息】：而能夠消除該人做這件事情（宏觀態）不確定性的事物叫做信息

【熵和信息數量相等，意義相反，獲取信息意味着消除不確定性（熵）】

 

1、信息論中宏觀態和微觀態 具體舉例？

比如：當小明不會某道數學選擇題時（正確答案是C），【正確答案（宏觀態）是A，B，C，D哪個選項（4個微觀態）的不確定性就是熵】

【這里，正確答案也叫宏觀態，而每個可能選項叫做微觀態】

【宏觀態（macrostate）是不考慮內部細節的狀態，而微觀態（microstate）是考慮具體細節的狀態】

比如，【生物是宏觀態，動物和植物都是生物這個宏觀態的一種微觀態】

 

 

2、概率和熵的區別在於？

【概率是確定性】：概率是某件事情（宏觀態）某個可能情況（微觀態）的確定性

【熵是不確定性】：而熵是某人對某件事情（宏觀態）到底是哪個情況（微觀態）的不確定性

最為重要的一點是，【信息描述的是一個觀察者確定一個宏觀態是哪個微觀態時需要的物理量】，所以信息是相對的

 

 

3、小紅會這道題，不管告不告訴小紅正確答案是C，小紅對這道題的熵都為0 bit？

因為觀察者已經擁有這件事情的所有信息，【不確定性從最初就不存在】

 

 

4、信息的熵是對具體對象而言的？

“明天的太陽東邊升起”這句話，對知道的人而言，提供了0 bit 信息

對知道或東或西升起的人而言，提供了1bit 信息

對覺得東南西北都有可能的人而言，提供了2bits信息

 

5、如何測量信息量？

【待測事件的不確定性相當於“多少個”參照事件的不確定性】：當想要測量其他事件的信息時，就看看待測事件的不確定性相當於“多少個”參照事件的不確定性，這里的“多少個”便是信息量，當選擇的參照事件是像拋硬幣這樣，只有兩種等概率情況的事件時，測得的信息量的單位就被稱為比特（bit）

【測量質量這個物理量是除法】：然而測量質量時，我們是用待測物體的質量除以參照物體的質量，因為待測物體的質量m等於參照物體的質量B乘以參照物體個數n，所以當知道總質量m要求個數n時，我們用乘法的反函數，即除法來計算

【指數關系】：可是測量信息時，卻不能用除法，因為拋擲3個硬幣能夠產生的等可能結果並非3*2=6，而是2^3=8種，也就是說，不是線性關系，而是指數關系

【4個不確定情況ABCD就相當於2個硬幣拋出的不確定性，就是2bit】：所以當知道可能情況的個數m，想求這些情況相當於多少個n參照事件所產生的時，用指數運算的反函數，即對數運算來計算，這樣8個不確定情況就相當於3個硬幣拋出的結果，4個不確定情況就相當於2個硬幣拋出的不確定性，就是2bit，所以小明對答案是ABCD里哪一選項的不確定性是log4=2 bits，但這里有個前提，那就是被測事件的所有可能情況都必須是等概率才行，因為參照事件本身的兩種情況就是等概率

 

 

二、信息熵通俗解釋

博客對應課程的視頻位置：

 

就是對知乎的這個高贊回答做了總結

信息熵是什么？ - 知乎
https://www.zhihu.com/question/22178202