之前只知道香農於1948年發表的那篇舉世矚目的paper，《A Mathematical Theory of Communication》，過了一年拉上Warren Weaver作為共同作者出了個單行本，標題只改了一個字，《The Mathematical Theory of Communication》，而Weaver的貢獻只是寫了份摘要。隨手搜了下，原論文索引竟然高達八萬多次......
現在經過了解才知道，香農、巴丁（可能還有肖克利）之於電子工程，就是牛頓、麥克斯韋之於物理學，圖靈、馮諾依曼之於計算機科學，都是真正通過一己之力開創了一門學科。他們的工作，使得一些零散的研究終於有了體系和系統的方法，而之所以在今人的眼里看起來普普通通，只是因為他們的工作是一切后來者都不能繞過的基石。
信息論最初所處理的問題是數據壓縮與傳輸鄰域中的問題，其處理方法利用了熵和互信息等基本量。
如果隨機變量
的概率密度函數為
，那么的熵定義為：
熵的量綱為比特，由香農一人提出。熵可以看作隨機變量的平均不確定度的度量。在平均意義下，是為了描述該隨機變量所需的比特數。
單個隨機變量的熵為該隨機變量的不確定度，涉及兩個隨機變量的條件熵
，即一個隨機變量在給定另外一個隨機變量的條件下的熵。由另一個隨機變量導致的原隨機變量不確定度的縮減量稱為互信息。具體來說，設和
是兩個隨機變量，那么這個縮減量為互信息，
互信息
是兩個隨機變量相互之間獨立程度的度量，它關於和對稱，並且永遠為非負值，當且僅當和相互獨立時，等於零。
互信息實際上是更廣泛量相對熵
的特殊情形。相對熵是兩個概率密度函數
和
之間的“距離”度量，定義為，
想對熵非負，為0的充分必要條件為
。
通信通道是一個系統，系統的輸出信號按概率輸入信號。該系統特征由一個轉移概率矩陣
決定，該矩陣決定在給定輸入情況下輸出的條件概率分布。對於輸入信號為和輸出信號為的通信信道，定義它的信道容量
為，
容量是可以使用該信道發送信息的最大速率，而且在接收端以極低的誤差概率恢復出該信息。(香農證明了只要通信速率低於通道容量，總可以使誤差概率接近於零。)
信息論與電子工程(通信理論)、計算機科學(科爾莫戈羅夫復雜度)、物理學(熱力學)、數學(概率論和統計學)、哲學(奧克姆剃刀)、經濟學(投資)、計算與通信鄰域都有交叉。