1. 關系
人工智能 -> 機器學習 -> 神經網絡 - - > 深層神經網絡
人工智能這一概念最早在1956年的達特茅斯會議上被提出，它的初衷是希望能讓機器像人類一樣，代替人類完成一些任務。正是有了這一需求，才催生了機器學習(1970s)的出現。在機器學習中有一個通過神經網絡來進行學習的方法，稱為神經網絡。由於神經網絡的學習效果極為顯著，並在更多層網絡模型下表現效果更佳，所以出現了深層神經網絡。
2. 發展時間線
-
第一階段：
-
1943 - 心理學家 Warren McCulloch 和邏輯學家 Walter Pitts 根據生物神經元(Neuron)結構，提出了最早的神經元數學模型，稱為 MP 神經元模型
-
1956 - 人工智能在達特茅斯會議上被首次提出
-
1958 - 美國心理學家 Frank Rosenblatt 提出了第一個可以自動學習權重的神經元模型，稱為感知機(Perceptron)
-
1969 - 美國科學家 Marvin Minsky 等人在出版的《Perceptrons》一書中指出了感知機等線性模型的主要缺陷，即無法處理簡單的異或 XOR 等線性不可分問題。這直接導致了以感知機為代表的神經網絡相關研究進入了低谷期，一般認為 1969 年~1982 年為人工智能發展的第一次寒冬
-
-
第二階段：
-
1974 - BP反向傳播。 美國科學家 Paul Werbos 在他的博士論文中第一次提出可以將 BP 算法應用到神經網絡上
-
1982 - 循環連接的 Hopfield 網絡被提出
-
1989 - LeNet被Yann LeCun等人提出，應用於手寫數字識別
-
1997 - 循環神經網絡變種之一 LSTM被 Jürgen Schmidhuber 提出， 同年雙向循環神經網絡(RNN)也被提出。
-
遺憾的是，神經網絡的研究隨着以支持向量機(Support Vector Machine，簡稱 SVM 為代表的傳統機器學習算法興起而逐漸進入低谷，稱為人工智能的第二次寒冬
-
-
第三階段：
- 2006 - 深層神經網絡(DNN)被提出
- 2012 - 圖像識別AlexNet模型被提出
- 2014 - 生成對抗網絡出現
- 2015 - TensorFlow發布
- 2016 - AlphaGo智能程序 （圍棋）
- 2017 - AlphaGo Zero 智能程序（圍棋）
- 2018 - 機器翻譯BERT
- 2019 - TensorFlow2.0 發布
3. 分類
3.1 學習方式分類：
- 監督學習
- 無監督學習
- 強化學習
3.2 機器學習分類：
- 線性回歸（Linear Regression）
- K均值（K-means，基於原型的目標函數聚類方法）
- 決策樹（Decision Trees，運用概率分析的一種圖解法）
- 隨機森林（Random Forest，運用概率分析的一種圖解法）
- PCA（Principal Component Analysis，主成分分析）
- SVM（Support Vector Machine，支持向量機）
- ANN（Artificial Neural Networks，人工神經網絡）
3.3 神經網絡
- 前向神經網絡
- DNN：深度神經網絡
- CNN：卷積神經網絡
- 反饋神經網絡
- RNN：循環神經網絡
- LSTM：逆遞歸神經網絡
- 玻爾茲曼機
- RBM：受限玻爾茲曼機