起源
神經網絡是一種模擬人腦的神經網絡以期能夠實現類人工智能的機器學習技術。人腦中的神經網絡是一個非常復雜的組織。成人的大腦中估計有1000億個神經元之多。
那么機器學習中的神經網絡是如何實現這種模擬的，並且達到一個驚人的良好效果的？
一個神經元通常具有多個樹突，主要用來接受傳入信息；而軸突只有一條，軸突尾端有許多軸突末梢可以給其他多個神經元傳遞信息。軸突末梢跟其他神經元的樹突產生連接，從而傳遞信號。這個連接的位置在生物學上叫做“突觸”。
人腦中的神經元形狀可以用下圖做簡單的說明：
1943年，心理學家McCulloch和數學家Pitts參考了生物神經元的結構，發表了抽象的神經元模型MP。
神經元模型是一個包含輸入，輸出與計算功能的模型。輸入可以類比為神經元的樹突，而輸出可以類比為神經元的軸突，計算則可以類比為細胞核。
下圖是一個典型的神經元模型：包含有3個輸入，1個輸出，以及2個計算功能。
歷程
我們回顧一下神經網絡發展的歷程。神經網絡的發展歷史曲折盪漾，既有被人捧上天的時刻，也有摔落在街頭無人問津的時段，中間經歷了數次大起大落。
從單層神經網絡（感知器）開始，到包含一個隱藏層的兩層神經網絡，再到多層的深度神經網絡，一共有三次興起過程。詳見下圖。
參閱： https://blog.csdn.net/illikang/article/details/82019945