論文參見：http://cjc.ict.ac.cn/online/bfpub/ztl-20201223120834.pdf
1 引言
隨着腦科學研究和人工智能的快速發展，具有交叉學科特點的類腦智能研究受到人們日益廣泛的關注。類腦智能算法的本質，是期望從生物科學研究結果中得到結構、機制或功能等方面的啟發，來完善人工智能算法或引領未來人工智能的發展方向，使得人工智能能夠擴展、融合多種認知能力，逐步逼近類人水平的通用人工智能。脈沖神經網絡(Spiking Neural Network, SNN)的研究正處於類腦智能研究的核心，對其結構基礎、功能優化等方面的研究，將有助於我們更好的認識大腦、理解生物智能的本質並啟發得到更新一代的人工智能模型。
正如諾貝爾生理學或醫學獎得主Gerald M. Edelman所說，"腦科學知識即將奠定新時代的科學基礎，憑借腦研究的結果我們可以在疾病治療方面取得進展，同時建成具有仿腦功能的新機器，有助於我們更為深入地認識和了解人類本質"。2013年，歐洲的人腦計划(Human Brain Project, HBP)入選了歐盟委員會的未來旗艦技術框架項目，該計划的主要目標之一，是搭建脈沖神經元尺度的大規模腦模擬器並力圖在下一代信息技術的類腦智能研究上獲得突破。2014年，美國的高級情報計划署開展了由腦皮層智能網絡啟發的機器智能項目(Machine Intelligence from Cortical Networks, MICrONS)，該項目的主要思路是通過采集、觀察、重建和模擬大腦皮層的網絡結構和脈沖信息處理機制，以此來研發新一代的具有人類新皮層智能特性的智能系統。2018年，MIT聯合內部五大學院開展Intelligence Quest項目，核心研究點為機器學習算法，外延方向為通過計算機科學的見解來反向提高對生物脈沖網絡功能的認識。以上這些計划的核心研究點之一就是學習和記憶的可塑性，而這也是生物腦智能中最重要的核心認知功能之一。長期"優勝劣汰"使得大腦遺傳進化出良好的物質和結構基礎，在這個基礎上，大腦通過后天的再訓練習得了越來越多的高級認知功能，如分類、識別、決策、記憶和聯想等。正是"可塑性"使得人腦神經網絡具有了強大的環境學習和再適應能力。因此，脈沖神經網絡算法，將不可避免的要借鑒和學習人腦的多尺度的、多類型的可塑性認知機理及神經網絡結構。
自從1943年McCulloch和Pitts借鑒了生物神經元的運算模式，首次提出了MP人工神經元模型以后，人工神經網絡的研究開始穩步發展，一些具有里程碑意義的神經網絡模型也被相繼提出，如1958年的Perceptron感知機，1983年的Hopfield網絡，1986年的反向傳播(Backpropagation, BP)網絡，1987年的卷積神經網絡(Convolutional Neural Network, CNN)，1997年的脈沖神經網絡，2006年的深度置信網絡(Deep Belief Network, DBN)，2012年興起的深度神經網絡(Deep Neural Network, DNN)等。
脈沖神經網絡是源於生物啟發的新一代人工神經網絡模型，如圖1所示。當前的以放電率為信息承載主體的CNN、DNN屬於非Spike模型。與之相比，脈沖神經網絡雖然也屬於人工神經網絡，但是更加強調，以具有精確放電時間、具有事件驅動特性的Spike作為信息運算的基本載體。雖然名字中着重強調了"脈沖"這一生物網絡的主要特點，但是與之同樣重要的還包括高動態-復雜動力學的神經元節點(時序脈沖產生)、強可塑性-穩定信息表征的突觸結構(脈沖學習)、復雜功能特異性的網絡環路(脈沖功能表達)等。脈沖神經網絡的提出，標志着神經網絡從以放電率為主體的空間編碼，逐步過渡到以精確Spike放電、閾下膜電勢累積為主體的時空編碼。新增的時間維度，使得更精細的生物計算模擬、更穩定魯棒的信息表征、更高效節能的生物可塑性網絡優化成為了可能。
2 脈沖神經網絡的主要優勢及特點
一直以來，達到類人腦的通用智能水平是人工智能領域不懈追求的終極目標之一。SNN網絡考慮了更多的生物細節，因此天然的可以作為人工智能模型和生物神經系統的聯通橋梁。
通過融合生物啟發的、有益高效的神經信息處理機制到SNN中，可以探索生物系統智能運算的本質，然后通過數學模型的方式遷移泛化到更加廣泛的人工智能模型中，將為得到更加智能、高效的人工智能算法提供幫助。SNN的基本架構如圖2所示，包括類似皮層的層級結構和類似海馬的環狀網絡結構，網絡中含有不同尺度的可塑性，用來指導網絡突觸權重的學習[5]。
現有的人工神經網絡已經借鑒了部分的腦神經信息處理方式，如非線性的神經元信息轉換、權值可變的突觸更新、特定層級或循環的網絡結構等。未來，脈沖神經網絡通過大規模的借鑒生物神經科學發現，將有可能在以下幾個方面展現出優勢：①不同神經元非線性信息處理模式的差異。生物系統中可以粗劣地分為兩大類神經元，比例多而種類少的興奮性（Excitatory, E）神經元，以及比例少而種類多的抑制性（Inhibitory, I）神經元，他們對信息的非線性處理模式有很大的不同，適當比例的神經元組合建模將顯著減少神經網絡的能量消耗。②神經元節點對時間-空間信息的高效整合能力。單一神經元內部具有復雜的動力學特性，膜電位本身可以是多個高階吸引子的動態組合，可以積累很長時間內的歷史輸入並在放電閾值、靜息電位閾值等方面產生可塑性，甚至可以單神經元通過多房室實現如工作記憶保持、信息決策、多頻段信息整合及濾波等能力。③稀疏的神經信息/神經脈沖編碼方式。生物神經網絡采取了脈沖的方式進行信號的編碼，只有當膜電位達到放電閾值才激發神經脈沖進而發生信息傳遞，大部分的神經元在活動周期中都處於靜息狀態。這種稀疏脈沖編碼的方式，將精確信息編碼到了脈沖序列的時間間隔中，在降低了后期網絡運算量的同時，也極大的降低了信息傳遞能耗。此外，脈沖序列的編碼也不是一成不變的線性編碼，而可以是網絡根據輸入信息自適應的調整上下界、放電閾值或靜息電位的動態過程。④神經元中突觸的位置差異性建模。生物神經元的突觸位點可能發生在細胞胞體、也可能發生在遠端的樹突棘，兩者的信息傳遞能效、信息遲滯時間等都有很大不同，這將極大的增加脈沖神經網絡的非線性信息編碼能力。⑤神經元突觸的信息延遲建模。生物中的信息通過突觸結構會發生信息延遲，具體時間會根據突觸的離子通道類型、受體蛋白數量的多少、距離胞體位置遠近、處於幾層分叉點等不同而有很大的不同，這將增強脈沖神經網絡的時間動態編碼能力。⑥快速的、非監督的微觀神經突觸可塑性調節方法。已有的生物研究結果表明，生物系統中不存在類似BP的全局誤差函數調優，而是更可能由諸多的局部突觸可塑性快速、直接地完成。生物系統是如何通過局部的參數調優進而實現了全局網絡的優化，是值得現有的人工智能系統借鑒的，如現有的一些生物學習機制，包括赫伯學習法則（Hebb’s law）[6]，脈沖時序依賴的突觸可塑性（Spike-Timing Dependent Plasticity, STDP）[7]，短時突觸可塑性（Short-Term Plasticity, STP），生物自組織反饋（Self-organized Back Propagation, SBP）[8]機制等。脈沖神經網絡將依據這些機制達到更快速的網絡學習。⑦介觀尺度生物微環路的多時鍾自組織調節。生物網絡通過多神經元群體編碼，對輸入的不同維度的數據內部信息進行自動關聯學習。如在傳統的神經網絡學習的y=f(x)映射基礎上，生物網絡還會增加對輸入數據本身進行xt→xt+1的內部時間關聯建模，這種關聯發生在突觸上，將對網絡的穩定存儲提取（抗噪性）、甚至信息的啟發式聯想（動態穩定性）等能力帶來幫助。由此，網絡形成了神經元內部時鍾、突觸時鍾、網絡環路時鍾的多類時鍾計算過程。⑧宏觀生物網絡多腦區的協同能力。生物體腦區的數量眾多，腦區之間的組織方法不同於腦區內部的自組織方式，具有明顯的興奮、抑制連接通路，同時可以結合多種神經反饋信息（如多巴胺獎勵信號）綜合實現多任務的協同，這將使得脈沖神經網絡在保持腦區內部功能自穩定的基礎上，同時具有快速的學習能力。
深度借鑒生物信息處理機制的另一個原因，是現有的人工網絡（如DNN等）正在逐漸面臨越來越多的挑戰，如小樣本學習效果差、待調優參數過多容易發生欠擬合、網絡迭代訓練次數過多又容易發生過擬合、網絡遷移能力有限、DNN的災難性遺忘、網絡對新任務的適應能力差、增量學習效果弱等；又如網絡雖然對特定樣本的識別正確率很高，但是顯然模型並沒有真正對圖片形成符合人類認知水平的理解，因此容易發生啼笑皆非的測試結果，如將黃黑色條紋的圖片以極高的置信度識別為校車[9]。通過生物網絡結構、生物學習機制等啟發，將為現有人工模型提高其認知能力指明一種可能的優化方向。考慮到現有人工神經網絡所忽略的很多的生物規則可能恰恰是實現通用類人腦智能的關鍵，因此，在SNN的框架中深入研究這些生物規則，將有可能使得現有網絡獲得更為強大的計算能力和適應能力，最終達到與人類相比擬的智能信息感知、分析、決策能力。
3 脈沖神經網絡的優化目標及定位
如何高效優化復雜的脈沖神經網絡模型是近些年研究的重點，且優化方向根據最終目標的不同而稍有差別。一類是以理解生物系統為最終目標，采用的優化方法要盡可能的滿足已知的生物發現，如STDP、STP、長時程增強（Long-Term Potentiation，LTP）、長時程抑制（Long-Term Depression, LTD）、神經元側抑制（Lateral Inhibition）、Dale准則（神經元突觸同為正數或者同為負數）、側抑制、興奮-抑制神經元平衡，及其上述准則的不同變體等。通過將這些受生物現象啟發的學習規則加入到SNN學習框架中來，以嘗試讓SNN具有類人認知水平的多模態信息處理能力、低能耗運算能力、魯棒認知能力等。
另一類是以追求卓越計算性能為最終目標，采用的優化方法不局限於生物約束，特別的可以采用基於BP的不同變體實現SNN的優化，如代理梯度、BP訓練ANN后再轉化為SNN、對SNN的Spike平滑近似使其滿足可微分條件等。
整體而言，如圖3所示，脈沖神經網絡可以同時借鑒生物系統的可塑性機制和當前人工網絡的成熟優化方法，綜合實現更加高效的類人感知、認知、決策能力，為實現新一代的通用人工智能模型打好基礎。
4 脈沖神經網絡的基本信息編碼
在脈沖神經網絡內部，神經元接收上游神經元軸突傳來的Spike信息（基本量綱為電勢），經過樹突突觸后將電勢信息轉為電流信息，電流經過神經元內部到達胞體，通過電流改變胞體內外的電勢差，達到放電閾值后通過鈣離子通道的打開，生成新的Spike信息並通過軸突繼續向下游神經元傳遞。
在脈沖神經網絡外部，編碼方法多用來將輸入的實值信號轉換為帶有時間信息的Spike序列信息，由於編碼的目的是盡可能無損的還原輸入信息，因此基於簡單均勻放電的Spike序列編碼最為常用，更為詳細的編碼說明請參考[10]，如包括：①首個脈沖觸發時間編碼。生物證據表明，大部分脈沖信息是在刺激產生的20-50ms內發生傳遞，因此着重強調第一個脈沖的出現時間，而對其他脈沖時間忽略或做小權重整合[11]。②延遲相位編碼。該方法受到視網膜神經節細胞的信息處理啟發，即刺激越強，延遲越短，且需要在計算的時候進行相位對齊[12]。③泊松信息編碼。泊松Spike編碼符合生物發現，且在脈沖序列估計、神經網絡背景噪聲的模擬中被廣泛采用[13, 14]。然而，泊松編碼通過長時間序列的泊松分布來對特定的精確數值進行估計，且估計數值為泊松分布全時域的均值，因此理論上在有限時間內無法得到精確編碼。④神經元動力學特性編碼。生物神經元的膜電位變化可以等效為高階微分動力學方程，外界的輸入電流將影響動力學方程的極值數量和數值，因此將會出現不同類型的吸引子或動態分岔，如鞍-結分岔、Andronov-Hopf分岔等。Izhikevich模型提出簡化的采用四個無量綱的參數組合來表征多類豐富的脈沖發放模式，如均勻放電、強直簇狀放電、梳狀放電等，可以看做是構建復雜神經動力方程的捷徑[15]，部分神經元編碼舉例如圖4所示。
5 以理解生物系統為目標的脈沖神經網絡優化進展
在記憶認知的理解方面，Zenke 組合了多種微觀神經可塑性規則，如Hebb規則、三相STDP、時序異步突觸后可塑性、介質調節的突觸前可塑性等，通過構建循環的SNN網絡，采用漏電-積分-放電（Leaky-integrated and fire，LIF）神經元模型進行建模，實現了多可塑性融合的學習和記憶網絡，該網絡可對幾類簡單的不同形態、輪廓的特征圖片信息進行存儲和記憶重現，充分展示了SNN的信息轉存能力[16]。Song等通過對興奮性和抑制性神經元組建的SNN微環路的模擬，為多種、多尺度的認知任務進行了生物模型層面的解釋，如對於決策、工作記憶保持、網絡周期穩定放電等，未來將有可能在越來越多的宏觀生物智能現象的解釋上發揮重要作用[17]。受到大腦皮層的網絡結構和功能的啟發，美國工程院院士Jeff Hawkins通過對大腦6層腦皮層的不同層間關系的生物學解剖結果分析，構建了類腦皮層的分層時序記憶模型算法。該模型可以整合時序和多層次記憶之間的關系，為時序數據信息抽取和模態預測提供了新的思路。
在微觀可塑性的理解方面，Diehl采用兩層SNN網絡以及LIF神經元模型，通過相鄰層神經元的非監督STDP學習映射，然后挑選輸出層的對特定類別選擇性放電的神經元作為類別標記，在MNIST數據集上可以達到95%的測試正確率，充分驗證了LIF節點的信息處理能力[18]和STDP的可塑性學習能力[19]。Wade提出了一種基於BCM（Bienenstock Cooper Munro）和STDP相結合的突觸權值更新方法[20]，SNN網絡同時加入了興奮和抑制性突觸，最終模型得到了相比無抑制性突觸的SNN模型更好的分類結果：如在Iris數據集合（包含3種不同類型的鳶尾花的50個樣本）中達到了95%的正確率，且在Wisconsin癌症診斷數據集合中達到了96%的正確率。Wang提出了一種支持小樣本在線學習的SNN算法[21]，該網絡分為時間編碼層、空間時間聚類層和分類輸出層三層網絡結構，使用了STDP和反STDP相結合的學習規則來調整權值，雖然在MNIST數據集上只有75%的正確率，但是相對其他SNN網絡具有更快的收斂速度。Beyeler采用了Izhikevich神經元模型構建SNN網絡，使用電導依賴的突觸可塑性規則，結合STDP學習規則在MNIST數據集上得到了約90%的識別正確率[22]。Resume結合STDP和anti-STDP規則，根據前后層神經元的放電模式調整他們之間的突觸連接強度，與傳統的STDP的最大差異，是通過加入了時間積分核來對歷史放電模式進行積累，並作為乘性因子來放大STDP的可塑性調節程度。然而此方法仍然是局部、單層的學習方法，目前主要在液體狀態機的輸出層權重學習部分發揮作用[23]。
在簡單任務的驗證方面，Wysoski提出了一種多層的SNN架構來識別動態視頻流中的模式[24]。其中，自適應在線學習規則和多幀意見收集算法被結合到了SNN算法中，並采用LIF模型、4層的二維神經網絡結構，以及應用Hebb法則學習不同的模式數據，最終在視頻流的模式分類任務中取得了相對其他靜態處理方法更高的正確率。Taras提出了一種簡化了的脈沖神經網絡計算模型[25]，采用LIF神經元模型、STDP學習規則、脈沖頻率編碼和輸入圖片的感受野像素轉化等方法，在線學習達到了高於傳統SNN約20倍的運算速度。Yu等構建了SNN網絡，對語音時序信息進行了穩定編碼、學習和解碼[26]。
這些方法都着重依賴生物可解釋的可塑性法則來優化目標功能網絡，並隨着優化效果的提升逐漸對生物的多類優化機制有了更深刻的認識，如STDP和BP的相關性分析[27]、泊松編碼和STDP的關系分析[14]等。
6 以追求卓越計算性能為目標的脈沖神經網絡優化進展
針對SNN由於存在Spike而不可處處可微的問題，受到神經動力學特性的啟發，SNU（Spiking Neuron Unit）通過內部環路實現類LIF的工作機制，同時結合BP的優化方法，在保證多層SNN的有效學習的同時，盡可能的保留了生物神經節點的動力學信息處理特點，如信息積累、衰減、閾值放電等[28]，在MNIST數據集上得到98%的正確率。Lee構建了多層次的SNN，並采用生物LIF模型建模，通過分析已有的多種生物網絡中的噪聲信號特性，如非均勻泊松噪聲、固定頻率噪聲等，開創性的將現有的LIF神經信息放電視為噪聲的一種，把原本非連續的神經膜電位信息等價為連續的神經元模型，然后采用BP的方式優化，同樣達到了較高的分類精度。訓練后的網絡很適合對模糊放電信息的處理，因此從側面表現出SNN網絡強大的時空信息整合能力[29]。另一類代理梯度的方法優化SNN網絡，一般采用Van-Rossum Distance計算代價函數，在BP優化過程中，用連續膜電位變量替換離散Spike的優化推導，如將膜電位中不可微分項去掉，包括Reset項和Spike項，使得網絡可以最終用近似BP的方式求解[30, 31]，且在最終的收斂速度和正確率上和標准BP可比較。類似的嘗試也發生在具有放電神經元的多類神經網絡中[32-34]。
用神經元精確放電的Spike時刻來表征網絡信息的傳遞，是另一種可以融合BP優化的有效途徑。SpikeProp [35]通過限制網絡中神經元的脈沖發放次數，然后通過BP的方法根據放電時差來優化調節每層的權重數值。相似的QuickProp [36]等改進版本也在運算速率、非線性運算等方面展現了優勢。然而，本質上基於時域BP的方法使得這些SNN網絡學習速度較慢。特別的，對於不發放脈沖的狀況下，網絡將不會產生可學習的梯度，進而影響SNN的快速擬合。Tempotron [37]方法通過計算目標和實際輸出的最小化，實現突觸權值的優化，采用了類似BP的方法但是只適用於單個神經元。
受大腦的“多腦區協同”機制啟發，加拿大滑鐵盧大學的科學家們實現了NENGO神經模擬器平台[38]。該平台包括十幾個腦區，采用了統一的語義指針架構網絡（Semantic Pointer Architecture Unified Network，SPAUN）[39]，包含250萬個虛擬神經元，可執行8種不同的認知任務：如模仿繪圖、計數器、記憶和推理等。該模型構建了前額葉皮質、基底核、丘腦等功能相關區域。在宏觀尺度上，部分區域的功能與大腦中特定區域的功能保持了一致。在微觀尺度上，單位運算節點與LIF神經元模型保持了一致。SPAUN擁有不多的神經元數量卻能夠實現較為復雜的認知功能，達到了多個腦區協同來展示復雜行為的目的。然而它的缺點依舊明顯，如對不同腦區的功能划分不詳細、腦區特定功能是以預設目標函數方法來實現的、微觀神經活動是通過自頂向下的反向函數計算擬合得到的、無法很好適應新的工作任務等等。
除此之外，將DNN預先訓練然后轉化為SNN也是一種高效的SNN實現方法[40]，這些方法在DNN訓練階段將權值限制到0附近的小范圍內，使得SNN轉化后的LIF信息編碼可以處於激活函數的近似線性空間內，最后通過統計神經元的放電率來計算網絡輸出[41, 42]。脈沖耦合神經網絡[43]是SNN中的一類特別分支，基本原理是將信息（如圖像像素）及其周圍鄰域的信息同步輸入到網絡中，根據這些輸入信息值的大小關系輸出局部整合結果，類似於數字圖像處理中的卷積滑動掩膜矩陣，可以等價實現多種圖像處理或增強效果，如平滑、濾波、邊緣增強等。這些及其他相關的有效嘗試，都為人工智能模型和生物發現的深入結合提供了可能的思路[44, 45]。
7 基於多尺度生物可塑性的脈沖神經網絡優化方法
7.1 基於微觀尺度可塑性的SNN優化
7.2 基於介觀尺度可塑性的脈沖神經網絡優化
7.3 基於宏觀尺度可塑性的SNN優化
8 總結及展望
脈沖神經網絡包含具有時序動力學特性的神經元節點、穩態-可塑性平衡的突觸結構，是一種局部非監督、全局弱監督的類生物網絡，因此具有強大的非線性計算、異步事件信息處理、自學習等能力。
脈沖神經網絡獨特的信息編碼模式，將啟發現有的人工神經網絡逐步從以網絡環路為重心，到節點-環路並重的編碼方向發展。生物神經元的膜電位編碼符合動力學特性，不同類型的神經元具有功能特異性，因此，可以參考不同腦區、不同功能環路的主要神經元類型，定制化的構建符合特定期望功能的脈沖神經元模型，以此來增強人工神經網絡編碼的有效性。同時，具有動力學優勢的神經元表現出相對傳統神經元更大的信息容量，可在節點內部存儲更多的歷史狀態信息，對研究網絡的短時記憶、工作記憶等都將有極大的幫助。
脈沖神經網絡獨特的基於可塑性的優化方法，將啟發人工神經網絡從單一的函數擬合逐步過渡到通用的認知計算。現有的人工神經網絡，主要特點是“重擬合”而“輕認知”。隨着神經網絡的擬合能力越來越強，人們對於模型智能水平的評價呈現了從低到高再變低的過程，當人工網絡的擬合能力達到極致、甚至超過了人類單一任務的最高水平，人工神經網絡的諸多認知相關的問題便逐漸凸顯：如增量學習能力差；魯棒性差，特別對噪聲或者通過對抗網絡學習到的對抗圖片的攻擊無能為力；認知能力差，不能自組織理解復雜背景，不能像生物系統那樣能夠輕易的根據幾個位置標記的運動軌跡抽象聯想出具體的行為動作等。這些問題出現的主要原因之一，在於人工神經網絡的設計之初，從網絡結構到學習方法等都是根據單一的以性能最優為目標來設計的，因此往往在實際應用的過程中，展現出很多的反常識、不類人、不智能的識別結果。通過借鑒多尺度可塑性機制，脈沖神經網絡可以同時滿足生物的結構和功能約束，為進一步獲得類腦的認知能力打好基礎。
脈沖神經網絡將不會拘泥於生物計算本身，還將從已有的深度學習、最優化理論等方面獲得啟發，如高效的BP、TP、強化學習、遺傳演化等全局優化方法，在數學理論層面，探討生物計算和人工計算深度融合的可能。脈沖神經網絡的發展目標不是構建人工神經網絡的生物版本替代品，而是通過脈沖神經網絡的優化理論突破，為構建下一代具有認知特色的高效人工智能模型奠定理論基礎。
脈沖神經網絡的有效優化理論的建立，還將反向啟發生命科學中生物神經網絡的研究發現，促進生物領域未解開的對長程回路連接作用的理解、對多腦區協同方式方法的認識、對不同功能的生物網絡自組織關聯的假設驗證等。最終，通過SNN在神經動力學、自組織學習、多模態時空信息融合、魯棒信息表征等方面取得進展，為研發新一代人工智能計算模型貢獻力量。