1.1 網絡結構
ESN通過隨機地部署大規模系數鏈接的神經元構成網絡隱層，一般稱為"儲備池"。ESN網絡具有的特點如下：
(1)包含數目相對較多的神經元；
(2)神經元之間的連接關系隨機產生；
(3)神經元之間的鏈接具有稀疏性；
網絡結構：
可以看出網絡主要三層結構構成：
1.輸入層(Input Layer)：
輸入向量u(n)其維度為：n×1
輸入層→存儲池的連接權重為：
注意該權重是不需要訓練的，隨機初始化完成即可
2.儲存池(Reservoir)：
存儲池接受兩個方向的輸入一個來自於輸入層u(n)，另外一個來自存儲池前一個狀態的輸出x(n−1)，
其中狀態反饋權重相同均不需要訓練，由隨機初始狀態決定，所以為大型稀疏矩陣，其中的非0元素表明了存儲池中被激活的神經元：
3.輸出層(Readout)：
存儲池→輸出層為線性連接關系，即滿足：
實際訓練過程中需要訓練線性連接的權重。
核心思想：使用大規模隨機稀疏網絡(存儲池)作為信息處理媒介，將輸入信號從低維輸入空間映射到高維度狀態空間，在高維狀態空間采用線性回歸方法對網絡的部分連接權重進行訓練，而其他隨機連接的權重在網絡訓練過程中保持不變。
1.2 ESN關鍵參數
1.3 ESN算法過程
1.權重參數初始化
輸出層權重初始化
存儲池內部反饋權重初始化
2.訓練階段
上述介紹的是訓練算法分為離線訓練和在線訓練兩種情況，一般情況下，由於矩陣X可能為奇異矩陣，
所以X的逆矩陣采用偽逆算法或者正則化技術：嶺回歸（Ridge Regression）算法。
1.3 ESN超參數
整個網絡只需要訓練WoutWout，所以它的訓練過程非常快，這是ESN的優點之一。另外，對於一維時序數列的處理和預測，ESN有很好的優勢。但對於高維的時序數列，比如說視頻幀處理，ESN就不太能勝任了。
為了讓這個網絡能夠正常的運轉，還有一些地方是需要注意的：
之所以叫回聲狀態網絡，是因為前面時刻輸入的信息會通過WW回回盪在儲備池中，就像回聲一樣。為了避免儲備池狀態爆炸，WW的特征值必須要小於等於1。這也就引入了ESN中譜半徑的概念：WW的最大特征值。
由於網絡中只有WoutWout是可變的，為了盡可能多的表示不同的數據規律，WW必須要設置的非常大，才能從中找出各種不同的特征進行輸出。另一方面，WW的稀疏性也很重要，Hinton在多倫多大學的公開課里解釋是：建立一個松散的連接，這樣某一信息可以在網絡中的一小部分回盪，而不會迅速的傳播到其他部分。