TDNN模型示例
TDNN拼幀：
第8層：(0,3)
第7層：(-9,0)
第6層：(0,3)
第5層：(-6,0)
第4層：(0,3)
第3層：(-3,0)
第2層：(0,3)
第1層：(-3,0)
輸出依賴
要在輸出層處輸出第1幀，各層需要的幀的時間索引如下：
第8層：1,4
第7層：-9,-6,1,4
第6層：-9,-6,1,4,7
第5層：-15,-12,-9,-6,-3,1,4,7
第4層：-15,-12,-9,-6,-3,1,4,7,10
第3層：-18,-15,-12,-9,-6,-3,1,4,7,10
第2層：-18,-15,-12,-9,-6,-3,1,4,7,10,13
第1層：-21,-18,-15,-12,-9,-6,-3,1,4,7,10,13
要在輸出層處輸出第2幀，各層需要的幀的時間索引如下：
第9層：2,5
...
第2層：-20,-17,-14,-11,-8,-5,-2,2,5,8,11,14
要在輸出層處輸出第3幀，各層需要的幀的時間索引如下：
第9層：3,6
...
第2層：-19,-16,-13,-10,-7,-4,-1,3,6,9,11,15
要在輸出層處輸出第4幀，各層需要的幀的時間索引如下：
第9層：4,7
...
第2層：-18,-15,-12,-9,-6,-3,1,4,7,10,13,16
TDNN的拼幀索引
第一層不需要受到此限制
第9層：(0,3)
第8層：(-9,0)
第7層：(0,3)
第6層：(-6,0)
第5層：(0,3)
第4層：(-3,0)
第3層：(0,3)
第2層：(-3,0)
第1層：(-2,-1,0,1,2)
LSTM的延時
與TDNN類似，單向LSTM依賴於歷史信息，雙向LSTM（BLSTM）依賴於歷史信息與未來信息
信息包括 記憶（Cell）與輸出（Recurrent）
默認情況下，對於長度為T幀的語句，在t時刻：
LSTM依賴於
t時刻上一層的輸出
BLSTM依賴於
t時刻上一層的輸出
那么，在t-1時刻：
LSTM依賴於
t-1時刻上一層的輸出
BLSTM依賴於
t-1時刻上一層的輸出
依此類推：
LSTM將依賴於所有的歷史信息
BLSTM將依賴於所有的信息（歷史信息+未來信息）
也就是說，所有幀（T幀）都需要進行LSTM計算