注意力機制中的軟和硬
注意力機制是當前深度學習領域比較流行的一個概念。其模仿人的視覺注意力模式，每次只關注與當前任務最相關的源域信息，使得信息的索取更為高效。
注意力機制已在語言模型、圖像標注等諸多領域取得了突破進展。
注意力機制可分為軟和硬兩類：
軟性注意力（Soft Attention）機制是指在選擇信息的時候，不是從N個信息中只選擇1個，而是計算N個輸入信息的加權平均，再輸入到神經網絡中計算。
相對的，硬性注意力（Hard Attention）就是指選擇輸入序列某一個位置上的信息，比如隨機選擇一個信息或者選擇概率最高的信息。但一般還是用軟性注意力機制來處理神經網絡的問題。
注意，選取概率最高這一步驟通常是不可微的，因此，硬注意力更難訓練。可以借助如強化學習的手段去學習。