GRU说白了就是加了两个门，这两个门控制最终隐藏状态的输出，其中还是那一套换汤不换药。 R是重置门，决定上一个时间步\(h_{t-1}\)是否要被重置，如果R元素全为0，很显然我们就丢掉了上一个 ...

终于来到transformer了，之前的几个东西都搞的差不多了，剩下的就是搭积木搭模型了。首先来看一下transformer模型，OK好像就是那一套东西。 transformer是纯基于注意力机 ...

这个多头attention确实挺搞的，这个东西绕来绕去，看torch的文档也看不懂，看源码也迷迷糊糊的，可能我的智商就是不够吧。。。枯了 论文里的公式求法，可以看到它因为是self-multihea ...