BERT和ALBERT區別

1.ALBERT解決問題

（1）問題

深度學習圈子里一直出現了一些“怪象”，就是堆數據，讓模型更復雜，訓練出來的效果更好！

之前的BERT，XLNet為什么效果好？ 這絕對離不開模型本身的復雜度，一個模型擁有上百億的參數，效果不好就太對不起我們的資源了。

（2）解決

ALBERT試圖解決上述的問題： 1. 讓模型的參數更少 2. 使用更少的內存 3. 提升模型的效果。

 

 

 

 

 

參考：

https://zhuanlan.zhihu.com/p/84559048

https://blog.csdn.net/chaojianmo/article/details/104061718/