解讀知識蒸餾模型TinyBert

摘要：本篇文章的重點在於改進信息瓶頸的優化機制，並且圍繞着高緯空間中互信息難以估計，以及信息瓶頸優化機制中的權衡難題這兩個點進行講解。 本文分享自華為雲社區《【雲駐共創】美文賞析：大佬對變分蒸 ...