怎么利用gpt2進行句子改寫生成

參考我之前的一個項目給定title和keywords利用gpt2生成文本，從中可以看出只是利用了gpt2模型，沒有其它模型上的改動或組合，變化的只是input部分，在input中，加入了title和keywords兩部分。那么訓練時候的model輸入，就會有三部分：[BOS] + title ...

給定title和keywords利用gpt2生成文本

一.關於gpt2的理論網上有很多資料(推薦https://jalammar.github.io/illustrated-gpt2/)，它源自transformer-decoder部分，話不多説。 下圖是transformer、gpt以及gpt2的簡要結構圖，可以從中簡單看出其中不同的部分 ...