CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
復旦大學，邱錫鵬老師團隊
使用不平衡的Transformer編碼器解碼器架構，用MLM和DAE聯合預訓練，均可用於NLU和NLG。
CPT： a novel Chinese Pre-trained Unbalanced Transformer for both NLU and NLG tasks.
BERT、RoBERTa、ZEN、NEZHA、ERNIE-1.0/2.0可以文本理解，但是不能文本生成；
PanGu-α、CPM、CPM-2、BART可以文本生成，但是不能文本理解；
CPT既可以文本理解，又可以文本生成。
微調的任務
