CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
复旦大学，邱锡鹏老师团队
使用不平衡的Transformer编码器解码器架构，用MLM和DAE联合预训练，均可用于NLU和NLG。
CPT： a novel Chinese Pre-trained Unbalanced Transformer for both NLU and NLG tasks.
BERT、RoBERTa、ZEN、NEZHA、ERNIE-1.0/2.0可以文本理解，但是不能文本生成；
PanGu-α、CPM、CPM-2、BART可以文本生成，但是不能文本理解；
CPT既可以文本理解，又可以文本生成。
微调的任务
