摘要：近来，增大模型规模成为了提升模型性能的主要手段。特别是NLP领域的自监督预训练语言模型，规模越来越大，从GPT3的1750亿参数，到Switch Transformer的16000亿参数，又 ...

摘要：千亿参数量的中文大规模预训练语言模型时代到来。 本文分享自华为云社区《 MindSpore开源框架加持，如何「炼出」首个千亿参数、TB级内存的中文预训练语言模型？》，原文作者：cheng ...