
Token embeddings: A [CLS] token is added to the input word tokens at the beginning of the first sentence and a [SEP] token is inserted at the end of each sentence.
之前以為每個句子都會插入一對【CLS】和【SEP】,於是就有了第一句的【SEP】和第二句的【CLS】怎么處理的疑惑,現在看來,在多個句子里,【CLS】只在最前面插入一次,后面每個句子都插入一個【SEP】。不過,這個應該是指一次輸入,對於第二次輸入,應該也會在輸入開頭插入【CLS】。