bert三種pooling策略對比

notes：因為基本上沒有用過原生的bert做過句向量，所以別人冷不丁一問起，筆者頓時三臉懵逼

Sentence-BERT在BERT/RoBERTa的輸出結果上增加了一個pooling操作，從而生成一個固定大小的句子embedding向量。實驗中采取了三種pooling策略做對比：參考

直接采用CLS位置的輸出向量代表整個句子的向量表示

MEAN策略，計算各個token輸出向量的平均值代表句子向量

MAX策略，取所有輸出向量各個維度的最大值代表句子向量