環境:
anaconda 3 python3.6.1 torch-GPU 1.4.0 transformers 4.0.1
其中 transformers 為pip install 自動安裝的最新版。
問題:
引入from transformers 報錯 Segmentation fault (core dumped)
from transformers import BertModel, BertTokenizer
原因:
transformers安裝時的一個依賴庫sentencepiece出了問題,安裝的版本是0.1.92,改回上一版本即可。
pip install sentencepiece==0.1.91
參考鏈接:
https://github.com/huggingface/transformers/issues?q=is%3Aissue+is%3Aopen+Segmentation+fault