安装Transformers与ValueError: Unable to create tensor, you should probably activate truncation and/or padding with 'padding=True' 'truncation=True' to have batched tensors with the same length.报错


此篇博客内容为短暂存留记录(项目使用过程还未记录),后续将会更新完整学习流程。。

1.根据官网上的链接安装有两种方式:

(1)pip直接安装

pip install transformers  # 安装时间长,出现Timeout Error的可能性大,个人不建议

(2)GIthub下载源包

git clone https://github.com/huggingface/transformers  # 下载时间长一点(网盘自取)
cd transformers
pip install .

transformers下载:

链接:https://pan.baidu.com/s/1Z9Pwdzwa671JNmQPzYNlUQ
提取码:dsei

2.安装之后需要进行测试

 python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I hate you'))"  # 官网给的测试代码,运行出来结果就是安装成功了

安装成功:

 

 报错

一开始,测试代码运行后出现了报错,如下:

 报错内容如下:

AttributeError: 'Tensor' object has no attribute 'ndim'

ValueError: Unable to create tensor, you should probably activate truncation and/or padding with 'padding=True' 'truncation=True' to have batched tensors with the same length.

明明操作都按照官网上的来,最后百思不得其解自己改了从官网下载下来的源码,这里报错的文件是指向了D:\Anaconda3\Lib\site-packages\transformers下的tokenization_utils_base.py文件,找到具体报错那一行的代码,如下:

 获取tensor的维度信息dims,正确代码应该是len(list(tensor.size()))。

再次执行测试代码,成功出来结果!

transformers加载后缓存文件是:

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM