最近嘗試使用onnx來部署torch模型,發現還是有一些坑的:
1、盡量使用經典模型結構,模型的輸入不要增加內容(比如bert的輸入增加一個label_ids),這會導致onnx模型的輸入無法識別label_ids
解決方法:如果模型魔改又需要部署,那只能自己寫導出為onnx的代碼了
2、使用別的包的時候(如torchcrf包中的crf函數),onnx的推理結構可能無法識別這個函數,然后我們就無法調用該函數
最近嘗試使用onnx來部署torch模型,發現還是有一些坑的:
1、盡量使用經典模型結構,模型的輸入不要增加內容(比如bert的輸入增加一個label_ids),這會導致onnx模型的輸入無法識別label_ids
解決方法:如果模型魔改又需要部署,那只能自己寫導出為onnx的代碼了
2、使用別的包的時候(如torchcrf包中的crf函數),onnx的推理結構可能無法識別這個函數,然后我們就無法調用該函數
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。