今天開發的時候用tensorrt的序列化和反序列化,總是報engine為nullptr的錯誤。
首先我序列化的是時候是這樣寫的
caffeToTRTModel(deployfile, modelfile, NULL);
ofstream trtModelFile(cacheFile);
trtModelFile.write((char *)trtModelStream->data(), trtModelStream->size());
trtModelFile.close();
runtime = createInferRuntime(*pLogger);
engine = runtime->deserializeCudaEngine(trtModelStream->data(), trtModelStream->size(), NULL);
trtModelStream->destroy();
然后反序列這樣寫的
string cacheFile = netWorkName + ".cache";
ifstream trtModelFile(cacheFile);
trtModelFile.seekg(0, ios::end);
size = trtModelFile.tellg();
trtModelFile.seekg(0, ios::beg);
char * buff = new char [size];
trtModelFile.read(buff, size);
trtModelFile.close();
runtime = createInferRuntime(*pLogger);
engine = runtime->deserializeCudaEngine((void *)buff, size, NULL);
delete buff;
怎么看這段代碼代碼都沒問題啊,怎么會反序列化出錯呢。
后面調試一下發現,write的size和read的size居然不是一樣大的。
太坑了,原來為了保證ofstream和ifstream的大小完全一致,一定保證寫入和讀取都是二進制形式,即是改成這樣
ofstream trtModelFile(cacheFile, std::ios_base::out | std::ios_base::binary);
ifstream trtModelFile(cacheFile, std::ios_base::in | std::ios_base::binary);