tensorrt序列化和反序列化失敗


今天開發的時候用tensorrt的序列化和反序列化,總是報engine為nullptr的錯誤。

首先我序列化的是時候是這樣寫的

        caffeToTRTModel(deployfile, modelfile, NULL);
        ofstream trtModelFile(cacheFile);
        trtModelFile.write((char *)trtModelStream->data(), trtModelStream->size());
        trtModelFile.close();
        runtime = createInferRuntime(*pLogger);
        engine = runtime->deserializeCudaEngine(trtModelStream->data(), trtModelStream->size(), NULL);
        trtModelStream->destroy();

然后反序列這樣寫的

        string cacheFile = netWorkName + ".cache";
        ifstream trtModelFile(cacheFile);
        trtModelFile.seekg(0, ios::end);
        size = trtModelFile.tellg(); 
        trtModelFile.seekg(0, ios::beg);

        char * buff = new char [size];
        trtModelFile.read(buff, size);
        trtModelFile.close();
        runtime = createInferRuntime(*pLogger);
        engine = runtime->deserializeCudaEngine((void *)buff, size, NULL);
        delete buff;

怎么看這段代碼代碼都沒問題啊,怎么會反序列化出錯呢。

后面調試一下發現,write的size和read的size居然不是一樣大的。

太坑了,原來為了保證ofstream和ifstream的大小完全一致,一定保證寫入和讀取都是二進制形式,即是改成這樣

ofstream trtModelFile(cacheFile, std::ios_base::out | std::ios_base::binary);
ifstream trtModelFile(cacheFile, std::ios_base::in | std::ios_base::binary);


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM