tensorrt序列化和反序列化失败


今天开发的时候用tensorrt的序列化和反序列化,总是报engine为nullptr的错误。

首先我序列化的是时候是这样写的

        caffeToTRTModel(deployfile, modelfile, NULL);
        ofstream trtModelFile(cacheFile);
        trtModelFile.write((char *)trtModelStream->data(), trtModelStream->size());
        trtModelFile.close();
        runtime = createInferRuntime(*pLogger);
        engine = runtime->deserializeCudaEngine(trtModelStream->data(), trtModelStream->size(), NULL);
        trtModelStream->destroy();

然后反序列这样写的

        string cacheFile = netWorkName + ".cache";
        ifstream trtModelFile(cacheFile);
        trtModelFile.seekg(0, ios::end);
        size = trtModelFile.tellg(); 
        trtModelFile.seekg(0, ios::beg);

        char * buff = new char [size];
        trtModelFile.read(buff, size);
        trtModelFile.close();
        runtime = createInferRuntime(*pLogger);
        engine = runtime->deserializeCudaEngine((void *)buff, size, NULL);
        delete buff;

怎么看这段代码代码都没问题啊,怎么会反序列化出错呢。

后面调试一下发现,write的size和read的size居然不是一样大的。

太坑了,原来为了保证ofstream和ifstream的大小完全一致,一定保证写入和读取都是二进制形式,即是改成这样

ofstream trtModelFile(cacheFile, std::ios_base::out | std::ios_base::binary);
ifstream trtModelFile(cacheFile, std::ios_base::in | std::ios_base::binary);


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM