【err】開啟Persistence-M模式-Check failed: err == CUBLAS_STATUS_SUCCESS (1 vs. 0) : Create cublas handle failed

前言

  安裝好CUDA、CUDNN、NVIDIA driver之后，使用mxnet框架的時候出現該錯誤，本文記錄該問題的解決方法。

環境

ubuntu 16.04

MxNet

Cuda9.0

Nvidia driver 384

error

terminate called after throwing an instance of 'dmlc::Error'
  what():  [16:42:29] /home/travis/build/dmlc/mxnet-distro/mxnet-build/3rdparty/mshadow/mshadow/./stream_gpu-inl.h:115: Check failed: err == CUBLAS_STATUS_SUCCESS (1 vs. 0) : Create cublas handle failed
Stack trace:
  *************
  [bt] (6) ~/miniconda3/bin/../lib/libstdc++.so.6(+0xb8678) [0x7f8622101678]
  [bt] (7) /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f86731206ba]
  [bt] (8) /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f8672e5641d]
Aborted (core dumped)

解決方法

  開始的時候以為是driver沒有安裝好，但是使用nvidia-smi之后可以顯示GPU信息，只是疑惑Persistence-M為什么是off呢。。。然后就將其狀態改為ON試試，就可以了。

nvidia-smi -pm 1

或者

sudo nvidia-persistenced --persistence-mode

博主使用的是第一個命令行，可以試試第二種。

其實，最重要的是要明白nvidia-smi的命令。

哈哈哈，終於解決這個遺留問題啦。。。開心O(∩_∩)O~~

參考

1. GPU狀態監控nvidia-smi命令詳解；

2. 解決方法；

完