finished with exit code -1073740791 (0xC0000409)解決方案


1.在用keras框架跑NER的train時,而且只是在用了keras_contrib.layersCRF時出現問題:

遇到無錯跳出finished with exit code -1073740791 (0xC0000409),

 

(有其他博主說的減小batchsize的 我試過把batchsize減小為2,但是沒有用)

 

2.查出是顯卡內存不足的問題,解決如下(對個人有效):

 

import os os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

 (本人pc上並未安裝cuda等GPU所需要的包,猜想這句話應該是默認用cpu)

----------------------------------------------------------------------------------------------------------------

3.<原理參考>:

keras在使用GPU的時候有個特點,就是默認全部占滿顯存。這樣如果有多個模型都需要使用GPU跑的話,那么限制是很大的,而且對於GPU也是一種浪費。因此在使用keras時需要有意識的設置運行時使用那塊顯卡,需要使用多少容量。

這方面的設置一般有三種情況:

1.指定顯卡 2.限制GPU用量 3.即指定顯卡又限制GPU用量

 

一、指定顯卡

import os os.environ["CUDA_VISIBLE_DEVICES"] = "2"

這里指定了使用編號為2的GPU,大家可以根據需要和實際情況來指定使用的GPU

 

二、限制GPU用量

1、設置使用GPU的百分比

import tensorflow as tf import keras.backend.tensorflow_backend as KTF #進行配置,使用30%的GPU 
 config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.3 session = tf.Session(config=config) # 設置session KTF.set_session(session )

需要注意的是,雖然代碼或配置層面設置了對顯存占用百分比閾值,但在實際運行中如果達到了這個閾值,程序有需要的話還是會突破這個閾值。換而言之如果跑在一個大數據集上還是會用到更多的顯存。以上的顯存限制僅僅為了在跑小數據集時避免對顯存的浪費而已。

2、GPU按需使用

import tensorflow as tf import keras.backend.tensorflow_backend as KTF config = tf.ConfigProto() config.gpu_options.allow_growth=True #不全部占滿顯存, 按需分配 
 session = tf.Session(config=config) # 設置session KTF.set_session(sess)

 

三、指定GPU並且限制GPU用量

這個比較簡單,就是講上面兩種情況連上即可。。

import os import tensorflow as tf import keras.backend.tensorflow_backend as KTF # 指定第一塊GPU可用 os.environ["CUDA_VISIBLE_DEVICES"] = "0" 
 config = tf.ConfigProto() config.gpu_options.allow_growth=True #不全部占滿顯存, 按需分配 
 sess = tf.Session(config=config) KTF.set_session(sess)

 

 

 

參考鏈接:

https://blog.csdn.net/u010801994/article/details/81121078

https://blog.csdn.net/Jdk_yxs/article/details/84061824


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM