YOLOV4在linux下訓練自己數據集（親測成功）

最近推出了yolo-v4我也准備試着跑跑實驗看看效果,看看大神的最新操作

這里不做打標簽工作和配置cuda工作，需要的可以分別百度搜索   VOC格式數據集制作，cuda和cudnn配置

我們直接利用VOC格式訓練自己數據集的模型

筆者也是 根據官方github的readme操作的 沒看懂可以進入官方鏈接看看英文介紹，或者在issue里面提問，筆者花了一天 也算是跑通了數據集的代碼。

paper

https://arxiv.org/abs/2004.10934

github

https://github.com/AlexeyAB/darknet#how-to-train-with-multi-gpu

-- 1.首先測試原始權重效果

　　-- 1.下載預訓練權重

　　-- 2.編譯

　　-- 3.測試

-- 2.訓練自己的數據集

　　-- 1.創建yolo-obj.cfg 文件

　　-- 2.制作obj.names

　　-- 3.制作obj.data

　　-- 4.放入源圖片

　　-- 5.制作train.txt

　　-- 6.開始訓練

1.下載預訓練權重

放上鏈接

有FQ則：

https://github.com/AlexeyAB/darknet/releases/download/darknet_yolo_v3_optimal/yolov4.weights

百度網盤：

鏈接：https://pan.baidu.com/s/16wOHbaa2mG7cTZ_RcGjRnw
提取碼：99bl

下載好yolov4.weights 權重后 放在主目錄下即可

2.編譯文件 該方法為使用makefile方法編譯

打開Makefile文件 修改該文件

修改該文件中前4行 ---- 0都改為1

代表使用GPU測試和訓練（前提是安裝好了cuda和cudnn的機器，安裝方法 直接百度搜 cuda和cudnn就有很多教程）

如果沒安裝過cuda則不用改

 

 

 執行以下命令編譯

make

然后主目錄中出現darknet文件 

 

3.運行該文件

./darknet

如果編譯成功則會出現以下信息

usage: ./darknet<function>

現在可以測試初始預訓練權重效果了

./darknet detect cfg/yolov4.cfg yolov4.weights data/dog.jpg

成功則在主目錄下出現predictions.jpg 圖片為預測后的圖片

效果如下

 

 

2.訓練自己的數據集

--2.1創建yolo-obj.cfg 文件，將 yolov4-custom.cfg 中的內容復制到 yolo-obj.cfg里面並做以下修改。

　　--2.1.1修改subdivisions=16(如果報內存不足，將subdivisions設置為32或64)


　　--2.1.2修改max_batches=classes*2000   例如有2個類別人和車 ，那么就設置為4000

　　--2.1.3修改steps為80% 到 90% 的max_batches值  比如max_batches=4000，則steps=3200,3600

　　--2.1.4修改classes,先用ctrl+F搜索 [yolo] 可以搜到3次，每次搜到的內容中 修改classes=你自己的類別 比如classes=2

　　--2.1.5修改filters,一樣先搜索 [yolo] ,每次搜的yolo上一個[convolution] 中 filters=(classes + 5)x3  比如filters=21

　　--2.1.6如果要用[Gaussian_yolo] ，則搜索[Gaussian_yolo] 將[filters=57] 的filter 修改為 filters=(classes + 9)x3 （這里我沒用到，但是還是修改了）

--2.2制作obj.names，在build\darknet\x64\data\ 文件夾下創建obj.names文件。內容為你的類別 比如人和車 那么obj.names 為如下

person
car

--2.3制作obj.data，在build\darknet\x64\data\文件夾下創建obj.data文件。內容如下

classes= 2
train  = data/train.txt
valid  = data/test.txt
names = data/obj.names
backup = backup/

筆者在這讀取不到data/下文件 所以改為絕對路徑 就可以了 這是我的obj.data文件

 

 

--2.4放入源圖片，在build\darknet\x64\data\文件夾下創建obj文件夾，存放所有的原始圖片

　　筆者在這里遇到問題，就是我是VOC格式的圖片如下

└── VOCdevkit     
    └── VOC2012   
        ├── Annotations        
        ├── ImageSets          
        │   ├── Main
        ├── JPEGImages         
    

但是yoloV4需要的訓練集不是這樣，現在說下制作過程

先進入script下有一個文件voc_label.py,利用該代碼可以得到我們想要的txt標注信息 類似xml文件信息

首先注釋掉classes=[.............] 替換里面類別為自己的類別（我是做垃圾檢測 所以是litter） 然后我的voc是2007的 所以也取消掉2012的修改如下

 

 

 然后將所有出現的 VOCdevkit修改為 VOCdevkit2007 ,因為我的目錄是 (這里根據你們的數據集更改 要求找到對應的目錄就可以了)

 --VOCdevkit2007

　　--VOC2007

　　　　--ImageSets

 

 

然后在同級目錄下會出現labels文件 這個就是xml對應的txt文件，

 

 

 將labels中文件放入之前的build\darknet\x64\data\obj中

那么obj文件中會同時存在源圖片同名txt文件

這樣就完成了txt的制作了

 

 

 --2.5最后是制作train.txt

　　--2.5.1需要以下格式的train.txt

 

 

 

 

 

 

 　　--2.5.2可以使用如下代碼制作

import os
from os import listdir, getcwd
from os.path import join

if __name__ == '__main__':
    source_folder =r'G:\jianfeng\project\rubblish_det\yolov4\darknet-master\darknet-master\cfg\JPEGImages'
    dest = r'G:\jianfeng\project\rubblish_det\yolov4\darknet-master\darknet-master\cfg\1/train.txt'
    dest2 = r'G:\jianfeng\project\rubblish_det\yolov4\darknet-master\darknet-master\cfg\1/val.txt'
    file_list = os.listdir(source_folder)
    train_file = open(dest, 'a')
    val_file = open(dest2, 'a')
    i=0
    for file_obj in file_list:
        file_name, file_extend = os.path.splitext(file_obj)

        if (i%4 ==0):
           #val_file.write(file_name+".jpg" + '\n')  相對路徑
            val_file.write("build/darknet/x64/data/obj/"+file_name+".jpg" + '\n')
        else:
           #train_file.write(file_name+".jpg" + '\n')
            train_file.write("build/darknet/x64/data/obj/"+file_name+".jpg" + '\n')
        i+=1
    train_file.close()
val_file.close()                     

 

其中dest和dest2可以根據自己需要更改 

但是這里遇到些問題就是 我的程序無法識別相對路徑data/，所以我把路徑改為了絕對路徑 build/darknet/x64/data/obj/下的文件。如下

 

 

 現在就完成了所以制作，可以開始訓練了

--2.6.下載權重 和之前的權重不一樣

鏈接：https://pan.baidu.com/s/1yhB8pRcGH84gyRWeNictBA
提取碼：gi4d

下載好放入主目錄中

--2.7.開始訓練

./darknet detector train data/obj.data yolo-obj.cfg yolov4.conv.137 

如果要使用gpu的話輸入以下

./darknet detector train data/obj.data yolo-obj.cfg yolov4.conv.137 -gpus gpu_id

出現以下畫面 則正在訓練

 

最終效果圖

 

 

 

 ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

錯誤問題總結：

1.mosaic=1 - compile Darknet with OpenCV for using mosaic=1

因為在設置中使用了opencv（c++版本），而我們沒有安裝導致的。將之前修改的yolo-obj.cfg中搜索mosaic將1改為0。

mosaic=1  #--》 更改為0

 

2.make時 出現以下錯誤

chmod +x *.sh
g++ -std=c++11 -std=c++11 -Iinclude/ -I3rdparty/stb/include -DGPU -I/usr/local/cuda/include/ -DCUDNN -DCUDNN_HALF -Wall -Wfatal-errors -Wno-unused-result -Wno-unknown-pragmas -fPIC -Ofast -DGPU -DCUDNN -I/usr/local/cudnn/include -DCUDNN_HALF -c ./src/image_opencv.cpp -o obj/image_opencv.o
In file included from ./src/image.h:3:0,
                 from ./src/image_opencv.h:4,
                 from ./src/image_opencv.cpp:1:
include/darknet.h:41:26: fatal error: cuda_runtime.h: No such file or directory
compilation terminated.
Makefile:165: recipe for target 'obj/image_opencv.o' failed
make: *** [obj/image_opencv.o] Error 1

出現原因是cuda的path不對導致

先查看自己cuda版本  輸入 nvcc -V 

查看主目錄下Makefile文件

搜/usr/local/cuda/xxx 目錄

我的原始文件是/usr/local/cuda/xxx   ,cuda版本是9.0 所以

將cuda -->改為cuda-9.0 即可 如下

/usr/local/cuda-9.0/xxx

測試test.txt數據集時的命令（並將結果保存至result.txt中）：

 ./darknet detector test darknet.data darknet-yolov3.cfg darknet-yolov3_final.weights -thresh 0.25 -dont_show -ext_output < data/test.txt > result.txt

恭喜你看完了，有問題可以評論，或者去github上面提問，問作者問題更靠譜哦 ^ - ^