Two-stream雙流總結


1、2014.Two-stream convolutional networks for action recognition in videos

 兩個流:空間流做single frame,時間流做multi-frame對稠密光流做CNN處理。兩個流分別經過softmax后做class score fusion,(平均法 or SVM)。

 

2、2015.Towards Good Practices for Very Deep Two-Stream ConvNets

空間流3 channel,時間流10 channel。

trick:

1.空間流在ImageNet上預訓練,時間流中的光流轉換為0-255灰度圖在ImageNet上預訓練。

2.learning rate:時間流5e-3,1W個Iteration*0.1,3W次停止。空間流1e-3,4K個Iteration*0.1,1W次停止。

3.data argmentation:由於數據集過小的原因,采用裁剪增加數據集,4個角和1個中心,還有各種尺度的裁剪。從{26,224,192,168}中選擇尺度與縱橫比進行裁剪。

4.high dropout rate

5.多GPU訓練

有PyTorch源碼

3、16年Temporal Segment Networks Towards Good Practices for Deep Action Recognition

和上一篇是同一批作者,應該是把上一篇的內容豐富了一些,但還沒有具體去看。上一篇5頁,這一篇17頁,后面再說吧。

提出兩點貢獻:

  • 提出一個temporal segment network(TSN)網絡,基於視頻的動作識別網絡,結合了稀疏時間采樣策略,和大規模時間結構建模。(將視頻分成K個序列,隨機抽取一個,網絡在所有的序列上共享參數)

  • 一系列優化的策略,估計跟上一篇差不太多。

這里寫圖片描述

4、16年Convolutional Two-Stream Network Fusion for Video Action Recognition

此論文有公開源代碼,用的是MATLAB。

5、17年Hidden Two-Stream Convolutional Networks for Action Recognition

此論文有公開源代碼,用的是Caffe。

6、16年利用CNN生成光流圖像FlowNet 2.0 Evolution of Optical Flow Estimation with Deep Networks


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM