TSR交通標志檢測與識別
說明：
傳統圖像處理算法的TSR集成在在ARM+DSP上運行，深度學習開發的TSR集成到FPGA上運行。
輸入輸出接口
Input：
（1）圖像視頻分辨率（整型int）
（2）圖像視頻格式（RGB，YUV，MP4等）
（3）攝像頭標定參數（中心位置（x,y）和5個畸變
系數（2徑向，2切向，1棱向），浮點型float）
（4）攝像頭初始化參數（攝像頭初始位置和三個坐標方向
的旋轉角度，車輛寬度高度車速等等，浮點型float）
Output：
（1）BandingBox左上右下的坐標位置（浮點型float）
（2）Type類型：人，車，…，… （整型int）
（3）執行度：是指判別目標物為某種類型的比率。
比如為人，車，…，…的比率。（浮點型float）
（4）需要遮擋目標區域的左上右下的坐標位置（浮點型float）
（5）攝像頭與目標物距離 （浮點型float）
1. 功能定義
檢測道路上的交通標牌，根據需要進行分類。
功能模塊包括TSR的坐標位置，IOU比率，攝像頭與TSR的距離等等。
（1）輔助駕駛。交通標志識別的概念最早就是作為輔助駕駛工具被提出的。TSR系統在識別交通標志后，客隊駕駛員進行語音和視頻等方式的提醒，甚至可以在必要時候對車輛駕駛系統直接做出控制，從而確保駕駛安全。
（2）交通標志維護。由於交通標志通常放置於室外環境中，受自然環境（如風吹雨淋）及人為因素（如塗抹）影響，難免出現褪色，變形甚至墮落失蹤現象，需要進行定期檢查維護。通常，這一工作需安排專人專崗，工作量巨大且很難保證實時性和准確性。顯然，一個有效的TSR系統是完成這一工作的理想方案。
（3）無人駕駛。無人駕駛汽車在今年收到越來越多的關注。從上世紀90年代起，國內外相繼研發出了一系列無人駕駛汽車，其智能化逐漸提高，能夠自動規划路線，避讓障礙物等。使無人駕駛汽車具備辨認交通標志的能力交通標志的能力顯然是使其實用化的一個重要步驟。
2. 技術路線方案
組成結構
交通標志顏色外觀
一般情況下交通標志顏色的基本含義如下：
a. 紅色：表示禁止、停止、危險，用於禁令標志的邊框、底色、斜杠，也用於叉形符號和斜杠符號、警告性線性誘導標的底色等。
b. 黃色或熒光黃色：表示警告，用於警告標志的底色。
c. 藍色：表示指令、遵循，用於指示標志的底色；表示地名、路線、方向等行車信息，用於一般道路指路標志的底色。
d. 綠色：表示地名、路線、方向等行車信息，用於高速公路和城市快速路指路標志的底色。
e. 棕色：表示旅游區及景點項目的指示，用於旅游區標志的底色。
f. 黑色：用於標志的文字、圖形符號和部分標志的邊框。
g. 白色：用於標志的底色、文字和圖形符號以及部分標志的邊框。
h. 橙色或熒光橙色：用於道路作業區的警告、指路標志。
i. 熒光黃綠色：表示警告，用於注意行人、注意兒童警告標志。
交通標志的形狀一般使用規則如下：
a. 正等邊三角形：用於警告標志；
b. 圓形：用於禁令和指示標志；
c. 倒等邊三角形：用於“減速讓行”禁令標志；
d. 八角形：用於“停車讓行”禁令標志；
e. 叉形：用於“鐵路平交道口叉形符號”警告標志：
f. 方形：用於指路標志，部分警告、禁令和指示標志，旅游區標志，輔助標志，告示標志燈。
交通標志照明標識
a） 內部照明標志
標志板內裝照明裝置，采用半透明材料制作標志面板，有單面顯示和兩面顯示兩種。內部照明標志可根據標志板的大小，承受的風力進行結構設計。確保標志面照度均勻，在夜間具有150m 的視認距離。燈箱結構合理，金屬構件經防腐處理，防雨防塵，電器元件耐久可靠，檢修方便。
b） 外部照明標志
外部光源照亮標志面的方式。
外部照明標志的光源應進行專門設計。照明燈具及其影陰不能影響標志認讀。外部光源在標志面上的照度不得有明顯不均勻，均勻度（最大照度/最小照度）須在4 以下，確保在夜間具有150m 的視認距離。外部照明光源不能給路上司機造成眩目。
支撐燈具的構件應進行防銹處理，照明器件耐久可靠，性能優良，檢修方便。
交通標志板可采用鋁合金板、擠壓成型的鋁合金型材、薄鋼板、合成樹脂類板材等制造，所用材料應符合現行《公路交通標志板》( TI'/T 279 )的規定，厚度應根據計算確定。
交通標志支撐結構
(1)交通標志立柱、橫梁等可采用鋼管、H型鋼、槽鋼及鋼筋混凝土等材料制作，鋼管頂端應設置柱帽。鋼構件應進行防腐處理。
(2)交通標志應設置鋼筋混凝土基礎，位於橋梁段的單柱式交通標志可采用鋼結構附着在橋梁上。
結構設計
1）設計基本風速應采用當地平坦空曠地面，離地面lOm高，重現期為50年lOmin平均最大風速值，並不得小於22m/s。
2）交通標志結構應按承載能力極限狀態和正常使用極限狀態進行設計，並應同時滿足構造和工藝方面的要求。
3）交通標志的結構重要性系數可分為兩個等級:
(1)位於高速公路、一級公路七的懸臂式、門架式交通標志，結構重要性系數
(2)位於高速公路、一級公路上的其他類型的交通標志及位於其他等級公路上的交通標志，結構重要性系數Y=0.9。
4）交通標志結構的荷載計算與組合、極限狀態設計方法、地基基礎的設計應符合現行《公路橋涵設計通用規范》( JTC D60 )、《公路橋涵地基與基礎設計規范》(JTJ 024)、《鋼結構設計規范》(JB 50017)和《道路交通標志和標線》( JB 5768)等的規定。
交通標志制作材料
(1)公路交通標志板均應采用符合現行《公路交通標志反光膜》(GB/T 18833)要求的反光膜或其他逆反射材料制作。
(2)交通標志板采用反光膜材料時，高速公路、一級公路上宜采用一、二級反光膜，二、三級公路的交通標志宜采用三、四級反光膜，四級公路宜采用四、五級反光膜。
(3)門架、懸臂型等懸空類交通標志，宜采用比路側交通標志等級高的反光膜。
(4)在保證均勻性和條件容許時，可以采用照明或發光二極管增加重要標志的視認效果。
a） 反光材料的種類及性能
用於標志面的反光材料按其結構的不同可以分為透鏡埋入型、密封膠囊型、微棱鏡型等品種。其反光原理為：射向標志面的光線應沿入射光線的反方向反回光源。由於標志位置和車輛行駛條件的不同，用於標志面的反光材應具有優良的廣角性和逆反射性能。在不同入射角（汽車前照燈光線與標志表面法線之間的夾角）、不同觀測角（汽車前照燈光線與標志反射回駕駛者眼睛的光線間的夾角）的條件下，用於標志面的反光膜的逆反射系數值應符合JT/T279 的規定。
b） 反光材料的應用與選擇
1） 各級道路的交通標志原則上均應采用反光材料制作標志面。
2） 高速公路、一級公路及城市主干路的交通標志宜采用一~三級反光膜；二、三級公路及一般城市道路的交通標志宜采用四級以上的反光膜。四、五級反光膜可用於四級公路和交通量很小的其他道路。
3） 高速公路、一級公路、城市快速路上的曲線段標志，及城市地區的多路交叉路口，宜采用三級以上反光材料。
4） 高速公路、城市快速路上的門架標志和懸臂標志，為獲得與路側標志相當的反光效果，宜選用比路側標志所用反光膜等級為高的反光材料，或把門架標志和懸臂標志上的字符改用反射器，以改善其夜間視認性。在有條件的重要路段，也可采用照明標志。
c） 交通標志的顏色規定及參考相關色樣。
交通標志技術要求
交通標志指導思想
1）交通標志應體現公路及周邊路網的特點，使駕駛員准確確定自己所處的位置、找到正確的目的地，並對路網中的交通量進行合理分配;
2）交通標志應能加強駕駛員安全行車的意識;
3）交通標志應容易識別、易於理解;
4）交通標志的設置應系統、連續、均衡、避免信息過載;
5）動態交通標志的設置不應妨礙靜態交通標志的使用。
6）收集公路的道路、交通、氣象、環境及周邊路網等基礎資料;
7）確定公路交通標志的實施標准、規模;
8）從安全、環保、技術、經濟、美觀等方面進行方案比較，選擇最佳方案。
交通標志設置原則
1）公路交通標志的設置，應以不熟悉
圖1. 交通標志設置
周圍路網體系的公路使用者為設計對象，綜合考慮周邊路網與公路條件、交通條件、氣象和環境條件等因素，制定合理的設置標准，根據各種交通標志的功能和駕駛人員的行為特征進行合理設置。
2）對二級及以上等級的公路和其他等級的國、省道公路應優先設置指路標志，其他公路或未設置相關指路標志的公路，經論證可設置必要的警告標志。禁令標志應設置在交通法律、法規發生作用的地點附近醒目的位置，並應避免與其他交通標志的互相影響。限速標志應根據不同路段的通行能力、車型構成比例、車輛的運行速度等分段進行設置。
3）在選擇路網中指路標志標示的目的地信息時，應根據路網密度、公路等級、公路功能、目的地知名度等進行統一考慮。不同種類的交通標志信息應互相呼應，不得出現信息中斷。
4）交通標志沿公路縱、橫向設置的位置應符合現行《道路交通標志和標線》( GB5768)的規定。位於高速、一級公路路側安全凈區內的交通標志應根據標志結構規格采用解體消能結構或設置護欄加以防護，位於其他公路路側安全凈區內的交通標志宜進行必要的誘導。
5）公路交通標志的任何部分不得侵入公路建築限界以內，路側柱式交通標志的安裝高度應考慮其板面規格、所在位置的線形特點和地形特征、是否有行人通行等因素，懸臂、門架式等懸空標志凈空高度應較公路凈空預留20-50cm的余量。
6）交通標志安裝時，標志板面的法線應與公路中心線平行或成一定角度。路側安裝的禁令標志和指示標志為0°-45°，指路標志和警告標志為0°-10°。懸臂、門架或附着式懸空標志安裝時，標志的安裝角度應與道路中心線垂直或前傾0°-10°。
交通標志設計原則
(1)應正確處理顏色、文字、箭頭、編號、圖形及邊框的關系，使標志版面清晰、美觀;
(2)同類交通標志應采用同一類型的標志版面;
(3)門架式交通標志的各交通標志板宜統一高度、統一邊框規格。
交通標志主要種類
交通標志的支撐方式可分為柱式、懸臂式、門架式、附着式四種。
交通標志支撐方式應根據交通量、車型構成、車道數、沿線構造物分布、
圖2. 實際交通標志示例
支撐方式
風荷載大小以及路側條件等因素綜合確定。
(1)警告、禁令、指示標志和小尺寸指路標志宜采用單柱式支撐方式，中、大型指路標志可采用雙柱或多柱式支撐方式。
(2)當符合下列條件時，根據需要可采用懸臂式或門架式等懸空支撐方式(版面內容少時，宜采用懸臂式):
①交通量達到或接近設計通行能力時;
②互通式立交的設計很復雜時;
③單向有三個或三個以上車道時;
④互通式立體交叉間距較近時;
⑤出口為多車道時;
⑥大型車輛所占比例很大時;
⑦穿越多個互通式立體交叉、為保持標志信息設置位置的一致性時;
⑧路側安裝空間不足或受遮擋時;
⑨連接兩條高速公路之間的樞紐互通時;
⑩出口匝道為左向出口時;
⑧平面交叉口標志或位於互通式立體交叉減速車道起點處的出口預告標志。
(3)公路沿線設置有上跨天橋等構造物，路側設置有高擋土牆、照明燈桿等時，交通標志在滿足公路建築限界要求的前提下，可以采用附着式支撐方式。
交通標志技術標准
交通標志采用的顏色、形狀、圖形符號應符合現行《道路交通標志和標線》(GB5768)的規定。
交通標志箭頭規定
指路標志上使用的箭頭應以一定角度反映車輛的正確行駛方向。
(1)門架式標志或跨線橋上附着式標志的箭頭，用來指示車道的用途或行駛目的地時，箭頭應向下，並指向該車道的中心線;用來指示出口方向時，箭頭應傾斜向上，傾斜角度應能反映出口車道的線形。
(2)路側安裝的指路標志，表示直行方向的箭頭應指向上方，表示轉向方向的箭頭應與轉向車道的線形保持一致。同時出現向上和向左、向右的三個箭頭時，指向右側的箭頭應放置在最右側，指向上、左的箭頭應放置在最左側。
(3)箭頭可以放置在主要標志文字的下方，或文字一側的適當部位。
交通標志文字規定
公路的指路標志應采用漢字，根據需要可與其他文字並用。當標志采用中、英兩種文字時，地名應用漢語拼音，專用名詞應用英文。因版面規格限制時，部分英文可以采用縮寫。
交通標志尺寸規定
警告、禁令、指示標志的板面尺寸和指路標志的文字高度，應由公路的設計速度決定，指路標志的板面尺寸，還應考慮字符數量、圖形符號、其他文字和版面美化等因素，其他文字與漢字高度的關系，地點應放在最左側，地名由近而遠、從上到下排列。如果幾個獨立的標志板組成一組，則各板的長度應相同。地點、方向標志中，直行標志應設置在最上部，其下為向左、向右可以到達的地點。
當路段運行速度與設計速度之差大於20}n/h時，宜按運行速度對交通標志的版面規格及視認性加以檢驗。
交通標志有效功能
交通標志的設置應考慮人的行為特征。人的行為在交通工程和道路安全中的作用主要表現在視覺信息、信息需求、信息處理等三個方面。
視覺信息
據估計，駕駛員在駕駛車輛行駛時所需要的信息中，占90%的為視覺信息。人的視覺特征如視野的深度、寬度，眼睛的移動、色彩的識別、亮度和眩光的影響、速度的判斷等，是交通標志設置的基本考慮要素。
信息需求
對公路使用者來說，幾乎所有的信息都是通過視覺的傳遞接收的，因此設置交通標志時，應注意其顯著性、易理解性、可信性和定位性。
信息處理
駕駛員的駕駛任務包括獲取信息、處理信息、選擇行動方案、實施行動方案，並通過重復這一
過程來觀察決策的結果。
由於人的行為的局限性和駕駛員、車輛和公路環境之間的關系使得上述過程非常復雜。設置交通標志時，還應考慮駕駛員的預期值、反應時間和短期記憶等特征。只有充分考慮公路使用者的行為特征，交通標志的設置才具有有效性。
本條所指的“不熟悉周圍路網體系的公路使用者”並不是說公路使用者對周圍環壇無所知，而是指通過地圖或其他查詢手段，對前往的目的地和途經路線有所了解，然后肋交通標志的指引能夠順利抵達目的地。
相關制作
圖案
交通標志必須嚴格按本標准規定的圖案按比例放大制作，不得任意修改圖案。
參數
交通標志形狀、尺寸、圖案、文字應符合本標准的規定。標志板的制作應符合JT/T 279的有關規定。
檢測
廠商生產的交通標志需經持有CMA 標志的國家計量認證單位檢測。
交通標志作用
（1）有利於調節交通流量、疏導交通，提高道路通行能力
（2）預示道路狀況，減少交通事故
（3）節約能源，減少污染物
汽車安全系統的交通標志識別系統，英文翻譯為：Traffic Sign Recogni- tion，簡稱TSR，是利用前置攝像頭結合模式，可以識別常見的交通標志（限速、停車、掉頭等）。這一功能會提醒駕駛員注意前面的交通標志，以便駕駛員遵守這些標志。TSR 功能降低了駕駛員不遵守停車標志等交通法規的可能，避免了違法左轉或者無意的其它交通違法行為，從而提高了安全性。這些系統需要靈活的軟件平台來增強探測算法，根據不同地區的交通標志來進行調整。
圖3. 告知限速、禁止超車信息，提高駕駛過程中的安全性及安心感
有了TSR交通標識智能識別系統，能瞬間鑒別各種交通標識，並進行顯示，提醒限速、禁止超車等行車信息。違章越來越少，安全越來越高。
交通標志識別系統一般包括檢測和識別兩部分。檢測一般是利用交通標志的形狀和顏色特征，從自然場景中把交通標志提取出來。識別是把檢測出來的交通標志的內容識別出來。交通標志識別在規范交通行為、確保安全駕駛等方面具有重要的意義。交通標志通常處於室外復雜的環境條件下，識別的過程中容易受環境光照、方向旋轉的影響。
交通標志識別系統是智能交通系統與先進輔助駕駛系統的重要組成部分，提高交通標志檢測與識別算法的准確率和實時性是走向實際應用進程中需要解決的關鍵問題。算法的准確率是交通標志識別研究中一個十分重要的因素，錯誤的識別結果不僅不能起到輔助駕駛作用，還會導致嚴重的安全事故。而算法的實時性決定了研究成果能否轉化為具有實際應用價值的產品。在汽車數量日益增加、交通安全事故居高不下，要求不斷提升汽車的駕駛智能化的現實壓力面前，開展以實時應用為目標的交通標志檢測與識別技術研究，對於增加駕駛安全具有重大的意義。
交通標志檢測是進行交通標志分類的前提，同時還壓縮了計算目標的空間，減少后續特征提取算法的運算量，還可以獲得更高的識別准確率。在圖像的特征提取領域，常見的特征提取與選擇方法有：
PCA主成分分析法
Gabor特征提取算法
SIFT特征提取算法
SURF特征提取算法
Haar小波特征提取算法/類Haar小波特征提取算法
不變矩特征提取算法
直方圖特征提取算法
交通標志分類與識別方法主要有：基於各種距離的模板匹配識別方法，基於大量數據樣本的機器學習識別方法以及基於粒子群算法、遺傳算法等智能算法的識別方法。
交通標志是一種圖形與文字相結合的公共標識，用圖形符號和文字傳遞特定信息，用以管理交通，指示行車方向以保證道路暢通與行車安全的設施。有很顯著的顏色和形狀特征，起到指示，禁止和警示等作用。適用於公路，城市道路以及一切專用公路，具有法令的性質，車輛，行人都必須遵守。
我國的交通標志有警告標志，禁令標志，指示標志，指路標志，指示標志，旅游去標志，作業區標志，告示標志，輔助標志8種。根據交通標志的顏色與形狀的確定關系，我們可以對三種不同作用交通標志做進一步的分類，並且把顏色形狀分類的結果作為先驗知識用於交通標志的檢測與識別中去。
1）禁令標志：起到禁止某種行為的作用。共有43種。禁止或限制車輛，行人交通行為的標志。除個別標志外，顏色為白底，紅圈，紅杠，黑圖案，圖案亞杠；形狀為圓形，八角形，頂角朝下的等邊三角形。設置在需要禁止或限制車輛，行人交通行為的路段或交叉口附近。如圖27所示的禁令標志，紅色在自然環境下比較少見，故以紅色作為特征顏色檢測禁令標志通常具有較好的效果。
2）警告標志：起警告作用。共有49種。警告車輛，行人注意危險地點的標志。顏色為黃底，黑邊，黑圖案，形狀為頂角朝上的等邊三角形。如圖28所示的警告標志，由於外沿與圖案的顏色均為黑色，某些圖案面積較大的標志與外沿幾乎相連，給檢測帶來一定困難。
3）指示標志：起指示作用。共有29種。指示車輛，行人行進的標志。顏色為藍底，白圖案；形狀分為圓形，長方形和正方形；設置在需要指示車輛，行人行進的路段或交叉口附近。如圖29所示的指示標志沒有特定的外沿顏色，某些標志的圖案幾乎將藍底分為了幾個部分，給檢測帶來一定困難。
圖4. 禁止標志
圖5. 警告標志
圖6. 指示標志
3. 關鍵技術參數和性能指標
交通標志識別實際上包括交通標志的檢測和識別兩個過程，檢測是在圖像中尋找到感興趣目標並定位，識別是對感興趣目標進行分類。現在R-CNN系列、YOLO、SSD能夠很好的將檢測和分類兩個過程融合到一起，並且在PASCAL VOC等數據集上取得了很好的效果，但對像交通標志這種小目標的檢測效果並不好。就交通標志檢測而言，如果在Faster RCNN的anchor中，將scale調小一點，ratio調下再做訓練，是可以很好的檢測到圖像中尺寸較小的交通標志；也可以訓練級聯CNN，將目標檢測問題轉化為分類問題。傳統的檢測方法中，可以人工設計特征來檢測感興趣目標，例如可以利用交通標志的顏色和形狀等信息來檢測並定位到交通標志；然后對檢測到的標志進行識別或分類，判斷它是哪種交通標志。