摘要：針對直接集成簡單分類器對交通標志數(shù)據(jù)庫進行識別出現(xiàn)的類別預測效果較差的問題，提出一種基于卷積神經(jīng)網(wǎng)絡(CNN)和Bagging集成學習的交通標志識別算法，采用爬蟲和圖像增強技術(shù)實現(xiàn)交通標志數(shù)據(jù)集的擴充，以CNN網(wǎng)絡提取交通標志圖像的特征，通過采用最大池化層實現(xiàn)圖像數(shù)據(jù)下采樣，采用較淺的網(wǎng)絡深度以簡化整體網(wǎng)絡結(jié)構(gòu)。在CNN網(wǎng)絡特征提取的基礎上，利用軟投票機制對多項Logistic、近鄰、SVM個體學習器進行集成，實現(xiàn)較準確的交通標志識別。實驗結(jié)果表明，該算法在TSRD交通標志識別數(shù)據(jù)庫測試集上的識別準確率達到了93.00%，相對于未改進的卷積神經(jīng)網(wǎng)絡模型識別的精度提高了11.99%，并較高于通過VGG16和ResNet50遷移學習實現(xiàn)的識別精度，具有較快的收斂速度。
關鍵詞：圖像增強;卷積神經(jīng)網(wǎng)絡;遷移學習;集成學習;交通標志識別
近年來，自動駕駛領域的研究迅速發(fā)展，交通標志識別作為智能交通系統(tǒng)的重要研究方向之一，準確的識別交通標志對于自動駕駛的安全性至關重要，對交通標志進行特征提取并通過分類器識別可以進一步提高行車安全，交通標志早期的主要識別方法有模板匹配法，Alam等[1]通過傳統(tǒng)的模板匹配法簡單快速實現(xiàn)交通標志識別，通過模板在圖像像素點上進行搜索匹配，基于機器學習的方法在圖像識別領域也取得了重大進展。
主要采用人工進行特征提取和機器學習相結(jié)合的方法，交通標志特征主要有SIFT(scaleinvariantfeaturetransform)、HOG(histogramoforientedgradient)、LBP(localbinarypatterns)等[2]，人工實現(xiàn)特征提取用于去除無用信息，并將這些特征輸入分類器進行識別，如支持向量機、近鄰(KNearestNeighbor)、隨機森林、Adaboost(adaptiveboosting)等[36]基于機器學習的算法，韓習習等[7]提出了一種多特征融合并利用支持向量機分類的方法，Da等[8]的隨機森林法，Xu等[9]的Adaboost方法均取得了較好的識別效果，但都需一定的經(jīng)驗知識。
由于深度學習無需較多的人工處理，網(wǎng)絡提取的深度特征可以更全面適應于交通標志，識別準確率高，近些年在目標分割、目標檢測、目標分類[1013]等領域發(fā)展較為迅速，Li等[14]利用了一種多層特征融合的方法，將全局特征和局部特征進行了融合，以此改進Lenet網(wǎng)絡，準確率相比未改進Lenet提高了3.03%。
Stalkamp等[15]在德國交通標志數(shù)據(jù)庫GTSRB(GermanTrafficSignBenchmarks)中提出的卷積神經(jīng)網(wǎng)絡(CNN)較人眼識別率提高了0.24%;Zhang等[16]從預測精度和時間出發(fā)，提出了輕量級深度學習模型教師網(wǎng)絡和學生網(wǎng)絡，且可應用于移動嵌入式設備;Zhou等[17]在GTSRB數(shù)據(jù)集上，在卷積層后增加池化和Dropout機制以改善單個VGG模型;He等[18]提出ResNet模型以用于解決模型訓練過程中隨著網(wǎng)絡層數(shù)的加深導致的預測效果退化的現(xiàn)象。
鄧文軒等[19]引入注意力機制提出圖像分類降維的方法;Serna等[20]匯總了歐洲多國的交通標志數(shù)據(jù)集，在此數(shù)據(jù)集的基礎上比較了LeNet、IDSIA、URV等種卷積神經(jīng)網(wǎng)絡架構(gòu)的分類性能;Xu等[21]用直方圖均衡化方法增強圖像細節(jié)，并利用卷積神經(jīng)網(wǎng)絡實現(xiàn)交通標志識別;Sapijaszko等[22]利用DWT和DCT兩種變換實現(xiàn)特征提取，利用多層感知機在TSRD(TrafficSignRecogntionDatabase)數(shù)據(jù)集上的最優(yōu)準確率達到了94.90%。
公開模型是通過大量實驗所得到的，對數(shù)據(jù)進行特征提取進而完成相應的任務，目前單個模型的預測已較為成熟，對模型集成的方法還有待進一步深入。 集成學習可以實現(xiàn)分類器結(jié)合，從而提升分類效果，主要存在串行和并行集成兩類，串行的代表算法是Boosting系列算法，并行的主要代表是Bagging和隨機森林(RandomForest)，都具有較好的數(shù)據(jù)適應性。
鄺先驗等[23]基于Adaboost算法實現(xiàn)混合交通道路上車輛的識別;Tong等[24]采取的CNNSVM方法速度快，準確率較高;張功國等[25]利用SVM分類器代替Softmax，將改進的卷積神經(jīng)網(wǎng)絡與SVM分類器集成，實現(xiàn)單幅交通標志測試時間僅1.32ms;屈治華等[26]利用CapsNet作為基分類器構(gòu)建Bagging集成框架，以提升算法的整體預測精度;Sanga等[27]對目前存在的主要方法進行了總結(jié)，并指出還存在更多模型方法可進行實驗嘗試，在部分小批量數(shù)據(jù)集上遷移學習的效果并不比其它模型的效果更好;為進一步改善類別預測精度，通過改進的卷積神經(jīng)網(wǎng)絡應用于交通標志特征提取，利用Bagging集成分類器實現(xiàn)交通標志分類，得到一個用于道路交通標志識別較新的參考方案。
改進卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡是通過模擬生物神經(jīng)系統(tǒng)進行特殊設計的一種網(wǎng)絡模型，主要包含輸入層、卷積層、池化層、全連接層以及輸出層，在圖像特征提取過程中不需要人工思考具體特征，可直接用于二維圖像的處理，可作用于原始的輸入數(shù)據(jù)如圖像的像素值。
卷積神經(jīng)網(wǎng)絡與其他神經(jīng)網(wǎng)絡最大的區(qū)別是在整個網(wǎng)絡結(jié)構(gòu)中引入了卷積層，可以作為中間隱層的特征輸入，在圖像分類問題中，輸入主要一般是圖像尺寸和通道數(shù)的乘積，輸出層神經(jīng)元的節(jié)點個數(shù)是根據(jù)具體任務所設計的，輸出層可以是單個或多個分類器的集成。
在機器學習領域，大部分任務都存在一定的相關性，因此通過某種方式將已有模型的參數(shù)載入新模型，優(yōu)化模型的學習效率，實現(xiàn)相應的項目需求存在一定的參考價值。在交通標志識別任務中，考慮加載大型數(shù)據(jù)集ImageNet上訓練好的特征參數(shù)，將已有的參數(shù)作為初始訓練權(quán)重，并將圖像數(shù)據(jù)歸一化至的范圍內(nèi)，消除部分樣本數(shù)據(jù)的影響，進而訓練整個模型，實現(xiàn)交通標志識別領域的遷移學習。
本文采用Vgg16和ResNet50進行遷移學習對比。為準確估計交通標志的類別，通過將淺層網(wǎng)絡處采用層卷積層，通過最大池化進行下采樣，添加Dropout隨機失活某些神經(jīng)元節(jié)點，以改進最早提出的卷積神經(jīng)網(wǎng)絡Lenet模型，為尋求應用于中小型數(shù)據(jù)集較好的網(wǎng)絡模型，改進的網(wǎng)絡模型設計共包含層卷積層、層最大池化層、層flatten展平層、層全連接層、層Softmax分類層，采用交叉熵損失函數(shù)和Adam優(yōu)化器用于模型訓練，為實現(xiàn)不同分類器的分類效果對比測試，可提取全連接層的特征用于其他分類器的測試，提出的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖所示。
2Bagging模型融合
2.1集成學習
集成學習就是通過某種策略結(jié)合多個個體學習器提高整體的泛化性能以完成學習任務，在機器學習分類任務中，常用的集成學習方法主要有串行和并行兩種方式，目前較流行的集成方法有Boosting、Bagging、Stacking等，串行的Boosting提升算法主要有通過更改每一次迭代過程中實例的權(quán)重實現(xiàn)更好的擬合，和使用新的分類器去擬合之前分類器預測殘差的方法兩類;由于在測試過程中多數(shù)模型過擬合，為降低數(shù)據(jù)噪聲的影響，本文采用的是一種裝袋法(Bagging)，即在CNN網(wǎng)絡提取的特征條件下，采用軟投票的機制，將分類器估算的類別概率在所有的單個分類器上求平均得出概率最高的類別，以聚合不同的分類器進行類別預測。
集成學習的預測結(jié)果一般要優(yōu)于單個預測器，常用的集成方式是訓練一組單個的決策樹分類器并通過投票機制得到最終預測結(jié)果。集成的個體分類器可以是同種類型的，也可以集成不同類型的學習器，為進一步探索有效方案，設計一種異質(zhì)集成的方法，訓練集的樣本采取交通標志的圖像數(shù)據(jù)，每輪利用有放回抽樣方式從樣本中選取數(shù)據(jù)，分別對單個分類器進行訓練，且采用并行的集成方式實現(xiàn)最終的類別概率預測。
Bagging集成用于不同種類的分類器上，利用有樣本放回的采樣方式對樣本特征數(shù)據(jù)實現(xiàn)多次采樣，通過模型的聚合以降低單個分類器較高的方差，以獲得比單個的分類器更好的類別預測性能。
2.2多項Logistic回歸
Logistic回歸模型在二分類及多分類問題上目前已經(jīng)得到了十分廣泛的應用，具有計算速度快，實現(xiàn)簡單，穩(wěn)健性良好的特點，對數(shù)據(jù)的條件要求較低，但較容易欠擬合，該模型主要是利用最大似然估計法對模型參數(shù)進行估計，通過修改Logistic的損失函數(shù)以得到Logistic回歸的多分類版本。
2.3基于CNN和Bagging集成
本文提出一種基于CNN網(wǎng)絡和Bagging模型融合的交通標志識別算法。該算法面向?qū)嶋H工程應用，通過盡量減少神經(jīng)網(wǎng)絡中卷積層的數(shù)量以提高運行的速度，利用CNN網(wǎng)絡提取特征，構(gòu)建基于Bagging的集成學習模型，所有進行實驗的模型均采用交叉熵函數(shù)作為損失函數(shù)。
在經(jīng)過預處理的交通標志圖像數(shù)據(jù)集上，通過卷積神經(jīng)網(wǎng)絡提取特征，以Bagging的方式集成多項Logistic、近鄰和SVM分類器實現(xiàn)對交通標志的識別，利用不同分類模型各自的優(yōu)勢，對多個分類器實現(xiàn)投票表決，保存各模型的參數(shù)和預測結(jié)果，實現(xiàn)對模型的效果評估，實驗表明利用提取的特征來進行多模型集成分類時在驗證集和測試集上有較好的效果，其中交通標志識別算法的流程見圖所示。
3實驗結(jié)果與分析
3.1數(shù)據(jù)分析
本文采用公開的國內(nèi)交通標志數(shù)據(jù)庫CTSD(ChineseTrafficSignDatabase)中的用于交通標志識別的數(shù)據(jù)集TSRD(TrafficSignRecogntionDatabase)，該數(shù)據(jù)庫一共包含6164幅交通標志圖像，訓練數(shù)據(jù)庫包含4170張不同種類的交通標志圖像，測試集交通標志圖像共1994張，該數(shù)據(jù)集主要由警告標志、指示標志及禁令標志組成，各標志的尺寸大小不一致，數(shù)據(jù)庫中的所有圖像都標注了符號和類別信息，利用Python隨機選取數(shù)據(jù)庫中的24張圖像。
3.2圖像預處理
由于交通標志的類別數(shù)不均衡，測試集中部分類別的交通標志數(shù)據(jù)集樣本較少，為獲取更多的圖像數(shù)據(jù)，防止模型過擬合，通過網(wǎng)絡爬蟲技術(shù)爬取對應數(shù)量較少的交通標志以實現(xiàn)數(shù)據(jù)集的擴充，首先設置初始URL(UniformResourceLocator)，并修改請求的headers偽裝成瀏覽器訪問，正則解析以匹配圖像的具體內(nèi)容，利用Requests模塊獲取圖像保存至文件夾，最終通過人工的方式篩選所需圖像，爬取網(wǎng)絡交通標志圖像的流程。
在嘗試了使用圖像增強如圖像偏移、隨機縮放圖像范圍、設置剪切角、隨機旋轉(zhuǎn)操作對訓練集進行擴充之后，將其應用在模型訓練過程中反而出現(xiàn)了預測效果變差的現(xiàn)象，為了不丟失圖像的顏色信息，以及防止翻轉(zhuǎn)圖像產(chǎn)生一些不必要的錯誤信息，主要對圖像進行縮放變換以進一步擴充數(shù)據(jù)集，實現(xiàn)交通標志圖像數(shù)據(jù)集的增強，以改善圖像的樣本多樣性，同時經(jīng)過數(shù)據(jù)集歸一化處理可以適應于神經(jīng)網(wǎng)絡的訓練，通過Python語言隨機選取一些圖像進行展示。
在進行遷移學習時需適當調(diào)節(jié)輸入特征的尺寸以滿足模型訓練的條件，根據(jù)keras官方網(wǎng)站上的說明，VGG16和ResNet50模型的圖像輸入尺寸不小于32×32，為保證公平性，將所有模型的輸入圖像大小設置為32×32，實驗時將圖像的尺寸縮放為遷移學習模型的網(wǎng)絡輸入標準尺寸，在數(shù)據(jù)輸入之前，還需要對圖像數(shù)據(jù)進行歸一化處理，將所有的像素值縮放到同一個尺度，以使圖像在經(jīng)過相同參數(shù)的歸一化處理后變?yōu)橄嗤问綐藴蕡D像，卷積神經(jīng)網(wǎng)絡得以提取更加穩(wěn)定的圖像特征。
總之，通過網(wǎng)絡爬蟲對不均勻的TSRD數(shù)據(jù)集進行擴充，主要爬取部分數(shù)量特別少的標志類別，然后調(diào)用keras.preprocessing.image模塊中的ImageDataGenerator類，以圖像縮放變換為主要方法實現(xiàn)數(shù)據(jù)集的進一步擴充，防止模型訓練可能產(chǎn)生的擬合不足現(xiàn)象。
3.3模型訓練
本實驗使用基于Python語言的Keras深度學習框架，硬件環(huán)境CPU為Intel(R)Core(TM)i59400F@2.90GHz，GPU為NVIDIAGeForceGTX1050Ti顯卡，操作系統(tǒng)為Windows10，Python版本為3.8.3，利用Pycharm集成開發(fā)環(huán)境進行編譯，實驗結(jié)果曲線采用matplotlib模塊可視化。
為了減小網(wǎng)絡訓練所用時間，將CNN的圖像輸入尺寸大小利用resize函數(shù)統(tǒng)一為32×32×3的RGB(RedGreenBlue)三通道彩色圖像，用卷積層提取特征作為基分類器的輸入，通過調(diào)用機器學習庫中的sklearn模塊對數(shù)據(jù)集劃分，在擴充的訓練集上將80%的數(shù)據(jù)集用于模型訓練，20%作為驗證。為保障訓練的模型性能，數(shù)據(jù)劃分過程中將數(shù)據(jù)集隨機打亂，其中特征數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)為數(shù)組形式，同時將標簽進行OneHot編碼以適應模型訓練結(jié)構(gòu)。
4結(jié)論與展望
交通標志的識別準確率受到多種因素的影響，不同的交通標志數(shù)據(jù)集對模型訓練的效果存在較大的影響，為進一步提升識別準確率，防止模型過擬合，利用網(wǎng)絡爬蟲和圖像增強方式對原始數(shù)據(jù)集進行擴充，通過添加Dropout層隨機失活部分神經(jīng)元，使用Relu激活函數(shù)代替Sigmoid以解決可能的梯度消失問題，減小整個模型的計算量，本文利用改進卷積神經(jīng)網(wǎng)絡的方法實現(xiàn)高質(zhì)量圖像特征自動提取，并通過Bagging模型融合對公開的交通標志數(shù)據(jù)庫進行分類識別，以便為自動駕駛交通標志識別提供一定的可參考方案。
在Win10環(huán)境下實驗發(fā)現(xiàn)，與經(jīng)典的神經(jīng)網(wǎng)絡相比，改進的方法在交通標志識別數(shù)據(jù)庫上取得了較好的效果，測試集準確率達到了93.00%，相對于未改進的卷積模型提升了11.99%，說明改進的方法有助于進一步提升類別的識別準確率。由于交通標志數(shù)據(jù)庫中一些圖片存在雨霧等自然天氣及其它意外損壞的情況，在訓練時未對特定的圖像進行去霧等預處理操作，采取的是較為原始的圖像數(shù)據(jù)，故對預測精度存在一定的影響，后續(xù)將考慮進一步加強前期數(shù)據(jù)預處理的工作。國內(nèi)外學者在實時交通圖像方面的研究較少，對于如何實現(xiàn)快速的定位和實時的分類以實現(xiàn)自動駕駛的需求還存在一定的挑戰(zhàn)，研究的方法種類眾多，在實時道路的環(huán)境中實現(xiàn)快速分類任務也是未來重要考慮的一個方向之一。
參考文獻：
[1]AlAMA,JAFFERZA.Indiantrafficsigndetectionandrecognition[J].InternationalJournalofIntelligentTransportationSystemsResearch,2020,18(1):98112.DOI：10.1007/s13177019001781.
[2]劉亞辰.交通標志識別系統(tǒng)算法研究與設計[D].武漢：武漢理工大學，2017.
[3]ARDIANTOS,CHEN,HANG.RealtimetrafficsignrecognitionusingcolorsegmentationandSVM[C]//2017InternationalConferenceonSystems,SignalsandImageProcessing(IWSSIP).IEEE,2017:15.DOI：10.1109/IWSSIP.2017.7965570.
[4]宗鳴龔永紅文國秋等基于稀疏學習的KNN分類[J].廣西師范大學學報自然科學版),2016,34(3):3945.DOI：10.16088/j.issn.10016600.2016.03.006.
作者：田晟,宋霖
相關閱讀
