飲料生產(chǎn)過(guò)程中,飲料灌裝液位精度受灌裝設(shè)備的硬件狀況和定量灌裝控制系統(tǒng)控制策略的影響會(huì)出現(xiàn)瓶裝飲料液位高度波動(dòng)。影響因素通常有飲料的液體特性及飲料內(nèi)的固態(tài)成分、灌裝設(shè)備故障、自動(dòng)補(bǔ)償控制系統(tǒng)調(diào)控策略等,因而灌裝作業(yè)中瓶裝飲料會(huì)出現(xiàn)灌裝液位差。灌裝后的液位高度檢測(cè)可以幫助廠家確保質(zhì)量、控制成本,長(zhǎng)期出現(xiàn)灌裝過(guò)量會(huì)造成原料需求量增加,企業(yè)利潤(rùn)減少;缺量飲料流入市場(chǎng),會(huì)造成企業(yè)的信譽(yù)損失,從而影響消費(fèi)者消費(fèi)決策。通過(guò)液位檢測(cè)可以反饋生產(chǎn)設(shè)備狀態(tài),出現(xiàn)大量灌裝高度不合格飲料時(shí),及時(shí)反饋錯(cuò)誤,設(shè)備根據(jù)反饋信號(hào)及時(shí)調(diào)整參數(shù)修正錯(cuò)誤,保障生產(chǎn)安全,提高生產(chǎn)效率。
瓶裝飲料液位檢測(cè)依賴光電傳感器發(fā)出視覺(jué)檢測(cè)程序觸發(fā)“開關(guān)”,配合壓力傳感器測(cè)量、電容式傳感器等對(duì)灌裝液位進(jìn)行檢測(cè),自機(jī)器視覺(jué)檢測(cè)技術(shù)應(yīng)用后,在大部分PET飲料瓶質(zhì)量檢測(cè)、灌裝后液位檢測(cè)多采用光電傳感器觸發(fā)檢測(cè)開關(guān),配合圖像處理算法構(gòu)成檢測(cè)系統(tǒng)。早期基于Opencv液位識(shí)別方法識(shí)別速度較慢,目前多數(shù)以光電傳感器作為液位檢測(cè)圖像處理程序的觸發(fā)器。
隨著機(jī)器視覺(jué)技術(shù)的成熟,目前機(jī)器視覺(jué)識(shí)別速度已能達(dá)到高速生產(chǎn)檢測(cè)的要求。使用機(jī)器視覺(jué)在飲料生產(chǎn)中作為檢測(cè)觸發(fā)程序,不僅可以降低檢測(cè)系統(tǒng)硬件使用量,集成化檢測(cè)系統(tǒng),還能快速對(duì)檢測(cè)內(nèi)容定位和調(diào)度檢測(cè)程序,并且可以簡(jiǎn)化檢測(cè)系統(tǒng)設(shè)備結(jié)構(gòu),彌補(bǔ)傳感器冗雜的系統(tǒng)硬件布局缺點(diǎn),提高系統(tǒng)效率和可靠性。飲料生產(chǎn)線視覺(jué)檢測(cè)系統(tǒng)背景較為簡(jiǎn)單,因而更容易區(qū)分檢測(cè)目標(biāo),圖像中信息量少,配合圖像處理方法識(shí)別液位高度也就越快。本研究在YOLOv7基礎(chǔ)上參考飲料生產(chǎn)中飲料瓶質(zhì)量檢測(cè)和飲料液位檢測(cè)方法,設(shè)計(jì)整套系統(tǒng)在背光照明的條件下實(shí)現(xiàn)瓶裝飲料液位檢測(cè)的快速識(shí)別和定位,并驗(yàn)證了識(shí)別速度與識(shí)別準(zhǔn)確率,為實(shí)現(xiàn)高速液位檢測(cè)提供識(shí)別模型,并快速定位液位區(qū)域,為液位高度檢測(cè)程序提供觸發(fā)指令,取代光電傳感器作為檢測(cè)程序的觸發(fā)器。
待采集的飲料瓶放置于傳送帶上,傳送帶寬25 cm;傳送帶一側(cè)設(shè)置CMOS傳感器海威工業(yè)相機(jī),型號(hào)為MV-CE060-10UC,8 mm焦距鏡頭,采集圖像分辨率為3 072像素×2 048像素;另一側(cè)正對(duì)攝像頭設(shè)置背光板,背光板尺寸30 cm×60 cm,可滿足市場(chǎng)上大部分300~650 m L飲料瓶的高度,以此模擬生產(chǎn)的環(huán)境,其實(shí)際布局如圖1所示。在采集圖像試驗(yàn)臺(tái)上采集不同類型瓶裝飲料液位。為獲得更好的液位特征完善識(shí)別模型,采集時(shí)以量筒測(cè)量后確定的飲料標(biāo)準(zhǔn)凈含量液位面為高度參考面,采集了俯視、平視和仰視3個(gè)視角的圖像作為學(xué)習(xí)樣本,采集圖像如圖2所示。
采集PET瓶裝飲料分類如圖3所示,將采集PET瓶類型分為透明瓶透明液位、透明瓶有色液位、深色透明瓶、表面粗糙瓶、直頸瓶、淺色透明瓶、白色不透明瓶和瓶頸不規(guī)則瓶8類。8種瓶分別采集有標(biāo)簽有蓋、有標(biāo)簽無(wú)蓋、無(wú)標(biāo)簽有蓋和無(wú)標(biāo)簽無(wú)蓋4小類樣本。每種類型飲料瓶基于飲料瓶形狀過(guò)渡對(duì)液位進(jìn)行高度分段,據(jù)此條件作為液位高度變量。
由于生產(chǎn)線生產(chǎn)速度不同,多瓶飲料排列間隔也不同,為模擬生產(chǎn)時(shí)多瓶排列情況,將多瓶飲料不同間距排列從緊密到稀松分為4種間隔:緊密、間距2~3 cm、間距5~6 cm和間距8~12 cm,如圖4所示。
由于YOLOv7網(wǎng)絡(luò)中默認(rèn)識(shí)別的80類可識(shí)別目標(biāo)包含飲料瓶,因而只需驗(yàn)證該模型在經(jīng)過(guò)訓(xùn)練后能夠正常識(shí)別和正確框定液位即可滿足識(shí)別要求。在對(duì)采集的部分樣本標(biāo)注后,通過(guò)400輪次的訓(xùn)練,訓(xùn)練后驗(yàn)證效果如圖5所示。
將采集的原始圖像篩選出無(wú)殘影的圖像,對(duì)圖像采取如下方式修改,增強(qiáng)模型對(duì)圖像識(shí)別準(zhǔn)確性。
擴(kuò)充采集樣本,模擬暗光與背光亮度過(guò)高,偏色處理模擬顏色失真,改變明度,圖6a為隨機(jī)選取圖像改變色相、飽和度和明度權(quán)重的樣本圖像。模糊圖像,從選取的圖像中隨機(jī)選取圖像,模擬實(shí)際應(yīng)用中拍攝出現(xiàn)異常的情況,增加高斯、椒鹽和乘法噪聲;部分虛化圖像模擬鏡頭有霧氣。圖6b分別為加高斯、椒鹽、乘法噪聲和虛化的樣本圖像。
為進(jìn)一步驗(yàn)證模型復(fù)雜圖片識(shí)別能力,選取部分旋轉(zhuǎn)與加馬賽克處理,圖6c是瓶裝飲料原始圖像旋轉(zhuǎn)和馬賽克處理的樣本圖像。
已驗(yàn)證YOLOv7能夠正常且準(zhǔn)確識(shí)別和框定液位,通過(guò)改進(jìn)YOLOv7結(jié)構(gòu)(圖7),使得該算法更加適用于瓶裝飲料液位識(shí)別與框定,在實(shí)際生產(chǎn)檢測(cè)中與檢測(cè)程序更加契合。
YOLOv7基于空間金字塔池化結(jié)構(gòu)(Spatial Pyramid Pooling,SPP),通過(guò)跨階段局部網(wǎng)絡(luò)CSPNet結(jié)構(gòu)設(shè)計(jì)的一種SPPCSPC的空間金字塔池化結(jié)構(gòu)
YOLOv7采用CIo U損失函數(shù),其縱橫比權(quán)重不明確,其公式中參數(shù)反映的是長(zhǎng)寬比差異,而不是寬高分別與其置信度的真實(shí)差異,在訓(xùn)練后得到模型檢測(cè)液位時(shí)會(huì)因?yàn)槠恐袃A斜液位而出現(xiàn)檢測(cè)框偏移較大,因而改進(jìn)為SIo U公式。
角度計(jì)算如圖9所示,其他計(jì)算如下。
式中LossSIoU-總體損失函數(shù)
Io U-預(yù)測(cè)框與真實(shí)框交集和并集比值
Δ-距離損失
Ω-形狀損失
Λ-角度損失
A-面積
B-真實(shí)框
BGT-預(yù)測(cè)框
(bcxgt,bcygt)-真實(shí)框中心坐標(biāo)
(bcx,bcy)-預(yù)測(cè)框中心坐標(biāo)
cw、ch-真實(shí)框與預(yù)測(cè)框最小外接矩形的寬和高
c hc-真實(shí)框和預(yù)測(cè)框中心點(diǎn)的高度差
σc-真實(shí)框和預(yù)測(cè)框中心點(diǎn)的距離
w、h-預(yù)測(cè)框的寬和高
wgt、hgt-真實(shí)框的寬和高
θ-形狀損失關(guān)注程度,值為4
SIo U損失函數(shù)考慮了期望回歸之間的向量夾角,即角度損失Λ,還包括距離損失Δ、形狀損失Ω、Io U損失。方向框的角度會(huì)影響回歸,引入了角度損失Λ使得預(yù)測(cè)框快速地移動(dòng)到最近地最近角度的軸,隨后模型將嘗試首先在X或Y軸做預(yù)測(cè)(以最接近者為準(zhǔn)),然后沿著相關(guān)軸繼續(xù)接近。采用SIo U作為損失函數(shù)相等的訓(xùn)練輪次下精度更高,添加角度懲罰進(jìn)一步限制距離損失,有效地減少了損失的總自由度。
使用處理后的圖像作為訓(xùn)練數(shù)據(jù)集,采用YOLOv7模塊,400次迭代,每8個(gè)樣本作為一個(gè)批處理單元(Batch size)。以多類別平均精度m AP、準(zhǔn)確率(預(yù)測(cè)為正樣本實(shí)際為正的概率)Precision、損失值Loss及召回率Recall(實(shí)際為正的樣本中被預(yù)測(cè)為正樣本的概率),作為模型評(píng)價(jià)指標(biāo);以平均精度m AP和檢測(cè)時(shí)間t作為已訓(xùn)練好的模型的主要評(píng)價(jià)指標(biāo)。訓(xùn)練配置如表1所示。
標(biāo)注數(shù)據(jù)集,標(biāo)注圖像共2 477幅,單瓶樣本中,無(wú)色透明瓶755幅、有色透明瓶463幅、不透明白色瓶150幅、表面粗糙瓶240幅;多瓶排列樣本269幅。修改HSV權(quán)值樣本100幅、旋轉(zhuǎn)樣本100幅、加馬賽克100幅、加噪點(diǎn)150幅及虛化樣本150幅。按照4∶1∶1的比例分配為訓(xùn)練集、驗(yàn)證集和測(cè)試集。
改進(jìn)后的損失函數(shù)曲線如圖10所示。模型損失函數(shù)曲線在前50輪損失值下降較快后開始收斂,300輪之后損失值變化較小,并且損失值較小,可以確定損失函數(shù)有效。
為驗(yàn)證改進(jìn)后的YOLOv7飲料生產(chǎn)線關(guān)鍵目標(biāo)檢測(cè)模型的識(shí)別性能,對(duì)模型的測(cè)試集做分類驗(yàn)證。
(1)將分配好的含所有類別圖像的測(cè)試集圖像做混合測(cè)試,驗(yàn)證模型性能。
(2)測(cè)試集分類驗(yàn)證,將分類好的測(cè)試集圖像樣本、改變HSV權(quán)值的樣本、馬賽克模糊和加噪聲3類識(shí)別驗(yàn)證,并對(duì)以上識(shí)別結(jié)果框定區(qū)域進(jìn)行人工評(píng)估。
將同樣的訓(xùn)練集分別在原YOLOv7和改進(jìn)后的YOLOv7模型上訓(xùn)練。使用二者訓(xùn)練后的模型與本研究改進(jìn)后的YOLOv7訓(xùn)練好的最好權(quán)值模型在測(cè)試集上驗(yàn)證。選取測(cè)試項(xiàng)為飲料瓶、液位識(shí)別精度、總體識(shí)別精度和平均精度,結(jié)果如表2所示,改進(jìn)后的模型飲料液位識(shí)別精度為96.3%,比未改進(jìn)模型94.5%高1.8個(gè)百分點(diǎn),模型占用71.3 MB存儲(chǔ)空間。平均識(shí)別時(shí)間10.7 ms,非極大值抑制時(shí)間1.4 ms,平均識(shí)別框定時(shí)間12.1 ms。
進(jìn)一步測(cè)試模型在暗光、色彩失真條件下模型的可靠性和檢測(cè)的準(zhǔn)確性,選取暗光和修改色相、飽和度、亮度和全圖馬賽克(馬賽克核為15×15)的圖片各30張,包含多瓶排列樣本和空瓶,分別使用原算法和改進(jìn)的YOLOv7訓(xùn)練后得到的最好的模型中測(cè)試得到結(jié)果如表3和圖11所示。
由表3和圖11可知,在暗光、馬賽克、修改飽和度和改變色調(diào)的條件下模型沒(méi)有出現(xiàn)漏檢且液位定位準(zhǔn)確。
在實(shí)際生產(chǎn)過(guò)程,因?yàn)橄鄼C(jī)過(guò)熱、線路不穩(wěn)定等因素會(huì)出現(xiàn)部分采集樣本出現(xiàn)噪點(diǎn),因而為驗(yàn)證模型穩(wěn)定性,分別選取30張加了高斯、椒鹽和乘法噪點(diǎn)的樣本圖像實(shí)測(cè)模型的抗噪點(diǎn)能力,包含多瓶排列樣本和空瓶,檢測(cè)結(jié)果如表4和圖12所示。通過(guò)實(shí)測(cè),模型對(duì)于出現(xiàn)噪點(diǎn)的樣本同樣能準(zhǔn)確識(shí)別,并且液位框定位置準(zhǔn)確;增加噪點(diǎn)的樣本仍能準(zhǔn)確識(shí)別并定位液位位置,對(duì)含氣泡液位也能正確識(shí)別。
圖1 2 加噪點(diǎn)飲料液位樣本檢測(cè)結(jié)果
Fig.12 Test results of add noise bottled beverage liquid level samples
(1)提出的基于YOLOv7網(wǎng)絡(luò)模型單幅圖像關(guān)鍵目標(biāo)識(shí)別時(shí)間10.7 ms及非極大值抑制(NMS)處理時(shí)間1.4 ms,識(shí)別并定位平均耗時(shí)12.1 ms,模型占71.3 MB存儲(chǔ)空間。證明該模型對(duì)飲料關(guān)鍵檢測(cè)目標(biāo)識(shí)別與定位的可行性,替換傳統(tǒng)傳感器作為瓶裝飲料液位高度檢測(cè)的圖像識(shí)別程序的觸發(fā)器,可實(shí)現(xiàn)實(shí)時(shí)的檢測(cè)觸發(fā)。
(2)識(shí)別模型可實(shí)時(shí)輸出識(shí)別框的像素位置數(shù)據(jù),圖像處理程序根據(jù)框位置可直接從圖像中截取識(shí)別目標(biāo)進(jìn)行基于圖像處理的實(shí)時(shí)識(shí)別。
(3)對(duì)多種處理后圖像的試驗(yàn)驗(yàn)證表明,該模型具有抗干擾檢測(cè)能力,并且在暗光、顏色失真、加噪點(diǎn)和混合多類飲料且多噪點(diǎn)情況下也能識(shí)別目標(biāo),能夠?qū)Χ喾N飲料瓶液位識(shí)別。