高效的工業(yè)生產(chǎn)需要機(jī)器視覺(jué)給出快速又精準(zhǔn)的決策

 

在生產(chǎn)線上用于測(cè)量的相機(jī)要能快速判斷液位、尺寸，用來(lái)定位的相機(jī)系統(tǒng)要能快速準(zhǔn)確的給出正確的物品位置，及時(shí)通知機(jī)械手臂在哪里尋找抓取物品，用作計(jì)件檢驗(yàn)的相機(jī)系統(tǒng)要能夠快速計(jì)算出數(shù)量，是否溢出，用作解碼識(shí)別的相機(jī)系統(tǒng)要能夠快速準(zhǔn)確識(shí)別二維碼，字符信息等。相機(jī)系統(tǒng)做出快速精準(zhǔn)決策的關(guān)鍵就是圖像能夠清晰準(zhǔn)確的提供這些信息，不同的檢測(cè)應(yīng)用對(duì)圖像的分辨率、清晰度、噪聲、以及相機(jī)的幀率、系統(tǒng)成本等都有不同的要求。

 

隨著工業(yè)自動(dòng)化的發(fā)展，檢測(cè)種類(lèi)的多樣性，驅(qū)使圖像傳感器不斷的更新?lián)Q代，工藝一直在突破提升。這個(gè)發(fā)展從安森美半導(dǎo)體的幾代CMOS產(chǎn)品系列中可見(jiàn)一斑：在2005年推出的LUPA系列開(kāi)始有了高速輸出接口，接下來(lái)2010年推出的VITA系列在全局快門(mén)性能上有了很大了提升，支持卷簾快門(mén)和全局快門(mén)兩種模式，在2014年推出的PYTHON系列增加了像素內(nèi)圖像矯正，有效的優(yōu)化了全局快門(mén)傳感器的噪聲性能，2019年剛推出的XGS系列使用了減少節(jié)點(diǎn)的像素工藝對(duì)噪聲和圖像一致性更是有了飛躍般的提升，今后安森美半導(dǎo)體將會(huì)在工業(yè)級(jí)圖像傳感器使用背照式和堆棧式工藝來(lái)推動(dòng)圖像傳感器的進(jìn)一步發(fā)展。

 

隨著工藝的提升，圖像傳感器的像元越來(lái)越小，但它卻可以達(dá)到大尺寸像元的圖像效果，這就使傳感器的分辨率可以越做越大，帶寬也越來(lái)越高，也推動(dòng)了整體相機(jī)系統(tǒng)的提升和發(fā)展，來(lái)滿足工業(yè)生產(chǎn)快速精確的推斷和決策。

 

人工智能是新工具

 

快速精確的決策需求推動(dòng)整個(gè)生態(tài)系統(tǒng)來(lái)實(shí)現(xiàn)高級(jí)數(shù)據(jù)收集和推斷，提供了真正進(jìn)入工業(yè)4.0的機(jī)會(huì)，人工智能(AI)正是需要的新工具，用來(lái)管理工業(yè)系統(tǒng)成像不斷增長(zhǎng)的數(shù)據(jù)集。AI可以通過(guò)自適應(yīng)制造、自動(dòng)質(zhì)量控制、預(yù)測(cè)性維護(hù)等方案有效地應(yīng)對(duì)當(dāng)今制造業(yè)面臨的挑戰(zhàn)，如工廠中的PCB板檢測(cè)、鈑金缺陷檢測(cè)、食品衛(wèi)生檢測(cè)、零部件均勻度檢測(cè)、平板檢測(cè)的應(yīng)用中，工廠操作員的疲勞會(huì)影響對(duì)產(chǎn)品質(zhì)量的一致性評(píng)估，但是機(jī)器視覺(jué)相機(jī)和深度學(xué)習(xí)解決了這個(gè)問(wèn)題。如今，AI已用于60％以上的計(jì)算機(jī)視覺(jué)應(yīng)用中，而AI在制造應(yīng)用中的增長(zhǎng)已超過(guò)50％年復(fù)合增長(zhǎng)率。

 

工業(yè)中AI應(yīng)用的發(fā)展給圖像傳感器帶來(lái)了更高的挑戰(zhàn)，包括推動(dòng)了全局快門(mén)性能、高速拍攝、高分辨率、使用不可見(jiàn)光譜區(qū)域和三維體積深度提供的信息進(jìn)行關(guān)鍵推斷，以及神經(jīng)網(wǎng)絡(luò)處理的發(fā)展。

 

全局快門(mén)：實(shí)現(xiàn)高速視覺(jué)成像的關(guān)鍵

 

傳統(tǒng)的卷簾快門(mén)圖像傳感器可為靜態(tài)或慢速移動(dòng)的物體成像提供出色的靈敏度。但全局快門(mén)在檢測(cè)快速移動(dòng)物體的工業(yè)應(yīng)用中至關(guān)重要。如高速裝配線的機(jī)器視覺(jué)檢測(cè)之類(lèi)的任務(wù)需要準(zhǔn)確的判斷，全局快門(mén)圖像傳感器通過(guò)完全同時(shí)同步曝光捕獲所有像素，來(lái)消除使用卷簾快門(mén)傳感器逐行曝光帶來(lái)的空間失真變形的效果，正確還原了運(yùn)動(dòng)物體的真實(shí)樣子，接下來(lái)才能進(jìn)行強(qiáng)大的AI分類(lèi)計(jì)算。如安森美半導(dǎo)體的全局快門(mén)圖像傳感器XGS 2000，以220 fps的速度捕獲高質(zhì)量、精確和快速移動(dòng)的200萬(wàn)像素全局快門(mén)圖像場(chǎng)景，可以為物流和工業(yè)掃描儀等不同場(chǎng)景下應(yīng)用提供清晰、低噪聲的圖像。

 

圖1：卷簾快門(mén)vs. 全局快門(mén)

 

高速也是快速移動(dòng)物體檢測(cè)的工業(yè)應(yīng)用另一個(gè)至關(guān)重要點(diǎn)。高速裝配線的機(jī)器視覺(jué)檢查需要快速的幀率和較短的積分時(shí)間，可以使用短曝光和快速讀出消除圖像模糊的效果。工廠的視覺(jué)檢測(cè)基本都是對(duì)應(yīng)高速移動(dòng)的物體，特別是工廠高速運(yùn)轉(zhuǎn)的生產(chǎn)線上，傳送帶的速度特別快，那么在最短的時(shí)間內(nèi)成像讀出數(shù)據(jù)，減少或消除拍攝圖像中的運(yùn)動(dòng)模糊，才能利用AI算法實(shí)現(xiàn)正確的智能判斷和快速?zèng)Q策。

 

市場(chǎng)對(duì)高分辨率的需求不斷增長(zhǎng)

 

越來(lái)越多的應(yīng)用對(duì)分辨率有了很高的需求，例如手機(jī)/電視/電腦顯示器的LCD、OLED屏幕檢測(cè)。在這檢測(cè)應(yīng)用中，使用相機(jī)檢測(cè)顯示器的輸出，以查找顯示亮度的均勻性、顏色準(zhǔn)確性、線條缺陷、顆粒缺陷等。這就要求檢測(cè)相機(jī)提供非常高的圖像質(zhì)量和高度均勻性，以確保相機(jī)中的質(zhì)量問(wèn)題不會(huì)被誤解為顯示器中的產(chǎn)品缺陷。顯示屏實(shí)際上都由紅綠藍(lán)等多個(gè)LED子像素組成，檢測(cè)系統(tǒng)需要能夠解析所有這些子像素，以便正確成像和顯示并確認(rèn)設(shè)備的質(zhì)量，為提高檢測(cè)的精度和可靠性，行業(yè)中通常會(huì)使用圖像傳感器靶面的3x3，或者4x4, 甚至5x5個(gè)像元來(lái)識(shí)別顯示屏設(shè)備的一個(gè)LED子像素，這就需要用到更多的傳感器像元個(gè)數(shù)，并且隨著顯示器分辨率的不斷提高-從傳統(tǒng)高清到4k到8k甚至更高，檢測(cè)相機(jī)所需的分辨率也在不斷提高，才不會(huì)犧牲應(yīng)用所需的高圖像質(zhì)量和均勻性，為AI算法的精度提供更可靠的數(shù)據(jù)支持。

 

又如另一個(gè)常見(jiàn)的工業(yè)成像應(yīng)用是印刷電路板檢測(cè)，以確認(rèn)電路板組件上的集成元器件、電容器、電阻器等已正確安裝并焊接到位。電路板的檢測(cè)速度是受圖像分辨率和幀率的組合影響，圖像中能夠捕獲的電路板尺寸面積越大，一次可以檢測(cè)的電路板就越多，圖像能捕獲的越快，檢測(cè)的效率就越高。雖然當(dāng)前市場(chǎng)上提供的圖像傳感器可以每秒輸出約500或1400個(gè)像素的數(shù)據(jù)，但是安森美半導(dǎo)體的XGS 45000可以以接近1900個(gè)像素/秒的速度捕獲更多的圖像數(shù)據(jù)用于算法判斷，比競(jìng)爭(zhēng)對(duì)手快3倍以上，圖像數(shù)據(jù)寬度可以達(dá)8000個(gè)像素。高分辨率和高帶寬的結(jié)合使這種檢測(cè)應(yīng)用的AI算法可以更快，更有效地執(zhí)行，從而提高了制造過(guò)程的生產(chǎn)率。

 

圖2：XGS 45000的演示效果

 

再如用于監(jiān)控或廣播的影像應(yīng)用，圖像需求結(jié)合了上述性能，該應(yīng)用對(duì)圖像質(zhì)量的要求非常高，市場(chǎng)對(duì)分辨率的需求也不斷增長(zhǎng)，從高清到4K到現(xiàn)在的8k，高分辨率提供了更強(qiáng)大的圖像結(jié)構(gòu)和細(xì)節(jié)可以看到寬視野的能力，還提供了用于AI分類(lèi)的裁剪開(kāi)窗的選項(xiàng)，來(lái)放大感興趣的內(nèi)容。安森美半導(dǎo)體的XGS 45000圖像傳感器實(shí)際上具有比8k視頻所需的分辨率更高，不僅可以使用少量裁切來(lái)提供8k視頻，還由于XGS 45000具有很高的帶寬，它可以60幀每秒的速度提供8k視頻以及完整的12位輸出，滿足了該應(yīng)用所需的高分辨率、高帶寬和高圖像質(zhì)量。

 

值得一提的是，安森美半導(dǎo)體也提供完整的參考設(shè)計(jì)X-Cube，基于X-class圖像傳感器系列， 在1.1英寸光學(xué)格式提供1600萬(wàn)像素分辨率，提供用于機(jī)器視覺(jué)和ITS的 29 mm x 29 mm工業(yè)相機(jī)占位所需的成像細(xì)節(jié)和性能，且一個(gè)攝像機(jī)可支持多種分辨率，幫助設(shè)計(jì)人員加快開(kāi)發(fā)。

 

圖3：高分辨率X-Cube 系統(tǒng)用于29 mm x 29 mm 相機(jī)設(shè)計(jì)

 

從僅捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區(qū)域信息

 

除了圖像傳感器的性能提升，另外更為豐富的成像信息的集成也可以增強(qiáng)人工智能的性能，逐漸成為工業(yè)客戶做出明智決策的關(guān)鍵。

 

通過(guò)對(duì)多種模式和AI處理的投資，也使得安森美半導(dǎo)體具備獨(dú)特的優(yōu)勢(shì)，從僅提供三種紅綠藍(lán)(RGB)組成的成像系統(tǒng)發(fā)展到添加詳細(xì)的光譜特征，這樣可以在檢測(cè)中看到RGB無(wú)法識(shí)別的地方。使用12比特位的圖像數(shù)據(jù)，可以提高識(shí)別圖像的精度，從僅提供x、y二維定位信息到使用結(jié)合了深度像元技術(shù)或毫米波雷達(dá)、激光雷達(dá)技術(shù)和圖像融合后帶來(lái)深度信息，可更深入地了解檢測(cè)對(duì)象的全部體積大小高度等的信息，也就是深度學(xué)習(xí)。

 

所以現(xiàn)在圖像傳感器的開(kāi)發(fā)正在從僅捕獲RGB信息轉(zhuǎn)移到新的形式，增強(qiáng)的數(shù)據(jù)集提供的信息將不僅僅是顏色和二維位置。圖像傳感器的廠家都在開(kāi)發(fā)新技術(shù)以獲取更可靠的深度信息或者多光譜區(qū)域信息。比如開(kāi)發(fā)通過(guò)融合內(nèi)部不同數(shù)據(jù)流的Super Depth像元技術(shù)，開(kāi)發(fā)通過(guò)有規(guī)律的結(jié)構(gòu)，調(diào)制入射光振幅或相位的衍射光柵技術(shù)，開(kāi)發(fā)基于單光子雪崩二極管(SPAD)和硅光電倍增管(SiPM)的傳感器等方式來(lái)實(shí)現(xiàn)為圖像提供更多的深度信息。

 

或者開(kāi)發(fā)基于等離子體波導(dǎo)濾波片，或以法布里-珀羅（F-P)結(jié)構(gòu)原理為基礎(chǔ)的多通道分光濾光片制造技術(shù)實(shí)現(xiàn)在更多的光譜區(qū)域成像的超多光譜技術(shù)。

 

神經(jīng)網(wǎng)絡(luò)處理

 

隨著人工智能的發(fā)展，分類(lèi)系統(tǒng)設(shè)計(jì)需要功能強(qiáng)大的圖像處理單元(GPU)或張量處理單元(TPU)神經(jīng)網(wǎng)絡(luò)處理器，因?yàn)橛?xùn)練和推理都需要大量計(jì)算，人工智能界正在面臨前所未有的算力挑戰(zhàn)，網(wǎng)絡(luò)拓?fù)湫枰獢?shù)億個(gè)乘法和加法邏輯計(jì)算（MAC），需要數(shù)百萬(wàn)個(gè)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，就比如能實(shí)現(xiàn)分類(lèi)/目標(biāo)檢測(cè)/語(yǔ)義分割等多目標(biāo)任務(wù)的MobileNetV2結(jié)構(gòu)就具有3億個(gè)MAC計(jì)算和420萬(wàn)個(gè)參數(shù)，但這相對(duì)于ResNet微結(jié)構(gòu)，已經(jīng)是減少了9倍的計(jì)算量。

 

訓(xùn)練過(guò)程由于涉及海量的大數(shù)據(jù)和復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，需要的計(jì)算規(guī)模非常龐大，通常需要GPU或云去完成，推斷部署環(huán)節(jié)的計(jì)算量相比訓(xùn)練環(huán)節(jié)會(huì)少一些，但仍然涉及大量的矩陣運(yùn)算，通常在邊緣的高功率GPU / TPU上執(zhí)行以實(shí)現(xiàn)低延遲。面對(duì)深度學(xué)習(xí)的訓(xùn)練和推斷的算力需求，市場(chǎng)上大部分使用的是NVIDIA的GPU或google的TPU來(lái)實(shí)現(xiàn)。

 

AI的發(fā)展

 

要真正實(shí)現(xiàn)快速?zèng)Q策，AI也需要發(fā)展。 如今，用于成像的AI決策已從云過(guò)渡到邊緣再遷移到與成像系統(tǒng)本身。 比如把AI的訓(xùn)練環(huán)節(jié)保留在GPU或云端，利用堆棧工藝可以將決策或甚至與之相關(guān)的一些預(yù)處理集成到圖像傳感器上，比如在傳感器上集成用于圖像識(shí)別的底層或者輕算力的卷積神經(jīng)網(wǎng)絡(luò)層，集成具有內(nèi)存的數(shù)字矩陣乘法計(jì)算單元體系結(jié)構(gòu)。這些AI功能集成在圖像傳感器中都將會(huì)實(shí)現(xiàn)，也已經(jīng)有公司發(fā)布了內(nèi)置人工智能引擎的圖像傳感器芯片。

 

如安森美半導(dǎo)體的融合了AI的水果新鮮度分類(lèi)系統(tǒng)的演示，整個(gè)ECOsystem是基于安森美半導(dǎo)體的AR1335的相機(jī)和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2結(jié)構(gòu)來(lái)處理分類(lèi)新鮮和腐爛的蘋(píng)果、橘子、香蕉等6類(lèi)多達(dá)上萬(wàn)個(gè)CNN訓(xùn)練參數(shù)，可以識(shí)別三種水果及其新鮮度，這個(gè)系統(tǒng)的準(zhǔn)確率達(dá)到97%以上。

 

圖4：AI用于機(jī)器視覺(jué)，識(shí)別水果新鮮度

 

總結(jié)

 

圖像傳感器的開(kāi)發(fā)正在從僅提供RGB和二維坐標(biāo)信息轉(zhuǎn)移到新的更豐富的形式。 圖像傳感器可提供更多類(lèi)型的數(shù)據(jù)，無(wú)論是深度數(shù)據(jù)還是增加的光譜信息，以及AI合并這些數(shù)據(jù)集并實(shí)現(xiàn)高級(jí)決策，從而使系統(tǒng)能夠通過(guò)新的測(cè)量和決策機(jī)會(huì)提供更快、更準(zhǔn)確的結(jié)果。安森美半導(dǎo)體是工業(yè)機(jī)器視覺(jué)的領(lǐng)袖之一，以全方位的智能感知產(chǎn)品陣容和領(lǐng)先的技術(shù)，應(yīng)對(duì)工業(yè)AI應(yīng)用挑戰(zhàn)并推進(jìn)智能制造的創(chuàng)新。

 

 

推薦閱讀：