這種經(jīng)典的機(jī)器視覺(jué)架構(gòu)具有如下幾個(gè)方面的缺點(diǎn):
第一,高像素
傳感器拍攝帶來(lái)大量信息使其難以實(shí)現(xiàn)極高速的圖像或視頻數(shù)字化存儲(chǔ)和分析,尤其在使用移動(dòng)設(shè)備和電池供電的設(shè)備時(shí)更是帶來(lái)了能耗和性能的平衡問(wèn)題;
第二,所捕獲的圖像通常包含許多對(duì)機(jī)器學(xué)習(xí)任務(wù)無(wú)用的冗余信息,帶來(lái)了后端處理器某種程度上的性能負(fù)擔(dān),和資源浪費(fèi),從而導(dǎo)致在功耗和內(nèi)存需求方面效率低下。
第三,在可見(jiàn)光的波長(zhǎng)以外的電磁波段制造高像素?cái)?shù)圖像傳感器(如手機(jī)相機(jī)中的傳感器)具有很大的挑戰(zhàn)性,且其成本十分昂貴,因而也限制了機(jī)器視覺(jué)系統(tǒng)在更長(zhǎng)波段(如太赫茲)上的應(yīng)用。
最近,加州大學(xué)洛杉磯分校(UCLA)的研究人員開(kāi)發(fā)了一種新的單像素機(jī)器視覺(jué)系統(tǒng),通過(guò)引入光學(xué)神經(jīng)網(wǎng)絡(luò)(名詞解釋?)的方式規(guī)避了傳統(tǒng)機(jī)器視覺(jué)系統(tǒng)的諸多缺點(diǎn)。
圖1 來(lái)自加州大學(xué)洛杉磯分校的研究人員發(fā)明了一個(gè)新型單像素機(jī)器視覺(jué)系統(tǒng),該系統(tǒng)可以將物體的空域信息編碼為功率譜,從而實(shí)現(xiàn)對(duì)圖像進(jìn)行分類(lèi)和重建。
該成果以Spectrally encoded single-pixel machine vision using diffractive networks為題發(fā)表在Science Advances。
研究人員借助深度學(xué)習(xí)技術(shù),設(shè)計(jì)了一個(gè)由多個(gè)衍射層組成的衍射光學(xué)神經(jīng)網(wǎng)絡(luò)(Diffractive Optical Neural Networks)(拓展閱讀?),這些衍射層由計(jì)算機(jī)自動(dòng)優(yōu)化設(shè)計(jì),可將經(jīng)過(guò)的輸入光場(chǎng)調(diào)制成一定的目標(biāo)分布,從而能夠執(zhí)行計(jì)算和統(tǒng)計(jì)推斷任務(wù)。
與常規(guī)的基于鏡頭模組的相機(jī)不同,該衍射光學(xué)神經(jīng)網(wǎng)絡(luò)以被寬帶光照明的物體作為其輸入,將物體的空域特征信息提取并編碼到衍射光的光譜上,而后光譜信號(hào)由具有頻譜探測(cè)能力的單像素超快傳感器所收集。通過(guò)將物體對(duì)應(yīng)的不同的類(lèi)別分配給不同波長(zhǎng)的光頻譜分量,該系統(tǒng)僅使用單像素傳感器探測(cè)到的輸出光譜即可自動(dòng)對(duì)輸入對(duì)象完成分類(lèi),從而無(wú)需圖像傳感器陣列和后端數(shù)字處理。這種框架實(shí)現(xiàn)了全光學(xué)推理和機(jī)器視覺(jué),在幀速率、內(nèi)存需求和功耗效率方面具有明顯優(yōu)勢(shì),這些特點(diǎn)對(duì)于移動(dòng)計(jì)算應(yīng)用而言尤為重要。
圖2. 該系統(tǒng)使用寬帶光對(duì)物體進(jìn)行照明。系統(tǒng)分類(lèi)結(jié)果取決于單像素傳感器測(cè)得的輸出光功率譜上10個(gè)波長(zhǎng)位置上最強(qiáng)的信號(hào),其波長(zhǎng)對(duì)應(yīng)的類(lèi)別即是分類(lèi)預(yù)測(cè)結(jié)果。功率譜信號(hào)還可以輸入到數(shù)字神經(jīng)網(wǎng)絡(luò)中被用于重建物體本身的圖像。
為驗(yàn)證這一概念,研究人員通過(guò)使用單像素傳感器和3D打印的衍射層對(duì)使用手寫(xiě)數(shù)字圖像數(shù)據(jù)集(MNIST)的所構(gòu)建的物體進(jìn)行分類(lèi),在實(shí)驗(yàn)中證明了該框架在太赫茲波段下的性能。研究者基于提前選定的10個(gè)波長(zhǎng)對(duì)實(shí)驗(yàn)系統(tǒng)進(jìn)行了設(shè)計(jì),這10個(gè)波長(zhǎng)被逐一分配給輸入物的不同類(lèi)別(對(duì)應(yīng)手寫(xiě)數(shù)字的0到9),對(duì)物的分類(lèi)結(jié)果取決于傳感器輸出功率譜上10個(gè)波長(zhǎng)位置上信號(hào)最強(qiáng)者的波長(zhǎng)對(duì)應(yīng)的類(lèi)別。
實(shí)驗(yàn)系統(tǒng)中的單像素探測(cè)方案基于太赫茲時(shí)域光譜術(shù)實(shí)現(xiàn),照明光為極短的太赫茲脈沖,網(wǎng)絡(luò)的推理以光速在瞬時(shí)間完成。
最終,該系統(tǒng)在手寫(xiě)數(shù)字分類(lèi)任務(wù)中實(shí)現(xiàn)了超過(guò)96%的分類(lèi)精度,實(shí)驗(yàn)結(jié)果也與數(shù)值模擬非常吻合,證明了該單像素機(jī)器視覺(jué)框架在構(gòu)建低延遲、高效的機(jī)器學(xué)習(xí)系統(tǒng)方面的可行性。除物體分類(lèi)外,研究人員還將此衍射神經(jīng)網(wǎng)絡(luò)的輸出與一個(gè)簡(jiǎn)單的全連接數(shù)字神經(jīng)網(wǎng)絡(luò)相連接,僅通過(guò)功率譜上10個(gè)波長(zhǎng)處的信號(hào)強(qiáng)度來(lái)快速重建此輸入物的圖像,從而實(shí)現(xiàn)了圖像的重建或“解壓縮”。
總而言之,這種單像素對(duì)象分類(lèi)和圖像重建框架可以為新的機(jī)器視覺(jué)系統(tǒng)的開(kāi)發(fā)鋪平道路。該系統(tǒng)具有低像素?cái)?shù)、低延遲、低功耗和低成本的特點(diǎn),以高效、節(jié)省資源的獨(dú)特優(yōu)勢(shì)通過(guò)將物體信息進(jìn)行頻譜編碼來(lái)實(shí)現(xiàn)特定的推理任務(wù),有望廣泛應(yīng)用于移動(dòng)計(jì)算、邊緣計(jì)算等領(lǐng)域。
此外,該新框架還可以擴(kuò)展到各種光譜域測(cè)量系統(tǒng),例如光學(xué)相干斷層掃描、紅外波段成像等,有助于構(gòu)建基于衍射神經(jīng)網(wǎng)絡(luò)的光譜和空間信息編碼集成的新型3D傳感和成像方式。