光子芯片集成傳感和計(jì)算功能，實(shí)現(xiàn)超快機(jī)器視覺(jué)

研究人員展示了一種新型智能光子傳感-計(jì)算芯片，它能在納秒級(jí)時(shí)間內(nèi)處理、傳輸和重建場(chǎng)景圖像。這一進(jìn)展為超高速圖像處理打開(kāi)了大門，有利于自動(dòng)駕駛、工業(yè)檢測(cè)和機(jī)器人視覺(jué)等機(jī)器視覺(jué)應(yīng)用的邊緣智能。

邊緣計(jì)算在本地設(shè)備上執(zhí)行圖像處理和分析等密集型計(jì)算任務(wù)，通過(guò)增加人工智能（AI）驅(qū)動(dòng)的分析和決策，正在向邊緣智能發(fā)展。

圖片:photonic-chip-integrat.jpg

來(lái)自中國(guó)清華大學(xué)的研究團(tuán)隊(duì)負(fù)責(zé)人Lu Fang說(shuō)：“由于必須進(jìn)行光電轉(zhuǎn)換，目前基于邊緣任務(wù)（如自動(dòng)駕駛）的圖像捕捉、處理和分析速度僅限于毫秒級(jí)。我們的新芯片可以在納秒級(jí)的時(shí)間內(nèi)完成所有這些過(guò)程，將它們?nèi)�部保留在光域中。這可以大大增強(qiáng)甚至取代傳統(tǒng)的傳感器采集和人工智能后處理架構(gòu)�！�

研究人員在《Optica》雜志上介紹了這種新型芯片，他們稱之為光學(xué)并行計(jì)算陣列（OPCA）芯片。他們表明，OPCA 的處理帶寬高達(dá)一千億像素，響應(yīng)時(shí)間僅為 6 納秒，比目前的方法快約六個(gè)數(shù)量級(jí)。他們還利用該芯片創(chuàng)建了一個(gè)集圖像感知、計(jì)算和重建于一體的光學(xué)神經(jīng)網(wǎng)絡(luò)。

該論文的共同第一作者Wei Wu說(shuō)："該芯片和光學(xué)神經(jīng)網(wǎng)絡(luò)可以提高工業(yè)檢測(cè)中復(fù)雜場(chǎng)景的處理效率，并有助于將智能機(jī)器人技術(shù)提升到更高的認(rèn)知智能水平。我們認(rèn)為它還能徹底改變邊緣智能�！�

圖片:photonic-chip-integrat-1.jpg

新型智能光學(xué)計(jì)算陣列（OPCA）芯片通過(guò)在一個(gè)芯片上集成傳感和計(jì)算功能，執(zhí)行端到端的圖像處理、傳輸和重建。

消除光電轉(zhuǎn)換

機(jī)器視覺(jué)利用攝像頭、圖像傳感器、照明和計(jì)算機(jī)算法來(lái)捕捉、處理和分析圖像，以完成特定任務(wù)。這些信號(hào)隨后通過(guò)光纖傳輸，用于遠(yuǎn)距離數(shù)據(jù)傳輸和下游任務(wù)。

然而，光信號(hào)和電信號(hào)之間的頻繁轉(zhuǎn)換以及電子處理器的有限進(jìn)步，已成為提高機(jī)器視覺(jué)速度和處理能力的主要制約因素。

Lu Fang說(shuō)：“世界正在進(jìn)入人工智能時(shí)代，但人工智能非常耗時(shí)耗力。同時(shí)，智能手機(jī)、智能汽車和筆記本電腦等邊緣設(shè)備的發(fā)展導(dǎo)致需要處理、傳輸和顯示的圖像數(shù)據(jù)呈爆炸式增長(zhǎng)。我們正致力于通過(guò)整合光學(xué)領(lǐng)域的傳感和計(jì)算來(lái)推進(jìn)機(jī)器視覺(jué)的發(fā)展，這對(duì)于邊緣計(jì)算和實(shí)現(xiàn)更可持續(xù)的人工智能應(yīng)用尤為重要�！�

在光學(xué)領(lǐng)域，在同一芯片上同時(shí)執(zhí)行圖像采集和分析的挑戰(zhàn)在于找到一種方法，將用于成像的自由空間空間光轉(zhuǎn)換為片上引導(dǎo)光波。

相關(guān)鏈接：https://opg.optica.org/optica/abstract.cfm?doi=10.1364/OPTICA.516241