原文作者：Yang Chai
圖像傳感器陣列近年來(lái)逐步發(fā)展出集成神經(jīng)網(wǎng)絡(luò)的新型態(tài)架構(gòu)，可同時(shí)對(duì)光學(xué)圖像實(shí)現(xiàn)采集與識(shí)別，無(wú)需將信號(hào)轉(zhuǎn)換為數(shù)字形式就能讓高速信息處理成為可能。
視覺(jué)是我們最重要的感覺(jué)之一。雖然人類(lèi)視覺(jué)更為準(zhǔn)確高效，但在生物啟發(fā)的機(jī)器視覺(jué)近十年來(lái)取得了飛速發(fā)展，使得人工系統(tǒng)可以“看見(jiàn)”世界，從圖像和視頻中獲取有價(jià)值的信息[1][2]。近日，Mennel等人[3]在《自然》上報(bào)道了一種與大腦類(lèi)似的視覺(jué)系統(tǒng)，通過(guò)訓(xùn)練后可以在幾納秒內(nèi)實(shí)現(xiàn)簡(jiǎn)單的圖像分類(lèi)。
數(shù)字相機(jī)等現(xiàn)代圖像傳感器主要基于70年代早期發(fā)展起來(lái)的半導(dǎo)體（凝聚態(tài)）技術(shù)，可分為兩大類(lèi)：電荷耦合器件和主動(dòng)像素傳感器[4]。這些傳感器可以從環(huán)境中如實(shí)捕捉視覺(jué)信息，但也會(huì)產(chǎn)生大量冗余數(shù)據(jù)。這些光學(xué)信息通常會(huì)被轉(zhuǎn)換為數(shù)字電子信號(hào)，傳輸?shù)接?jì)算單元進(jìn)行圖像處理。
這會(huì)導(dǎo)致傳感器和計(jì)算單元間傳輸大量數(shù)據(jù)，造成較大功耗和延遲。隨著幀率和像素的增長(zhǎng)，帶寬的限制使得系統(tǒng)無(wú)法迅速將所有數(shù)據(jù)傳輸?shù)街醒胩幚砥骰蛟朴?jì)算中心來(lái)支持實(shí)時(shí)處理和決策——這對(duì)那些對(duì)于延遲十分敏感的應(yīng)用來(lái)說(shuō)尤其重要，比如自動(dòng)駕駛汽車(chē)、機(jī)器人和工業(yè)制造等。
一種更好的解決方案是將一些計(jì)算任務(wù)遷移到計(jì)算機(jī)系統(tǒng)外圍邊界的傳感器設(shè)備上，減少不必要的數(shù)據(jù)傳輸。此外，由于傳感器通常輸出連續(xù)的模擬信號(hào)（不斷改變），模擬處理相較于數(shù)字處理更為合適，因?yàn)槟?shù)轉(zhuǎn)換將消耗更多的時(shí)間和功耗。
為了模擬大腦對(duì)信息的高效處理，生物啟發(fā)的神經(jīng)形態(tài)工程學(xué)采用了一種元素（突觸連接的神經(jīng)元）高度互聯(lián)的計(jì)算架構(gòu)來(lái)實(shí)現(xiàn)并行計(jì)算（圖1a）。這些人工神經(jīng)網(wǎng)絡(luò)可以通過(guò)迭代從周?chē)h(huán)境中進(jìn)行學(xué)習(xí)——例如通過(guò)觀察已知類(lèi)別的目標(biāo)樣本學(xué)會(huì)識(shí)別事物（監(jiān)督學(xué)習(xí)），或者在無(wú)需額外信息的情況下辨識(shí)出輸入數(shù)據(jù)中的目標(biāo)結(jié)構(gòu)（非監(jiān)督學(xué)習(xí)）。在學(xué)習(xí)過(guò)程中，算法在不斷進(jìn)行預(yù)測(cè)的同時(shí)強(qiáng)化或弱化網(wǎng)絡(luò)中的每一個(gè)突觸，直到系統(tǒng)達(dá)到最優(yōu)設(shè)置。
圖1|內(nèi)置計(jì)算的視覺(jué)傳感器可實(shí)現(xiàn)智能高效的前處理。a，在傳統(tǒng)的人工智能（AI）視覺(jué)傳感器中，光學(xué)傳感器收集信號(hào)后將模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)（模數(shù)轉(zhuǎn)換器ADC），信號(hào)放大后被送入外部的人工神經(jīng)網(wǎng)絡(luò)（ANN，一種層間互聯(lián)的計(jì)算單元，圖中圓圈），其連接權(quán)重可根據(jù)模型輸出不斷調(diào)整，使得網(wǎng)絡(luò)可以被訓(xùn)練用于圖像分類(lèi)等任務(wù)。ANN的輸入層接收編碼簡(jiǎn)單物理信息的信號(hào)（圖中點(diǎn)和線）；后續(xù)層則被優(yōu)化為中層特征（圖中簡(jiǎn)單形狀），并在輸出層形成最終的優(yōu)化結(jié)果（圖中3D形狀）。整個(gè)過(guò)程即耗時(shí)又耗能。b，Mennel等人[3]報(bào)告的芯片內(nèi)部互聯(lián)的傳感器（圖中方塊），不僅可以收集信號(hào)還能以ANN的形式識(shí)別簡(jiǎn)單的特征，減少傳感器和外部電路間冗余數(shù)據(jù)的傳輸。
維也納工業(yè)大學(xué)的Mennel等人將人工神經(jīng)網(wǎng)絡(luò)直接內(nèi)嵌到圖像傳感器中，他們?cè)谛酒侠脙H有幾個(gè)原子層的二硒化鎢光敏單元構(gòu)建光電二極管網(wǎng)絡(luò)。這種半導(dǎo)體對(duì)光的響應(yīng)強(qiáng)度可以通過(guò)調(diào)節(jié)電壓來(lái)控制，所以每個(gè)二極管的靈敏度都可以獨(dú)立調(diào)節(jié)。事實(shí)上，這種效應(yīng)將光電傳感器網(wǎng)絡(luò)轉(zhuǎn)換成了神經(jīng)網(wǎng)絡(luò)（圖1b），使其可執(zhí)行簡(jiǎn)單的計(jì)算任務(wù)。改變光電二極管對(duì)光的響應(yīng)相當(dāng)于改變了網(wǎng)絡(luò)的連接強(qiáng)度（突觸權(quán)重），使得傳感器可以同時(shí)實(shí)現(xiàn)光學(xué)信號(hào)傳感和神經(jīng)形態(tài)計(jì)算。
作者將這些二極管構(gòu)建成具有9個(gè)像素的方陣，每個(gè)像素三個(gè)二極管。當(dāng)圖像被投射到芯片上時(shí)，二極管產(chǎn)生不同的電流被一并讀出。硬件陣列將提供模擬形式的計(jì)算：每個(gè)光電二極管產(chǎn)生的電流輸出與入射光強(qiáng)成正比，并基于基爾霍夫定律在行或列方向上求和，基爾霍夫定律描述的是電路中電流的基本規(guī)律。
隨后這一陣列被訓(xùn)練用于特定任務(wù)。陣列當(dāng)前產(chǎn)生的電流信號(hào)與正確響應(yīng)給定任務(wù)的電流信號(hào)間的差值會(huì)在芯片外分析，隨后用于在下一個(gè)訓(xùn)練周期時(shí)調(diào)整突觸權(quán)重。雖然訓(xùn)練階段將消耗大量的時(shí)間和計(jì)算資源，但訓(xùn)練完成后芯片將在目標(biāo)任務(wù)上迅速響應(yīng)。
基于不同的神經(jīng)網(wǎng)絡(luò)算法，作者構(gòu)建了兩種神經(jīng)形態(tài)功能。其一是分類(lèi)：3x3像素陣列可以將輸入圖像分類(lèi)到三個(gè)簡(jiǎn)單的字母中，并在納秒級(jí)時(shí)間內(nèi)識(shí)別出輸入信號(hào)對(duì)應(yīng)的字母。這一簡(jiǎn)單的任務(wù)僅僅是概念驗(yàn)證，增加整列的尺度后可以拓展到更復(fù)雜的任務(wù)中。
第二個(gè)功能則實(shí)現(xiàn)了自動(dòng)編碼器：內(nèi)置計(jì)算的傳感器陣列可以通過(guò)學(xué)習(xí)輸入圖像的主要特征來(lái)生成其簡(jiǎn)化的表達(dá)形式，即使在有噪聲信號(hào)的條件下也無(wú)妨。編碼后的表達(dá)僅僅包含了最本質(zhì)的信息，但可以被解碼重建出接近原始輸入的圖像。
不過(guò)，在實(shí)際應(yīng)用之前還有很多工作要做。用于自動(dòng)駕駛系統(tǒng)和機(jī)器人的神經(jīng)形態(tài)視覺(jué)系統(tǒng)需要在三維場(chǎng)景中利用寬視場(chǎng)捕捉動(dòng)態(tài)的圖像和視頻。目前的圖像捕捉技術(shù)通常將真實(shí)的三維世界轉(zhuǎn)化為2D信息，因此失去了運(yùn)動(dòng)信息和深度。此外，目前圖像傳感器陣列的平面結(jié)構(gòu)也限制了寬場(chǎng)相機(jī)的發(fā)展[5]。
微光條件下成像對(duì)于作者的系統(tǒng)十分困難，重新設(shè)計(jì)以提升光強(qiáng)吸收以及檢測(cè)光強(qiáng)的動(dòng)態(tài)范圍很有必要。此外，報(bào)告中的設(shè)計(jì)需要高電壓并會(huì)消耗大量能量，而生物神經(jīng)網(wǎng)絡(luò)消耗的能量則為亞飛焦量級(jí)（10−15- 10−13焦耳）[6]。將傳感器的響應(yīng)范圍拓展到紫外和紅外波段將具有重要意義，這樣可以捕捉可見(jiàn)波段外的豐富信息[7]。
此外實(shí)驗(yàn)中所使用的薄半導(dǎo)體難以在大范圍內(nèi)均勻生產(chǎn)，也難以加工處理。因此他們可以與硅電子器件集成到一起，應(yīng)用到像讀取和反饋控制等外圍電路中。這種傳感器的速度和能耗不取決于圖像捕捉過(guò)程，而受限于傳感器和外圍電路間的數(shù)據(jù)傳輸。盡管內(nèi)置計(jì)算的傳感器單元在模擬信號(hào)域中進(jìn)行數(shù)據(jù)收集和計(jì)算減少了模數(shù)轉(zhuǎn)換消耗，但外圍電路仍然受到固有延遲的限制。所以傳感器和外圍電路地協(xié)同開(kāi)發(fā)將會(huì)進(jìn)一步減少整個(gè)系統(tǒng)的延時(shí)水平。
Mennel等人研發(fā)的內(nèi)置計(jì)算傳感器系統(tǒng)將會(huì)啟發(fā)更多人工智能硬件的研究。少數(shù)公司已經(jīng)開(kāi)始研發(fā)基于硅電子器件的AI視覺(jué)系統(tǒng)[8]，但芯片固有的數(shù)字架構(gòu)導(dǎo)致了無(wú)法避免的延時(shí)和功耗問(wèn)題。
從更大的范圍上看，作者的策略并不限于視覺(jué)系統(tǒng)。它可以被拓展到類(lèi)似聽(tīng)覺(jué)、觸覺(jué)、熱感和嗅覺(jué)等物理輸入感知系統(tǒng)中[9 -11]。這類(lèi)智能系統(tǒng)的發(fā)展與5G的到來(lái)將使得實(shí)時(shí)邊緣計(jì)算（低延時(shí)）成為可能。
參考文獻(xiàn)：
1.Mead, C.Proc. IEEE78, 1629–1636 (1990).
2.Kyuma, K.et al.Nature372, 197–198 (1994).
3.Mennel, L.et al.Nature579, 62–66 (2020).
4.Bigas, M., Cabruja, E., Forest, J. & Salvi, J.Microelectr. J.37, 433–451 (2006).
5.Choi, C.et al.Nature Commun.8, 1664 (2017).
6.Laughlin, S. B., de Ruyter van Steveninck, R. R. & Anderson, J. C.Nature Neurosci.1, 36–41 (1998).
7.Zhang, K.et al. ACS Nano10, 3852–3858 (2016).
8.Davies, M.et al. IEEE Micro38, 82–99 (2018).
9.Wan, C.et al. Adv. Mater.30, 1801291 (2018).
10.Kim, Y.et al. Science360,998–1003 (2018).
11.Qu, T. Y.et al. Adv. Mater.32, 1907288 (2020).
原文以 In-sensor computing for machine vision為標(biāo)題發(fā)表在2020年3月4日的《自然》新聞與觀點(diǎn)版塊
nature
Nature|doi:10.1038/d41586-020-00592-6
重慶分公司
重慶分公司
