近日，清華大學(xué)精密儀器系類腦計算研究團(tuán)隊論文“面向開放世界感知、具有互補(bǔ)通路的視覺芯片”（A Vision Chip with Complementary Pathways for Open-world Sensing）作為封面文章，登上5月30日的Nature（《自然》）雜志。這是該團(tuán)隊繼異構(gòu)融合類腦計算芯片“天機(jī)芯”后，第二次登上知名科學(xué)雜志《自然》封面，標(biāo)志著我國在類腦計算和類腦感知兩個重要方向上均取得了基礎(chǔ)性突破。

隨著人工智能的飛速發(fā)展，無人駕駛和具身智能等無人系統(tǒng)正在現(xiàn)實社會中不斷推廣應(yīng)用。在這些智能系統(tǒng)中，視覺感知作為獲取信息的核心途徑，發(fā)揮著至關(guān)重要的作用。然而，在復(fù)雜多變且不可預(yù)測的環(huán)境中，實現(xiàn)高效、精確且魯棒（指在異常和危險情況下系統(tǒng)生存的能力）的視覺感知依然是一個艱巨的挑戰(zhàn)。

為了克服這些挑戰(zhàn)，清華大學(xué)精密儀器系類腦計算研究團(tuán)隊聚焦類腦視覺感知芯片技術(shù)，在世界范圍內(nèi)首次提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式，并基于這一新范式，進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”，實現(xiàn)了在多種極端場景下低延遲、高性能的實時感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。

“天眸芯”如何實現(xiàn)這一技術(shù)突破？“類腦計算”這一研究范式能為科技突破帶來什么？新京報記者對話論文通訊作者清華大學(xué)精密儀器系教授施路平、趙蓉，以及共同第一作者精密儀器系博士楊哲宇、王韜毅、林逸晗。

創(chuàng)新性提出“互補(bǔ)雙通路類腦視覺感知范式”

“天眸芯”視覺感知芯片基于何種原理研發(fā)？在技術(shù)上實現(xiàn)了何種突破？

兩位教授介紹，傳統(tǒng)視覺感知芯片由于受到芯片信息傳輸能力和功耗等限制，在性能設(shè)計上只能有所取舍。比如分辨率越高，信息量越大，相應(yīng)來說反應(yīng)就會比較慢。相反，當(dāng)要求芯片反應(yīng)快、敏感度高時，就很難做到高度精細(xì)的分辨率。

而我們的大腦在處理信息的時候，則采用的是“雙通路機(jī)制”。大腦根據(jù)不同神經(jīng)元組成信息通路來進(jìn)行信息處理，譬如其中一路主要負(fù)責(zé)處理顏色、細(xì)節(jié)等高精度的信息，但該通路處理速度相對較慢；另一通路主要負(fù)責(zé)處理突發(fā)事情，能夠做出快速反應(yīng)，但精度不高。雙通路配合互補(bǔ)，能夠在極端場景下完成信息處理并做出應(yīng)對。

“天眸芯”就是借鑒了人類視覺系統(tǒng)的這一基本原理，提出了互補(bǔ)雙通路類腦視覺感知范式。“這個范式要實現(xiàn)也很不容易。”趙蓉解釋道，在感知端，也就是芯片上，團(tuán)隊需要研究如何把開放世界的視覺信息（如光的速度、強(qiáng)度、顏色、方向等等）拆解出來，進(jìn)行基于視覺原語的信息表示。并通過模仿人視覺系統(tǒng)的特征，將這些原語再次進(jìn)行有機(jī)組合，形成兩條優(yōu)勢互補(bǔ)、信息完備的視覺感知通路。

互補(bǔ)雙通路類腦視覺感知芯片“天眸芯”。清華大學(xué)供圖

“天眸芯”的問世對于視覺感知芯片領(lǐng)域的研究具有重要意義。在開放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對各種極端事件，如駕駛中的突發(fā)危險、隧道口的劇烈光線變化和夜間強(qiáng)閃光干擾等。傳統(tǒng)視覺感知芯片由于受到“功耗墻”和“帶寬墻”的限制，在應(yīng)對這些場景時往往面臨失真、失效或高延遲的問題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。

而在“天眸芯”上，人們可以實現(xiàn)在一個芯片上同時達(dá)到高分辨率、高速、高動態(tài)范圍。“天眸芯”在極低的帶寬（降低90%）和功耗的代價下，實現(xiàn)了每秒10000幀的高速、10bit的高精度、130dB的高動態(tài)范圍的視覺信息采集。它不僅突破了傳統(tǒng)視覺感知范式的性能瓶頸，而且能夠高效應(yīng)對各種極端場景，確保系統(tǒng)的穩(wěn)定性和安全性。“這在傳統(tǒng)芯片上是很難實現(xiàn)的，但是我們通過類腦芯片的通路組合解決了這個問題。”趙蓉表示。

自動駕駛感知演示平臺。清華大學(xué)供圖

基于“天眸芯”，團(tuán)隊還自主研發(fā)了高性能軟件和算法，并在開放環(huán)境車載平臺上進(jìn)行了性能驗證。在多種極端場景下，該系統(tǒng)實現(xiàn)了低延遲、高性能的實時感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。為自動駕駛、具身智能等重要應(yīng)用提供強(qiáng)勁的技術(shù)支持。

“天眸芯”的成功研制無疑是智能感知芯片領(lǐng)域的一個重大突破。結(jié)合團(tuán)隊在類腦計算芯片“天機(jī)芯”、類腦軟件工具鏈和類腦機(jī)器人等方面已應(yīng)用落地的技術(shù)積累，“天眸芯”的加入將進(jìn)一步完善類腦智能生態(tài)，有力地推動人工通用智能的發(fā)展。

把腦科學(xué)思維和計算科學(xué)思維有機(jī)結(jié)合

趙蓉介紹，“我們是國內(nèi)最早進(jìn)行全方位類腦計算研究的團(tuán)隊，目標(biāo)就是發(fā)展人工通用智能，已經(jīng)形成了從基礎(chǔ)理論到芯片、軟件、系統(tǒng)研發(fā)的全鏈條能力。‘天眸芯’從底層原理到最后實現(xiàn)，所有技術(shù)都是自主研發(fā)的，是完全創(chuàng)新的。”

2019年8月1日，施路平教授團(tuán)隊在Nature上發(fā)表了封面文章，發(fā)布了全球首款異構(gòu)融合類腦計算芯片“天機(jī)芯”。Nature總編斯基珀博士稱其為“人工智能領(lǐng)域的重要里程碑”。

“最重要的是，我們建立了‘類腦計算思維’。底層思維是最重要的，可以應(yīng)用于更多的地方，幫助我們?nèi)プ霾煌难芯俊！笔┞菲秸f道。

在研究中，團(tuán)隊把腦科學(xué)思維和計算科學(xué)思維進(jìn)行了有機(jī)結(jié)合。“首先是要研究明白，大腦是如何在自然環(huán)境中進(jìn)行視覺識別的。類腦計算的研究也擴(kuò)展了腦科學(xué)研究的疆域，能夠運用腦科學(xué)領(lǐng)域的研究成果助力其他學(xué)科的發(fā)展。”施路平同時也強(qiáng)調(diào)，“這是一項‘從0到1’的研究，過程非常困難。”

趙蓉回憶，由于沒有過往研究可以參考，研究過程非常艱難。“這時候，我們知道我們的目標(biāo)和大方向是正確的，相信一定可以做出來。”