深度學習技術作為AI的重要引擎，近年來受到關注并得到飛速發(fā)展。圖神經網絡（Graph Neural Network）是較新的深度學習技術，可用于處理更復雜的非結構化數據，廣泛應用于社交網絡、電子購物、藥物預測、人機交互等應用場景。隨著數據量的急速膨脹，亟待提升傳統(tǒng)CMOS數字硬件系統(tǒng)中運行圖神經網絡的效率，同時，圖神經網絡的訓練過程日趨復雜使得訓練能耗居高不下?；谧枳儜涀杵鳎?span style="margin: 0px 0px 12px;padding: 0px;border: 0px;list-style: none;font-size: 14px;line-height: 1.8">RRAM）的存內計算技術雖可顯著緩解傳統(tǒng)數字硬件系統(tǒng)中的馮·諾依曼瓶頸、進一步提升計算效率，但受到高擦寫功耗、延時以及一定的編程阻值隨機性等器件非理想特性的限制。 

　　中國科學院微電子研究所微電子器件與集成技術重點實驗室劉明院士團隊研究員尚大山與香港大學電子工程系博士王中銳合作，開發(fā)了利用儲池計算（Reservoir Computing）技術實現圖結構化數據分類的技術——回聲狀態(tài)圖網絡（ESGNN）。儲池計算是循環(huán)神經網絡的簡化形式，能夠將時序輸入信號通過神經元的非線性激活函數轉換到一個高維空間中，再通過簡單線性回歸方法有效地讀出。儲池計算中循環(huán)連接層的權重始終固定不變，只需訓練輸出層權重，可最大限度降低訓練復雜度和訓練時間。在硬件方面，該團隊利用RRAM的本征隨機性構建大規(guī)模隨機電阻陣列（圖1a-b），將其作為儲池網絡的初始化權重，具有低成本、可擴展優(yōu)勢。在軟件方面，ESGNN巧妙地運用隨機電阻陣列帶來的物理隨機投影，以存內計算的方式完成圖嵌入過程，降低了圖神經網絡的訓練成本。進一步，該團隊采用軟-硬協同優(yōu)化技術，在基于FPGA的板級測試平臺上實現了對MUTAG、COLLAB數據集的圖分類，進行了更大規(guī)模CORA數據集的節(jié)點分類仿真。相比傳統(tǒng)數字硬件系統(tǒng)，能效分別提升了2.16、35.42和40.37倍。該工作展現了RRAM陣列在構建邊緣圖學習系統(tǒng)方面的潛力，并為利用自然界豐富的物理性質、化學性質開發(fā)出更高效的智能硬件系統(tǒng)提供了參考。 

　　近期，相關研究成果發(fā)表在《自然·機器智能》（Nature Machine Intelligence）上，并入選當期封面文章。研究工作得到科技部、國家自然科學基金、中科院和香港大學的支持。復旦大學、浙江大學、意大利比薩大學和香港科技大學等的科研人員參與研究。 

　　論文鏈接 

圖1.基于隨機電阻陣列的回聲狀態(tài)圖神經網絡學習過程的軟-硬協同設計

圖2.采用ESGNN實現MUTAG數據集的分子圖分類

入選封面文章