清華大學在大規(guī)模光電智能計算方面取得進展
隨著大模型等人工智能技術的突破與發(fā)展,算法復雜度劇增,對傳統(tǒng)計算芯片帶來了算力和功耗的雙重挑戰(zhàn)。近年來,以光計算為基礎、通過光電融合的方式構建光電神經(jīng)網(wǎng)絡的計算處理方法已經(jīng)成為國際熱點研究問題,有望實現(xiàn)計算性能的顛覆性提升。然而,光電神經(jīng)網(wǎng)絡的前向數(shù)學模型由對光場的精準物理建模得到,計算復雜度高、參數(shù)冗余度大;其學習機制沿用人工神經(jīng)網(wǎng)絡常用的梯度下降算法,面向大規(guī)模光電神經(jīng)網(wǎng)絡時優(yōu)化速度慢、資源消耗高、收斂效果差。因此,現(xiàn)有學習架構僅能支撐小規(guī)模光電神經(jīng)網(wǎng)絡的訓練,其網(wǎng)絡容量和特征捕獲能力不足以有效處理ImageNet等大型復雜數(shù)據(jù)集。 近日,清華大學電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計算的“光學-人工雙神經(jīng)元學習架構(DuAl-Neuron opTical-artificial lEarning,DANTE)”。其中光學神經(jīng)元精準建模光場計算過程,人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接助力梯度傳播,全局人工神經(jīng)元與局部光學神經(jīng)元以交替學習的機制進行迭代優(yōu)化,在確保學習有效性的同時,大大降低了訓練的時空復雜度,使得訓練更大更深的光電神經(jīng)網(wǎng)絡成為可能。DANTE突破了大規(guī)模光電神經(jīng)網(wǎng)絡物理建模復雜、參數(shù)優(yōu)化困難等桎梏,網(wǎng)絡規(guī)模提升一至兩個數(shù)量級,訓練學習速度提升兩個數(shù)量級。 |