中國科學院自動化所與北京大學合作開源深度脈沖神經(jīng)網(wǎng)絡學習框架
中國網(wǎng)/中國發(fā)展門戶網(wǎng)訊 脈沖神經(jīng)網(wǎng)絡(Spiking Neural Network, SNN)被譽為第三代神經(jīng)網(wǎng)絡,隨著深度學習方法的引入,SNN的性能得到大幅度提升,脈沖深度學習(Spiking Deep Learning)成為新興的研究熱點。中國科學院自動化研究所李國齊研究員與北京大學計算機學院田永鴻教授團隊合作構(gòu)建并開源了深度脈沖神經(jīng)網(wǎng)絡學習框架SpikingJelly(中文名:驚蜇)。SpikingJelly(驚蜇)提供了全棧式的脈沖深度學習解決方案,支持神經(jīng)形態(tài)數(shù)據(jù)處理、深度SNN的構(gòu)建、替代梯度訓練、ANN轉(zhuǎn)換SNN、權(quán)重量化和神經(jīng)形態(tài)芯片部署等功能。
據(jù)介紹,SpikingJelly(驚蜇)框架具有簡單易用、擴展性強、性能卓越等優(yōu)勢。提供了簡單易用的PyTorch風格的API、中英文雙語編寫的教程、活躍友善的討論社區(qū),常用的網(wǎng)絡模型和訓練腳本也一并給出,研究者可以快速進行跨領域的學習和使用,通過寥寥數(shù)行代碼輕松構(gòu)建并訓練深度SNN。SpikingJelly(驚蜇)中的絕大多數(shù)模塊都是通過層次清晰的多重繼承實現(xiàn),既為開發(fā)者降低了開發(fā)成本,也給用戶提供了完美的定義新模型的范例。SpikingJelly(驚蜇)充分利用SNN的特性,通過計算圖遍歷順序優(yōu)化、JIT (just-in-time compilation, 即時編譯)、半自動CUDA代碼生成等技術(shù)來加速SNN仿真,與其他框架相比可達11倍的訓練加速。
據(jù)悉,SpikingJelly(驚蜇)框架自2019年冬季一經(jīng)推出就受到了研究者們的歡迎和廣泛使用,基于SpikingJelly(驚蜇)的研究工作已經(jīng)大量出版,將SNN的應用從簡單的MNIST數(shù)據(jù)集分類擴展到人類水平的ImageNet圖像分類、網(wǎng)絡部署、事件相機數(shù)據(jù)處理等實際應用。此外,一些尖端前沿領域的探索也被報道,包括可校準的神經(jīng)形態(tài)感知系統(tǒng)、神經(jīng)形態(tài)憶阻器、事件驅(qū)動加速器硬件設計等。
介紹SpikingJelly (驚蜇)框架的論文于2023年10月6日在Science子刊《科學進展》(Science Advances)在線發(fā)表。北京大學計算機學院田永鴻教授、中國科學院自動化研究所李國齊研究員為論文共同通訊作者,北京大學計算機學院直博生方維為論文第一作者。
SpikingJelly(驚蜇)框架的整體結(jié)構(gòu)、示例代碼、仿真速度、生態(tài)位以及典型應用