人工智能頂級會議最佳論文里的“DaDianNao”是什么鬼?


最近對人工智能領域的 AI 加速芯片感興趣,在翻閱 Google 的第一代 TPU 論文時,在相關工作中看到了 DaDianNao,PuDianNao,ShiDianNao。看的我一臉懵逼,這是什么?漢語拼音嗎?后來經過搜索,發現這是中科院計算所的一系列研究成果,后來直接催生了國內芯片獨角獸 -- 寒武紀的誕生。

故事得從20年前說起,當時江西南昌有倆親兄弟,哥哥叫陳雲霽,弟弟陳天石。他們分別於97、01 年先后考入中國科學大學少年班學習,后來攻讀研究生時,哥哥在計算所跟胡偉武(龍芯之父)做芯片方面研究,弟弟在中科大跟着陳國良、姚新做人工智能算法方面研究。08年的時候,他倆想合起來做一些人工智能芯片方面的事情。

2012年到2014年,倆兄弟和 當時任職於法國巴黎綜合理工學院(Inria Saclay)的 Olivier Temam 教授一起合作,做人工智能加速器的研究。最開始叫做 electric brain,是一個電子的大腦,但是外籍教授 Olivier 說起個中國的名字,這樣別人會覺得外國的東西,很有意思,很先進。於是就有了 DianNao 這個漢語拼音的名字了。中科院有專門頁面介紹“DianNao”項目,項目的核心是提出了一系列定制的AI加速器的設計方案。

當時他們研究領域想要解決的三大矛盾是:

  1. 有限規模的硬件 vs 任意規模的算法:硬件出廠后就固定了,但是算法是研究員自己定義的,會是任意的
  2. 結構固定的硬件 vs 千變萬化的算法:算法有圖像、語音、自然語言處理等領域,而硬件構造在生產之后就固定了
  3. 能耗受限的硬件 vs 精度優先的算法:硬件功耗受制於場景是受限的,但是算法研究員希望精度越高越好

陳氏兄弟的解決之道:

  1. 虛擬化:沒有讓硬件運算單元和算法神經元一一對應起來,而是采用了對小尺度神經網絡分時復用的方法來支持任意規模的神經網絡
  2. 智能指令集:自動化抽取各種深度學習算法共性基本算子,設計首個深度學習指令集來高效處理算法。
  3. 利用神經網絡對於計算誤差的容忍能力,進行稀疏化神經網絡處理,這樣降低了功耗,提高了精度。

他們設計出了第一個加速器 DianNao--電腦。第二個加速器叫DaDiannao -- 大電腦。這個是 DianNao 的多核版本,通過多片設計,可以將較大的模型放在加速器(芯片)的內存上運行,提高效率。第三個加速器ShiDianNao -- 視電腦:將 AI 加速器與傳感器直連,從而減少內存通訊的開銷,是屬於端/邊側攝像頭上的 AI 加速器。電腦和大電腦只能做深度學習處理,還有很多其他的人工智能算法, 怎么去支持?於是就有了 PuDianNao -- 普電腦。它比較普世,能支持很多機器學習算法。PuDianNao 也是 DianNao 項目的最后一個工作。我大膽猜測是因為再接着做下去,圍繞電腦起名很困難。后來16年時他們提出了國際首個神經網絡通用指令集 DianNaoYu -- 電腦語。這些指令集相當於深度學習算法界的樂高積木,是算法研究員與加速器打交道的唯一接口。

他們當時的 DianNao 論文獲得了這個領域最重要的國際會議 -- ASPLOS 的最佳論文獎。這也是亞洲地區,第一次在計算機體系結構的這種頂尖的國際會議上拿獎。他們研究最大的創新點在於前人做的不是一個完備的處理器,只能說是一個神經網絡功能部件,只適用於特定大小的神經網絡。而他們的工作是一個真正意義上完備的處理器,能夠支持任意規模的神經網絡。打個比方,只能處理兩個數相加,而不能處理10000甚至任意個數相加的硬件,只能叫加法器,而不能叫處理器。

后來弟弟陳天石從中科院出來創辦了寒武紀,哥哥也一起合伙。但半年之后,哥哥因為覺得還是喜歡搞科研,所以又回到了中科院。

對上述內容感興趣的朋友可以去看看 B 站上 陳雲霽的智能之芯視頻。大佬演講風趣幽默,着裝朴實,讓人印象深刻。有兩篇陳天石的采訪放到了文末,從文章來看很清楚自己的能力邊界,他強調了多次,做好本職工作,好好搬磚,感覺就是對有志青年的淳淳教導。

彩蛋

2015 年,陳天石有一次“問我任何事”的活動,我翻看了里面的問題,有好幾個問題非常有意思。比如有人會問中科大的神通、天才和普通人的區別,還有家長因為孩子無法成為神通而苦惱。對這些問題,他沒有一貫我們看到的好為人師的印象,回答很有借鑒意義,能給現在焦慮的家長們一些啟發,點擊閱讀原文可以查看。

參考資料

  1. 甲小姐對話陳天石:AI芯片市場廣闊,寒武紀朋友遍天下 | 甲子光年
  2. 甲小姐對話陳天石:通往偉大芯片公司的賽程很長
  3. 智能之芯

歡迎關注我的微信公眾賬號,會在第一時間更新,博客園上只有部分文章會發布

code


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM