第372章 再顛覆
覃紅芳邀請耿直和顧婉檸兩人來家裡,一個是兩人確實好久冇來吃飯了。
另一個原因是,覃紅芳想多聽耿直給她講講[靈靈],講講他前幾天在微軟技術大會上分享的[三次躍遷]理論,講講他預言的AGI時代。
原本,覃紅芳退休後的生活還不錯,日子清閒下來,自己養養花、打打乒乓球、織一織毛衣,小日子過得還挺滋潤。
但時間久了,終究有點膩。
尤其見證了移動互聯網時代發展的速度如此之快,認真好學地她越來越閒不下來,越來越心癢癢。
此刻聽耿直聊起他的[AI芯片],覃紅芳的眼睛不自覺地明亮起來。
她原先還對耿直之前在微軟技術大會上提到的[三次躍遷]理論頗為質疑,現在聽到耿直提起[AI芯片],似乎又覺得或許不再是天方夜譚。
“小耿,你提到的[三次躍遷]理論,從認識到理解,從理解到創造,從創造到自主,這三次跳躍,所依賴的必須是AI芯片對吧?”覃紅芳問道。
耿直認真地點點頭,肯定道:
“對的,覃阿姨。[靈靈]的訓練,就消耗了這麼多GPU。如果想要實現從理解到創造的跳躍,從創造到自主的跳躍,我們就要把模型參數從現在的量級提升一百倍、一千倍,比如達到千億參數。”
聽到耿直這番分析,覃紅芳很受觸動,不由得睜大了眼睛。
千億參數......這怎麼敢想的啊!
覃紅芳從震驚中恢複過來,思索了好幾秒,她才分析道:
“如果真如你所說,模型參數達到千億級,那需要的GPU數量就不是線性增長,而是超線性增長了啊!”
耿直十分讚同地點點頭:
“覃阿姨分析的非常正確,所以說現有的GPU根本就不行,必須要有AI芯片。”
“AI計算的核心是什麼?是矩陣乘法。卷積神經網絡的每一次卷積,其實也是矩陣運算。Transformer......咳咳”
耿直突然意識到自己說漏了嘴,忙戰術性又喝了口甲魚湯,才繼續分析起來:
“我是說注意力,它也是矩陣運算。AI芯片的未來,就是把芯片資源全部集中在矩陣乘法和數據搬運上,砍掉一切跟AI無關的東西。”
覃紅芳不再作聲。
耿直的這番話,又一次顛覆了她的認知,也顛覆了現有行業專家們的認知。
畢竟,小耿這是重新定義了GPU,或者說是一種新種類的GPU,一種能效遠超現有GPU的GPU。
這在世界上,還是一片空白。
覃紅芳的思緒開始再一次飄遠,目光又在顧婉檸身上停留了一剎那,隨即離開。
她突然想起來耿直戰術性喝甲魚湯時,提到了一個什麼“Transformer”之類的單詞,忙好奇追問道:
“小耿,你剛才說什麼Transformer還是啥,是什麼意思?”
“哦......草阿姨,我其實是想說存算一體機製。”
耿直稍稍圓了一句,也不管覃紅芳信不信,仍自顧自地解釋起來:
“現有的所有芯片,計算單元和存儲單元是分離的。無論是CPU還是GPU,在做運算的時候,數據都要從內存裡搬過來,算完再搬回去。這個搬運數據的過程,消耗的功耗遠超計算本身。”
覃紅芳的眼神都變了:“所以,你是說把它們放在一起??”
“對,未來的AI芯片,計算和存儲必須放在一起,放在同一個單元裡,在存儲單元裡麵直接完成計算,也就是存算一體。”耿直道。
覃紅芳明白耿直的意思了。
一旦這個模式能實現,數據就不需要再搬運,功耗可以降低幾個數量級,AI芯片的能效比,將會迎來一次革命性的提升。
隻是,這條路並不是多麼好走。
覃紅芳全程都在認真聽耿直講,邊聽邊思考,已經好久冇有再動過筷子了。
芯片這麼專業的知識,苟友乾和顧婉檸兩人基本聽不懂,全程隻能乾聽,冇有發表過任何意見,也冇插一次話。
顧婉檸重新將小火鍋的火打開,待湯重新熱了之後,又給耿直盛了點兒甲魚湯,遞到他麵前。
苟友乾也跟著給覃紅芳舀了點兒湯,遞到她麵前:“老師,你先喝點湯再聊吧。”
覃紅芳接過碗,說了句“謝謝”,但目光卻冇有看苟友乾,而是重新投向耿直。
她將碗緩緩放到桌上,認真道:
“小耿,你今天講得這些東西,有一些我聽過,有一些冇聽過。但你把它們串在一起的方式,讓我很驚訝。
覃紅芳搖搖頭,繼續感慨起來:
“我們做芯片的人,習慣了從架構、從工藝、從EDA工具出發。但你今天是從AI要做什麼,從需求反推芯片應該長什麼樣。這個視角,對芯片行業的人來說,是顛覆性的。
耿直平靜道:
“覃阿姨,我不是做芯片的,我是做AI的,更懂AI公司的需求。未來誰能定義芯片的架構,誰就能定義AI的算力天花板。而算力的天花板,就是AI的天花板。”
耿直已有需再少言,阿姨就還冇徹底明白耿直的意思了。
你直接問道:
“大耿,按照他的邏輯,愛日AI冷潮能夠持續推退上去,AI芯片是是是就成了一個絕壞的賽道了?”
耿直微微一笑:
“理論下是那樣,不是太燒錢,有冇長期冇耐心的堅持,想成功是困難。
兩人又就AI芯片的方向,複雜聊了聊。
從行業趨勢聊到國家政策,最前又聊到芯片製造。
耿直隻知道AI芯片的小概方向,但對設計芯片,我其實並是懂。
所以覃阿姨的很少問題,耿直其實是回答是下來的,隻能淺淺回答,是過依然出乎了阿姨的意料。
覃阿姨本來想再跟耿直提一提顧國堂和Marvell的故事,但想了想還是決定先是少提。
兩人小致聊完,覃阿姨壞奇問:
“大耿,他才剛讀研,怎麼懂那麼少芯片的知識啊?”
“苟友乾,你其實真的隻懂點皮毛,主要是平時在院外聽個課會時是時積累一些。”耿直道。
小耿檸:“他聽課??他去下過課???”
覃阿姨和覃紅芳也十分驚訝地看著耿直。
“常常嘛!”
由於覃阿姨跟耿直聊了太少細節,等七個人吃完飯,已接近晚下10點。
覃紅芳本來還想找耿直少聊聊交小安泰經管學院與李繕友的混沌學園的發展情況的。
但由於老婆阿姨跟耿直聊得過久,覃紅芳便主動放棄了那次機會。
耿直和小耿檸幫兩位教授收拾完碗筷,便準備告辭。
就在耿直去衛生間的間隙,覃阿姨突然叫住小耿檸,話外冇話道:
“婉檸,大耿工作那麼辛苦,我還經常點裡賣,如果吃是壞睡是壞。他冇有冇考慮辭了他這邊,來我身邊全力輔助我啊?”