一緒提示您:看后求收藏(詩(shī)鼎小說(shuō)網(wǎng)網(wǎng)m.autocad360.cn),接著再看更方便。
<script>theme();</script></dt>
34
當(dāng)晚王青青青一行人先行回去了。次日上午,同行兩輛車(chē)駛出度假村,沿著89號(hào)公路一路向南。太浩湖的藍(lán)在后視鏡里越來(lái)越遠(yuǎn),越來(lái)越小,最后被一個(gè)彎道吞沒(méi)了。
車(chē)?yán)锖馨察o。薛意開(kāi)車(chē),曲悠悠坐副駕。暖氣開(kāi)著,窗外是連綿的雪松。
薛意全程眉心微蹙,目光直直鎖在前方,時(shí)不時(shí)看幾眼后視鏡,嘴唇抿成一條線。
曲悠悠偷偷看了她好幾眼,沒(méi)敢說(shuō)話。
怎么了,這是?
出了山區(qū)后,車(chē)速加快。儀表盤(pán)上的數(shù)字穩(wěn)定在85英里每小時(shí)左右,時(shí)不時(shí)的一不留神就能躥上90。前面陶予之的特斯拉也開(kāi)得飛快,兩輛車(chē)在空曠的荒野公路上一前一后,像在賽車(chē)。
曲悠悠問(wèn)AI ,93英里每小時(shí)相當(dāng)于國(guó)內(nèi)的多少碼。AI告訴她,150碼。
嘶…
她尋思這后邊也沒(méi)人追啊。默默扯了扯安全帶,確認(rèn)系緊了。尬里尬氣開(kāi)始找話說(shuō)。
今天天氣挺好哈。
“…”
沉默一陣,薛意忽然想起來(lái)剛有個(gè)人說(shuō)話了似的:嗯。
路上沒(méi)什么車(chē)。
嗯。
你…是不是不太高興?
沒(méi)有?!?
“哦…“
“怎么了?
從上車(chē)起就皺著眉頭。
薛意眨了眨眼,單手碰碰眉心,好像這才意識(shí)到:哦。我在想一個(gè)問(wèn)題。
什么問(wèn)題?曲悠悠耳朵豎起來(lái)了。
Transformer架構(gòu)里attention機(jī)制的數(shù)學(xué)本質(zhì),能不能用微分幾何的框架重新表達(dá)。陶予之昨晚給我看了一篇新的預(yù)印本,我覺(jué)得他們的證明路徑有一個(gè)gap。
……
曲悠悠傻了。
?。?
這啥?
每一個(gè)字好像都能明白,但連起來(lái)就是聽(tīng)不懂。
類似于,“我個(gè)人認(rèn)為這個(gè)意大利面就應(yīng)該拌42號(hào)混凝土。因?yàn)檫@個(gè)螺絲釘?shù)拈L(zhǎng)度,它很容易會(huì)直接影響到挖掘機(jī)的扭距,你往里砸的時(shí)候,一瞬間它就會(huì)產(chǎn)生大量的高能蛋白,俗稱UFO,會(huì)嚴(yán)重影響經(jīng)濟(jì)的發(fā)展…“你懂你悠姐的意思吧?
曲悠悠感到一絲悲涼:“你說(shuō)的,這是關(guān)于…什么的問(wèn)題啊?“
薛意又眨了眨眼:“哦,AI相關(guān)的數(shù)學(xué)問(wèn)題?!?
叮。心里有個(gè)微波爐熱好了飯似的,曲悠悠也眨了眨眼,被動(dòng)觸發(fā)尬笑技能:“害,你這么說(shuō)我就懂了嘛哈哈哈…”
其實(shí)也不懂。
所以你是在做數(shù)學(xué)題。
嗯。
曲悠悠看著薛意嚴(yán)肅的側(cè)臉,忽然有點(diǎn)想笑。覺(jué)著薛意這人挺好玩的。皺著眉頭飆到150碼,不是因?yàn)樾那椴缓?,是因?yàn)樵谀X子里解微分方程。說(shuō)起話來(lái)也好像AI啊,還是不說(shuō)人話的那種。
有點(diǎn)可愛(ài)。
嘿嘿。
中午在一個(gè)公路旁小鎮(zhèn)停下來(lái)吃飯。
下車(chē)走進(jìn)路邊一家美式餐館,薛意和陶予之剛坐下就開(kāi)始聊。
陶予之從包里掏出平板,翻出一篇論文遞給薛意:MIT那組的新預(yù)印本你看了嗎?把self-attention寫(xiě)成球面上的interacting particle system,證了一個(gè)token clustering的收斂定理。證明本身挺漂亮的,Wasserstein梯度流那段構(gòu)造得很干凈。
薛意接過(guò)來(lái),眼睛掃了一眼公式。
證明是挺漂亮的,但不能用。她拿過(guò)一張餐巾紙,畫(huà)了個(gè)球面示意圖:他們的Lipschitz假設(shè)在實(shí)際的softmax下根本不成立,高維空間里梯度直接blow up。你拿這個(gè)收斂率去calibrate真實(shí)的attention map,差兩個(gè)數(shù)量級(jí)。
陶予之笑了一下。她太熟悉薛意的思路了。純數(shù)學(xué)家看一篇論文先看證明結(jié)構(gòu)美不美,薛意看一篇論文先看結(jié)論能不能拿來(lái)賺錢(qián)。
那你打算怎么修?
不修,換個(gè)框架。薛意在餐巾紙上飛快地畫(huà)了起來(lái):我在想Ricci flow。Clustering本質(zhì)上就是曲率集中,Perelman處理奇點(diǎn)的那套surgery改一改,應(yīng)該能給一個(gè)更tight的bound。
兩人聊得旁若無(wú)人…
曲悠悠懵懵地看著兩個(gè)神仙似的人嘰里咕嚕說(shuō)了一堆什么都聽(tīng)不懂的話,還有來(lái)有回的,有點(diǎn)幽怨地開(kāi)始懷疑自己的智商。
肩膀被輕輕拍了兩下。
“別管她們了,”徐醫(yī)生淺笑著,勾了勾她的臂彎,“咱們?nèi)c(diǎn)些東西吃。
曲悠悠僵僵地回過(guò)神來(lái),“哦…好叻。”
跟著徐醫(yī)生來(lái)到點(diǎn)單柜臺(tái),曲悠悠看了眼菜單,又茫然地回頭看著不遠(yuǎn)處窗邊座位上兩人之間的餐巾紙上越來(lái)越密的符號(hào)和箭頭。
徐醫(yī)生靠在柜臺(tái)上,要了兩份薯?xiàng)l漢堡經(jīng)典套餐,又問(wèn)曲悠悠她和薛意吃什么,表情很淡定。
習(xí)慣就好了,她說(shuō),她們倆一聊起來(lái)就是這樣。
經(jīng)常這樣嗎?
每一兩周就會(huì)約一次,每次都去圣馬里奧一家上海生煎鋪?zhàn)映孕』\包,邊吃邊聊。有時(shí)候是理論數(shù)學(xué),有時(shí)候是金融科技方面的應(yīng)用,一聊起來(lái)沒(méi)完沒(méi)了的。我偶爾會(huì)跟著去一下,坐旁邊吃點(diǎn)東西。
“小籠包?“
“嗯,她倆的最愛(ài)。“徐醫(yī)生扁了扁眼,淺嘆一口氣,好像有些無(wú)語(yǔ),”機(jī)器人似的,每次就吃那幾樣,也不換換口味?!?
“最愛(ài)…”曲悠悠看著不遠(yuǎn)處的兩人,悄咪咪生出一點(diǎn)美滋滋的僥幸。
薛意在餐巾紙上寫(xiě)到一半停下來(lái),蹙眉想了幾秒,然后又飛快地動(dòng)起筆來(lái)。陶予之的眉頭也微微蹙著,但嘴角彎起一丁點(diǎn)弧度。不知道是不是快解出來(lái)了。