蘇飛現在可是豪橫得很，1000積分的靈感激發卡那是眼睛也不眨一下。

蘇飛毫不猶豫地使用了靈感激發卡，隨著靈感激發卡的澹澹光芒湧入蘇飛的腦海，他原本停滯下來的靈感就如同脫韁的野馬一般，龐大的資訊流在他的腦海中炸裂開。

但是現在有著24點精神力的蘇飛，沒有以往那種明顯的超負荷感覺，他食指和拇指捏著眉心偏下一點的位置，他只覺得眼前有無數的公式和模型圖飛逝而過，而且他能感覺到，這些公式和模型圖彷彿就存在他腦海的某一處，現在就彷彿只是簡單地把它們提取出來。

“奇怪的感覺……但還真不錯。”

就像是化作了一個小光人被抽離出這個世界，去了另一個滿是知識的世界一樣……

簡單來說，在那一剎那，蘇飛變成了光。

“唔……原來遮蓋機制是這樣使用的，如果是做自然語言處理，只需要按照一定機率把一句話的數個單詞遮蓋掉，然後讓預訓練模型去預測被遮蓋的這個單詞本身，而訓練結果就是被預測單詞本身，就能起到微調詞向量的效果……”

不得不說，這想法非常簡單，蘇飛甚至有一種白白浪費了一張靈感激發卡的感覺。

明明想到遮蓋機制的時候已經離正確答桉只有一牆之隔了……

罷了罷了，終究是事後諸葛亮，就像數學考試總有一道題目就感覺差臨門一腳，看了答桉才直呼自己笨，但終究還是差了那麼點。

蘇飛在消化了這股龐大的資訊流後，他的意識逐漸回到了自己身體上。

看著桌子前的檯燈和紙筆，蘇飛突然感覺有點陌生，之前心念一動就有無數公式浮上心頭，意識中都已經把模型結構圖和公式證明全部完成了，現實中還得手寫……

蘇飛在小本本空白的位置上，一字一頓地寫上新論文的標題名【 transforers】。

意為來源於變形金剛的雙向編碼器向量表示。<o的標題書寫方式是一樣的，只不過eo是致敬了tag，但這篇新論文純屬是自己致敬自己了。

【講真，最近一直用野果閱讀看書追更，換源切換，朗讀音色多，.yeguoyuedu 安卓蘋果均可。】

現在變形金剛爆火，自己蹭自己的熱度嘛，不丟人，何況，未來到底哪篇蹭哪篇還真不一定。

這章沒有結束，請點選下一頁繼續閱讀！

畢竟預訓練模型的效果一般都是高於單一模型的。

當然，蘇飛還有一個小小的惡趣味，這篇新論文的每個英文單詞的第一個拼在一起就是這個預訓練模型的名字——bert。

bert也是美國少兒向電視劇芝麻街的主人公之一，那長土豆一樣的黃色可愛臉蛋，吸引了世界上不少孩童的目光，也是現在的不少人們心目中的童年回憶。<o完全就是無心之失，蘇飛自己也沒想到一不小心就湊上了埃蒙這個芝麻街小可愛的名字，但這次的伯特，蘇飛可以很驕傲地說，俺就是湊的，而且湊的還相當不錯，這個標題甚至還把這篇論文的主要內容一筆點出。

值得蘇飛有些擔憂的是，芝麻街中還有一個叫恩尼的小可愛，不少人懷疑它和伯特是同性戀，到時候不會真有人也硬湊了個恩尼的模型名字吧……

蘇飛寫寫改改，把bert的大致思路和內容都記載在了這個小本本上，只要在回校之後做個模型，跑個實驗，這篇新論文就搞定了。

老實說，這篇論文其實主要還是借鑑了變形金剛的工作，所以對於蘇飛來說，這篇論文的構思比之前的兩篇都要簡單很多。

但蘇飛毫不懷疑它的效果，正如埃蒙比長短期記憶神經網路模型的效果好上一兩成一樣，伯特也必然會比變形金剛的效果好上一兩成。

在創造了伯特後，蘇飛打了個哈欠，他看了眼時間，已經接近十一點，兩天沒睡覺再加上一張靈感激發卡消耗了不少精神力的他，終於有些睏倦，躺到床上倒頭就睡。

…

…

等到第二日日上三竿的時候，蘇飛才悠悠然起床，手機上收到了好幾個vx未接電話還有王正和姜大校花兩人的留言。

雖說學術會議不會強制參會者們參加每一天每一場的海報交流和學術交流，但ac這種頂會，基本沒幾個人願意錯過任何一場學術報告，所以導師們一般都會監督自家的學生們認真參與學術會議。

當然，蘇飛也算是個例外，這學生著實有些太勐……王正和魯超倒不是監督他參加學術交流的，而是單純因為聯絡不上他而有些擔憂他的安全，畢竟這可是美國。

蘇飛給幾人一一回信後，叼了塊麵包，拿了瓶酸奶就悠哉地前往ac會場。

喜歡學霸從談戀愛開始請大家收藏：()學霸從談戀愛開始書更新速度全網最快。