蘇飛則是把他的小破筆記本抱上床，他想要繼續完善他的“菠蘿”。

蘇飛這幾天根據現有的注意力機制文獻，有空便修修改改，新想法的框架早就打好，但技術上其實早就步入瓶頸。

具體的技術難點有兩個，一是既然要以注意力機制為基創造新的模型單元，那麼就要捨棄現有的所有其他模型結構，捨棄這些結構代表著捨棄資訊提取層，而注意力機制計算囊括的資訊很單一，使用注意力機制可以得到更精確的資訊，但同時會縮減資訊源。

就好比你拿著放大鏡看世界，世界的確更清晰了，但視野會縮小。

第二個難點則是，注意力機制計算是沒有順序的，也就是說資訊的順序是雜亂無序的，而且是沒有時空性的，這就意味著在提取資訊的時候，你不但有可能得到位置相反的資訊，還可能得到時空錯亂的資訊。

就比如說你在讀取一篇新故事的時候，你都是從頭讀取，對於沒有讀到的內容你是不知道的，這才會有新奇感，如果是推理小說，你甚至能根據前面故事的內容來推斷最後的兇手。

然而一旦採用注意力機制計算，計算機在讀這篇故事的時候，很可能會直接讀取誰是兇手，因為這個因素是所有讀者最為關注的，最吸引讀者注意力的，然後逆著順序往前讀。

這兩個難點也是困擾當今想改善注意力機制的學者們的最麻煩的難題，而蘇飛目前對第一個難點有點想法。

他果斷地開啟系統商城，買了一張靈感激發卡。

蘇飛不會自大到僅靠自己解決這種困擾整個學界十多年的難題。

當然，他也已經有些思路，只是需要靈感激發卡來給他具體化一下。

如果把注意力機制的計算看成一個矩陣，一個矩陣的計算獲取一個單一資訊，那麼是不是隻需要多個矩陣就能獲得多個資訊……

蘇飛順著這個思路往下想，同時心裡默唸“使用靈感激發卡”。

和上次一樣，一股神秘的暖流鑽上蘇飛的大腦，一個個根據蘇飛的思路演算的公式直接刻入他的腦海，一次次的理論修改也湧入他的腦海……

就彷彿是不斷試錯後成功的蘇飛把這一過程帶回去給過去的自己。

大腦瞬間便超負荷，蘇飛只感覺自己的cpu快炸了。

‘叮！靈感激發卡使用成功！’

隨著系統的提示音落下，蘇飛的意識也從那海量的資訊中退出，就像是沉迷vr的人突然被拔了電源一樣。

“這個思路還真的是對的……”

蘇飛有些不可思議，要知道，這個思路完全就是他自己琢磨的，不像上次eo論文一般有姜大小姐給她啟發。

“數學理論真是萬能啊，多讀書果然沒錯。”蘇飛不禁喃喃自語。

蘇飛連忙把第一個難點的解決方案寫到了ord文件上去。

【多矩陣拼接構造多頭注意力機制以此彌補注意力機制獲取資訊單一的問題……】

良久，他把所有過程詳細地書寫了一遍。

“那麼，現在該來考慮第二個難點了。”

蘇飛緊皺著眉，對於注意力機制的資訊無序問題，他還沒有任何思路，實際上現在有很多論文專門嘗試攻克這個問題，然而效果平平。

蘇飛開啟面板，看著自己僅剩的1000積分，如果再買一張靈感激發卡，他就成窮光蛋了，而系統目前給出的四個任務，其中三個還遙遙無期。

還需要考慮到的一點是，在沒有思路的情況下使用靈感激發卡會不會白白浪費一張。

蘇飛略微思索了一會兒，決定暫時放這個難點一馬。

過幾天去ai研究社看看能不能“集(薅)思(薅)廣(羊)益(毛)”。

喜歡學霸從談戀愛開始請大家收藏：()學霸從談戀愛開始書更新速度全網最快。