“Transformer”
“各位院士，各位教授。”陳啟明的聲音不大，卻清晰地回響在每個人的耳邊，“歡迎來到大語言模型的新世界。我們首先要學習的，不是算法，不是優化，而是這個模型的‘基本骨架’。”
他開始在白板上書寫。
“它的核心，不是CNN，也不是RNN，而是一種全新的東西，叫做‘自注意力機製（Self-Attention）’……”
一群平均年齡超過六十歲、站在龍國科技金字塔頂端的學者們，此刻像一群小學生一樣，屏息凝神，圍在一個高中生的身邊，聆聽著一場足以開啟新時代的講座。
他們的麵前，擺著厚厚的筆記本，上麵畫滿了各種他們自己都看不懂的失敗模型架構。而現在，這些耗費了無數心血的草圖，在少年口中那句“全新的東西”麵前，顯得如此蒼白無力。
“自注意力機製……”
嚴樹隆院士喃喃自語，他身旁一位主攻計算機視覺的張院士皺起了眉頭，忍不住發問：“陳同學，這個‘注意力機製’我們了解一些，在圖像識別裡，是讓模型關注圖片的關鍵區域。但你說的‘自’注意力，還是用在自然語言處理上……這……這怎麼理解？”
這是所有人的疑問。
他們的大腦，還停留在“處理序列問題就用RNN（循環神經網絡），處理圖像問題就用CNN（卷積神經網絡）”的經典教科書時代。他們嘗試過魔改RNN，讓它的記憶單元更長，但模型變得臃腫不堪，訓練起來如同老牛拉車。他們甚至異想天開地嘗試用CNN來捕捉詞語之間的局部關係，結果造出來的模型隻會說胡話，邏輯混亂得像個醉漢。
他們一直在舊的框架裡打補丁，卻從未想過，或許，整個地基都是錯的。
陳啟明沒有直接回答，而是拿起筆，在白板上寫下了一個簡單的句子：
“機器人舉起了錘子，因為它很重。”
他轉過身，看向眾人，提問：“請問，這句話裡的‘它’，指代的是什麼？”
“錘子。”嚴樹隆不假思索地回答。
“那如果句子是‘機器人沒有舉起錘子，因為它很重’呢？”陳啟明又問。
“……指的是機器人。”另一位教授回答，有些不確定。
“完全正確。”陳啟明點點頭，臉上露出一絲微笑，“各位前輩，你們的大腦在幾分之一秒內就完成了這個複雜的指代消歧工作。你們是怎麼做到的？你們在讀到‘它’這個字的時候，會不自覺地回顧整句話，然後根據上下文的邏輯，給‘機器人’和‘錘子’這兩個詞，分配不同的‘關注度’權重。在第一句話裡，‘錘子’的權重最高；在第二句話裡，‘機器人’的權重最高。”
他用筆在“它”和“錘子”、“機器人”之間畫上了不同粗細的連線。
“自注意力機製，就是讓機器學會做這件事。它在處理序列中的任何一個單詞時，都能同時‘看到’序列中所有其他的單詞，並計算出每一個單詞對於當前單詞的重要性，也就是‘注意力得分’。得分越高的，關係越密切。”
一番話，如同一道驚雷，在眾人的腦海中炸響！
嚴樹隆院士的眼睛猛地瞪圓，他一拍大腿，聲音都有些顫抖：“我明白了！我明白了！RNN是一步一步地看，像個得了健忘症的老頭，看到後麵就忘了前麵！而你這個自注意力機製，是讓模型長了一雙‘全景眼’，它在看第一個字的時候，就已經把最後一個字是什麼都納入了考量！這不是序列處理，這是……這是全局並行處理！”
“太妙了！這簡直是降維打擊！”那位張院士也激動得滿臉通紅，“我們之前所有的嘗試，都是在教一個瞎子摸象，摸到腿就說大象是柱子，摸到鼻子就說大象是管子。而你，直接開了一盞探照燈，把整頭大象照得清清楚楚！”
他們都是各自領域的頂尖天才，一點就透。陳啟明這個簡單到極致的比喻，瞬間捅破了那層最關鍵的窗戶紙。
“沒錯。”陳啟明繼續在白板上畫著，“為了實現這一點，我們需要為每個單詞生成三個向量，分別是Query（查詢）、Key（鍵）和Value（值）。”
。門大的界世新了開打是像這，說來家學科群這對，上板白在現出母字個三V、K、Q
”。示表新的息信文下上局全了合融個一了到得就型模，樣這。和求權加行進）eulaV（’息信實真‘的詞單有所對去，數分個這用們我，後然。數分力意注是就也，’度關相‘個一到得能就，積點的yeK個每和yreuQ算計過通。’？關相多有我跟你，嘿‘，）yeK為作（詞單有所的裡子句問去要它，）yreuQ（’者詢查‘是詞單個這前當。統係索檢息信個一成解理它把以可家大“
。感美的上學數了滿充又，暴粗單簡，晰清輯邏
𝑤𝑡.𝑝𝑜𝑜於源來節章本
。圾垃業工堆一是就直簡，圖構架的宮迷比堪到雜複些那的出畫夜熬月個幾去過己自覺感，圖型模VKQ的潔簡那上板白著看們他。聲吸呼的重粗下剩隻，聲無雀鴉室議會個整
。吟呻的苦痛聲一出發，臉著捂授教老位一”……機算計戰挑盤算用在是直簡們我……們我“
”！了機讀複它，’……好你好你好你好你‘是子句的成生後最，塊兩了燒卡顯，天三了跑型模果結，絡網憶記套嵌的層八十個了搞，題問失消度梯的NNR決解了為們我！啊道知不是你，學同明啟“：”苦訴“明啟陳對，盤硬的廢報堆一角牆著指他，得不笑哭是更隆樹嚴
。尬尷的才剛了淡衝，笑哄的意善陣一起響場全
”。具工的確正了有們我，在現。了錯選具工是隻，錯沒向方的們你，士院嚴“：了笑也明啟陳
：詞的界世變改將即個這了下寫地重重筆克馬用，端頂最的板白在，步一退後他
”remrofsnarT“
uM（力意注頭多以輔再，心核為製機力意注自以“
