裝不下一個大模型。
唯一的辦法，就是把模型「切開「——一部分放在這塊顯卡，一部分放在那塊顯卡，讓它們協同工作。
就像一本太厚的書，一個人拿不動，隻能撕成幾本，分給幾個人同時看。
這是模型並行。
但問題來了——這幾個人需要頻繁交流，才能把內容串起來。
顯卡之間也一樣，它們要不斷傳遞數據，互相配合。
這就是模型通信。
如果通信效率低，幾塊顯卡互相等待，再多顯卡也沒用。
這兩個技術，將是未來做大模型的核心基礎。
誰掌握了高效的模型並行和通信，誰就能訓練更大的模型。
陳陽很清楚，現在市麵上，這兩塊幾乎還是一片空白。
他要做的，就是一套支持大規模模型並行和高效通信的框架。
等這套框架成熟了，別人想做大模型，就得用他的「作業係統「。
那時候，他就掌握了整個行業的底層規則。
Transformer架構：
這是他最大的底牌。
請訪問ᴏᴏᴘ.ᴛᴡ獲取最快的章節更新
為什麼Transformer是跨時代的？
兩個原因。
第一，它能理解前後關係。
傳統技術一個字一個字往後看，看到後麵，前麵就忘了。
Transformer基於「注意力機製「，能看懂一句話裡，哪些詞和哪些詞有關係。
比如「他拿起蘋果，咬了一口「——它知道「咬「和「蘋果「有關聯。
這讓AI第一次能真正「讀懂「一段話。
第二，它能並行處理。
傳統模型必須一個字一個字按順序處理。
Transformer可以同時處理所有字，效率高出幾十倍。
這兩個特性，讓Transformer成為未來所有大語言模型的基石。
陳陽要提前把它「發明「出來。
最後基於新的框架和Transformer架構，做出一個參數量在30億（3B）的小模型。
「30億參數...「
陳陽很清楚這個數字意味著什麼。
在FP32精度訓練中，光是模型權重就需要12GB顯存。
但訓練時，還要存儲梯度、優化器狀態...
總共需要超過100GB的顯存。
「2013年11月，K40顯卡發布。「
陳陽在心裡盤算著時間節點。
K40是英偉達即將推出的新一代旗艦計算卡，12GB顯存，性能強悍。
「要容納100GB的訓練顯存，用12GB的K40來算...「
陳陽在腦海中快速計算。
「。型模個這下裝強勉能才，卡張9要需少至「
。來起了皺快很頭眉的他但
「！完不訓都年51到怕恐？中年年41到。了慢太度速練訓，卡張9有隻「
。練訓成完內月個4是標目的他
？辦麼怎
。光精道一過閃中眼的陽陳
「。行並據數——法辦的一唯「
。套4製複再，元單小最的合組卡9個這把
。工開時同型模個4讓
。卡張63 =套4 ×卡張9
「。練訓成完內月個4能才樣這「
。念默裡心在陽陳
「。練訓始開刻立，位到體硬月11等，購訂前提須必「
「。型模布發中年，度熱的）司公慧智工人個一（dniMpeeD購收金美億6歌穀初年41著趁「
。型模言語的數參億03個一出拿要他，時呼歡而狗貓別識為在還人有所當，候時到
。代時個一先領是而，步一先領是不那
。上身他到聚匯迫被將都，界資投是還界術學是論無，光目的界世全，時屆
。代時大慧智工人的闊壯瀾波、的來到將即接迎去，權語話和本資的夠足有將他
。靜寂的夜深了破打，吠犬聲幾來傳外窗
。了忙的有來下接，氣口一出吐地長長陽陳
