翟曉鷹 4453 字 11個月前

第914章 梯度下降

(2 / 3)
⚡ 登入後報錯可獲 3天VIP 免廣告——立即登入

四個輪子,但我們用特征加權來識別:形狀、功能、用途。

2.迭代修正

?小孩第一次見到“貓”,可能把“狗”也叫貓。

?隨著父母糾正,小孩在心裡不斷“調整參數”,逐漸收斂到更準的概念。

?這就是梯度下降在人腦中的投影。

3.永遠不是絕對答案

?人類也不會給一個“100%確定”的結論。

?比如看到一隻奇怪的寵物,你可能說:“嗯,看起來像貓,但也有狗的特征。”

?這就是機器學習中的概率輸出。

五、哲學層麵的啟示

1.學習是漸進的

梯度下降提醒我們:學習不是跳躍,而是一次次小步調整。

每次錯了,就順著錯誤最大的方向修正一點。

2.最優是虛構的

就像你說的,碗底永遠是“無限接近”,人類的理解也永遠是不完整的,隻能在概率意義下“差不多就行”。

3.隨機性是智慧

沒有隨機性,人可能會被困在“小穀底”裡,以為那就是全部真理。

隨機性(犯錯、偶然的發現)反而幫助我們跳出來,找到更深的理解。

好,那我就再往更深一層走,把“梯度下降”從數學—工程—哲學三個維度繼續展開。

一、數學視角:為什麼非要走“負梯度”?

在高維空間裡,函數的梯度(?f)指向上升最快的方向。

?舉例:你站在山坡上,梯度就是告訴你“哪裡最陡,往那邊走上升最快”。

?但我們要下山,所以要走“負梯度”。

?每一步的公式就是:

\\theta_{new}=\\theta_{old}-\\eta\

ablaf(\\theta_{old})

其中:

?\\theta是參數(比如神經網絡裡的權重)。

?\\eta是學習率。

?\

ablaf是梯度。

換句話說,每一步都像在地圖上用指南針找方向,永遠往“下坡最快”的方向走。

二、工程視角:梯度下降的改進

在大模型裡,光靠最原始的梯度下降其實不夠。工程師們發明了很多“加速方法”:

1.動量法(Momentum)

?類比:滾珠下山時不僅看坡度,還帶有慣性。

?這樣就不會在小坑裡亂跳,而是能跨過去。

2.自適應學習率(AdaGrad,RMSProp,Adam等)

?傳統學習率是固定的,但現實中不同方向的地形不一樣。

?比如有的維度很陡,有的很平緩。

?自適應方法會自動調整步長,讓學習更快更穩。

3.正則化和噪聲

?有時反而要給“山穀”裡加點小石頭,讓球不會死死卡住。

?這對應於dropout、L2正則化等手段,避免模型過擬合。

所以,你可以把現代的梯度下降想象成:一個球在複雜山穀裡滾動,背後有風(動量)、有指南針會調節步子(自適應),還時不時給它推一把(噪聲),最終讓它更可能滾到一個“夠好的位置”。

三、類比人類學習過程

把這個思想投射到人類的認知:

1.負梯度=糾錯學習

?錯誤最大的地方,才是你最該調整的地方。

?就像小孩學語言,第一次說“狗”叫“貓”,大人會立刻糾正,因為這是最明顯的錯誤。

2.學習率=學習節奏

?太快→死記硬背,反而掌握不牢。

?太慢→學習效率極低。

?最優的學習,就是“不斷挑戰剛好夠難的內容”。

3.動量=習慣的力量

?學習不是孤立的,而是帶著慣性。

。礙障小過跨易容更,量動著帶珠滾像就,慣習好良成形旦一?

索探與聲噪.4

。”優最部局“在困能可很,走跡軌定固按全完生人的你果如?

。向方的好更到找你幫而反,曆經的機隨、敗失的然偶而?

喻隱的降下度梯:麵層學哲、四

擇選生人與優最部局.1

。理真的部全是就那為以,”優最部局“在留停都生一人的有?

。”底穀的低更“到找能往往,人的性定確不受接、索探於敢而?

性率概的識知.2

新更節章的快最取獲ᴡᴛ.ᴘᴏᴏ問訪請

。的性率概是都實其識知的有所類人,”大較比率概的貓是就貓“,的說你如正?

。”釋解的理合最,下設假和據數前當在“是而,理真對絕是不並學科?

成完未與斂收.3

。近接限無是隻,點低最”達到“正真不從降下度梯?

。觀界世的理合更近逼斷不有隻,點終有沒遠永:樣一也解理和習學的類人?

義意的性機隨.4

。滯停會往往,程過的性定確和性理全完?

。”現發的然偶“”誤錯“”外意“是往往,的步進動推正真?

。阱陷小出跳們我幫,動抖的DGS像就這?

:景場的懂聽能也友朋小成講”降下度梯“把,事故的化活生個一用就我那,好

事故的貓認學明小

:說奶奶。長長須胡,尖尖朵耳,物動小的色黑隻一見看,家奶奶去次一第明小

”。貓是這“

。”型模的貓“個一第了有裡子腦的明小,此從

貓當狗把:誤錯次一第

:喊地奮興他,著豎也朵耳,的黑黑也毛,狗小隻一到看上街在明小,後天幾

”!貓“

”。貓是不,狗是這“:頭搖搖爸爸


✅ 付款功能已修復,現在可以正常購買了 — 支援信用卡 · Apple Pay · Google Pay · WebATM · ATM 轉帳
😤 廣告總在最入戲的時候跳出來?
月付 $5 USD,升級 VIP 後全站所有頁面廣告立即全關——
不是只有這本書,是整個 oop.tw 每一頁、每一章,從此一路讀到底不被打斷。 $5 USD ≈ 一杯珍奶的錢,換一整個月零廣告清爽閱讀 · 隨時可取消
✅ 全站廣告全關 ✅ 工口專區全本解鎖 ✅ 月卡 $5 USD · 季卡 $13 USD · 年卡 $45 USD
⭐ 登入 / 免費註冊後升級
加我 LINE 好友,分享好書不錯過
第一時間獲得新書推薦、書單更新通知
立即加入
上一頁 書頁/目錄
/ 3 頁
下一頁
為本書評分(每位讀者可評一次,提交後無法修改)
發表評論
以 匿名讀者 身份發表
讀者評論