之後的幾天，陳一然繼續窩在公寓裡寫代碼。
就是當茉莉的人肉鍵盤，每天推個一兩小時。DeepFlow 的自動微分引擎已經搭了個架子，但反向傳播那塊始終沒跑通，茉莉昨天改了激活函數的實現，今天又要接著調。
【第十二行，把那個 sigmoid 換成 tanh，括號裡改成 hidden_output。】
陳一然照著打，TextMate 的代碼補全倒是能彈出來，但彈的都是不相關的東西，他得一個字母一個字母敲。
【然後下麵加一行，np.dot，參數是 error 和 hidden_output 的轉置。】
「等等 —— 轉置怎麼寫來著？」
【T，加在變量後麵。】
他打完了，運行，Terminal 裡蹦出來一行報錯。維度不匹配。
【hidden_output 的 shape 應該是 64 乘 1，你前麵加一個 reshape。】
「哪一行？」
【第四十七行。】
本章節來源於𝑜𝑜𝑝.𝑡𝑤
他翻上去找到第四十七行，果然，少了個 reshape。加了，再跑，還是報。這回是 learning_rate 的問題，太大了，梯度爆炸。
陳一然靠在椅背上嘆了口氣，這種調參的活最煩，不是邏輯錯，就是數值不對，改一個地方牽一串。
茉莉理論都懂，但也得靠他一次次運行、看報錯、改、再跑。
折騰了一個多小時，總算跑通了。
但 loss 掉得太慢了，一條幾乎水平的線，兩百個 epoch 才降了零點零幾，照這個速度得跑到明年。
【可能是權重初始化的問題。目前用的是全零初始化，這會導致所有隱層神經元輸出相同，反向傳播時梯度也完全一樣。】
「說人話。」
【把第二十三行和第二十五行的 np.zeros 改成 np.random.randn，除以 sqrt of hidden_size。】
「sqrt 就這麼直接打嗎？」
【np.sqrt，括號裡寫 hidden_size。】
兩處都改完，試著運行了下。這回 loss 曲線明顯陡了不少，但跑到第五十個 epoch 突然一個 NaN 蹦出來，整個訓練廢了。
「又炸了。」
【learning_rate 還是太大。0.1 對隨機初始化來說偏高，先降到 0.01 試試。】
「剛才不是說 0.1 太大嗎，怎麼又大了？」
【之前是零初始化，梯度小，0.1 勉強能跑。現在換成隨機初始化，初始梯度大了，0.1 就過了。】
「你能不能一步到位？行了，今天先到這吧，我腦子都快炸了。話說，你就不能想好了，再讓我打嗎。」
【你的意思是，我可以對你的大腦進行更深度的調用，不用保持低狀態運行了？如果可以，我可以完全推演大部分運行情況。請提前準備好補給品和冰塊。】
「沒！我說說的，這樣挺好。」
不再理天天說真話很煩人的茉莉，陳一然打電話叫了個披薩。
剛要放下電話，徐力的簡訊就來了：「提單到了！貨代剛發我郵箱了！我給你也發了一份，這個要給國內看吧。」
陳一然去電腦上開 Gmail，果然有一封徐力轉發的 Global Auto Shipping 郵件，標題 「Bill of Lading - 2x Cayenne - Tianjin」。提單附件打開掃了一眼 —— 船名 COSCO Development，航次 0042W，兩輛 Cayenne 的 VIN 號都對上了。ETD Newark Feb 17，也就是今天周三開的船，ETA 天津港大概四周後。
陳一然趕緊轉發給了王經理，然後給徐力說了一聲。
。情表的手搓個了回力徐
。網人人著刷地搭一沒搭一有，機手下放他
。浪衝上人人在度強高續繼邊一吃邊一他，快很得到薩披
。死要得閒復回處到，人人刷覺睡家在，課上用不天天。分滿個了考福托考去就周 3 生新，奇傳 ILE 了為成經已他近最
。繫聯了立建上網在是但，了熟太不然雖子輩這，友朋的悉熟很世前多很
。購採番一了行進 emca 去車開脆乾然一陳的餓點有還，完吃薩披個一
。間時段一轉運狂瘋莉茉讓塊冰枕頭了不大正反，食暴飲暴地心安以可然一陳讓，在存的莉茉
。車物購著斥充，果水數無有還，品食量熱高種各。奶牛力克巧，淩淇冰力克巧，力克巧
。了吃就不要，影電看，頁網刷都間時的下剩。活乾力努下督監的莉茉在時小個兩到一定固天每了除天兩這，落墮點有己自覺感然突然一陳，中家到回等
。事正點乾得，行不
。吧下一看的麼什期日請申把得，少至。求要體具看看得是還，是但。的權特點有是總，嘛才天。了西東的瑣繁類之 tas 要需不己自讓以足就該應，本腳小個那的發 buHtiG 在己自。吧況情的請申的邊那學大福丹史下看先，歌穀開打脆乾
。noissimdA，ecneicS retupmoC 進點，下了找裡網官
.0102 ,1 rebmeceD enildaed noitacilppA :1102 retrauQ llaF
.dereffo noissimda oN :1102 retrauQ gnirpS
。上板控觸了在停手的然一陳
!SH,HTW,FTW
行一了到找中明說答問在隻，找了找細仔網官在緊趕，連三式美了出爆接直然一陳
