該配合著怎麼調？再加上經驗回放的buffer size和batch size，超參數之間互相耦合，動一個牽全身。
林辰沒翻別人的調參經驗帖。
自己推。
PPO的目標函數展開，對每個超參數求偏導——直接做符號推導。ε從0.1到0.3，目標函數的梯度方向怎麼變，策略的KL散度怎麼走。推完用代碼驗證。
結果跟推導完全吻合。
【深度學習經驗+8】
【深度學習經驗+9】
【深度學習經驗+10】
+10。
兩天。PPO的每一個零件拆開又裝回去。林辰搞明白了這個算法為什麼長這樣，每一個設計選擇背後的trade-off。
第五天晚上，開始搭完整的訓練框架。
不調用現成的stable-baselines庫。從底層張量操作開始，先搭Actor網絡和Critic網絡，再寫經驗回放緩衝區，GAE計算模塊接上，策略更新循環收尾，一行一行寫上來。
核心邏輯八百行。每一行是自己的。
第六天。三月六號。淩晨。
辦公室隻亮著台燈和顯示器。
終端裡，PPO訓練框架在簡化的四足仿真環境裡跑通了第一輪。loss曲線往下降。獎勵曲線往上爬。虛擬的四足模型在仿真器裡歪歪扭扭邁出了第一步。
醜。但邁出去了。
看本書最新章節，請到ｏｏｐ．ｔｗ
麵板長鳴。
【深度學習突破LV3（0/10000）！】
【LV3·深度學習：掌握主流深度學習與強化學習算法的原理及工程實現，可獨立設計麵向特定任務的神經網絡架構與訓練方案，具備將理論模型部署到實際硬件係統的工程能力。】
【技能突破獎勵——智慧+0.2，精神+0.1】
清涼感灌下來。持續了將近十秒才退乾淨。
林辰調出屬性麵板。
智慧：6.0。
整數關口。
精神：4.8。
六天。從零到LV3。
。月個三，3VL到1VL法算製控。月多個兩，3VL到1VL言語C
。天六
。快越來越會隻度速，級量個這了到，成加性屬的新帶又破突次每。早更得來也破突，快越得學，高越性屬。了來起跑環循正
。板麵掉關辰林
。白灰線一了泛上線際天邊東。口門大到延根牆圍從排一，著亮還燈路區廠。邊窗到走來起站
。息消條了發薇陸給，機手起拿辰林
”。嗎了好改檔文口接塊模覺視“
。著醒也薇陸，點四晨淩。複回秒三
”？呢架框法算的你。了好改“
。倒才步三十二了走輪一新最，edosipe個百兩完跑經已型模足四擬虛的裡器真仿。誌日練訓的跑在還上幕屏眼了看辰林
。步一邁能隻它，前時小個四
。去過發字個兩了打辰林
”。機上“
