接管,隻要都在安全邊界內,就不應該被強行判成不同。」
他用筆尖點了點最後一行。
「真正的問題是,兩個輸入被壓成同一個內部表示以後,模型隻能作出同一個選擇,而這個選擇必然讓其中至少一個狀態的任務損失超過安全閾值。」
「也就是說,不是動作字麵上不相同,就算任務坍縮。」周誌華站起身,走到白板旁邊,「而是兩個狀態的安全動作集合已經不再兼容。」
「對。」
「這能處理同標籤、異代價,也能處理一個狀態允許多種安全動作的情況。」
周誌華拿起另一支馬克筆,在公式旁邊補上一行。
【Dₜ(A*(x₁),A*(x₂))>ε】
「這個任務距離不能隻比較動作數值。」他說,「它要衡量兩個安全動作集合之間,是否存在足以改變現實後果的分離。方向盤差零點一度和差一百八十度,不能都按同一種錯誤計算。」
江臨點頭。
「離散分類可以使用零一代價。機械控製可以使用碰撞動量、停機損失或安全裕度。醫學診斷則可以使用錯誤治療帶來的風險變化。」
「形式核驗裡,就是接受錯誤命題與拒絕錯誤命題之間的代價。」
兩支筆在白板上交替移動。
原本那個無從下手的問題——【哪些信息不能丟】——很快被劃掉。
新的問題出現在白板中央。
【一次模型壓縮,究竟製造了多少現實任務不可接受的錯誤等價?】
周誌華退後兩步,看了一會兒。
「這一步成立。」他說,「可以把它定義成任務區分損失。」
江臨寫下:
【Task Distinction Loss】
【任務區分損失】
它不隻是統計發生了多少次合併。
每一次坍縮都要按照樣本出現概率和任務代價加權。一次不會改變安全結果的輕微偏差,不能與一次會導致設備報廢或人員傷亡的錯誤同權。
傳統準確率可能隻看到模型少答錯了幾道題。
任務區分損失關注的是,壓縮是否把必須採取不同安全策略的狀態摺疊到了一起。
周誌華深吸了一口氣,將馬克筆的筆帽哢嗒一聲扣在筆尾,說:「理論定義有了,而且非常漂亮。但接下來的問題是,工程上該怎麼去測量它?」
「通過在數據集中尋找發生任務坍縮的樣本對。」江臨不假思索地回答道。
「可一個真實世界任務的輸入特徵空間有多大?」
「考慮到各種環境噪聲,可能是無限大。」
「如果輸入是連續的物理量呢?」
「積分會變得更加麻煩,近乎無解。」
「那你總不能指望工程師在測試模型的時候,把無限空間裡的樣本兩兩配對,挨個丟進去比較吧?計算機算到宇宙熱寂也算不完。」
「那種窮舉法確實不可能。」
「那也就是說,你發明的這個堪稱完美的任務區分損失這個量,在工程上,目前還隻是個畫在紙上的大餅,根本算不出來。」
討論的主導權剛剛在白板前轉移到江臨手裡,轉眼間,又被經驗老到的周誌華用一個現實的工程阻礙,一把拽了回來。
但這在學術討論中絕對不是壞事。
一個全新的概念從白板的墨跡中站起來以後,它要麵臨的第一件事,就是被最嚴苛的同行按在地上,看看它究竟能不能在現實的泥濘裡自己走路。
如果走不了路,那這種概念隻配繼續待在白板上,供人觀賞,永遠進不了代碼庫。
周誌華重新拔下筆帽,在【任務區分損失】的下方,寫下了一個機器學習理論中的經典概念。
【假設空間H】
「任何一個被部署到實際場景中的壓縮模型,都不可能麵對所有可能存在的任務,它隻要能表達當前有限的假設空間H的那些特定任務就足夠了。」
周誌華用筆重重地點著白板。
。來起了亮漸漸神眼,字行那著視凝臨江
。寫下往續繼,鐵打熱趁華誌周
】noigeR tnemeergasiD【
】域區歧分【
」。界邊定確不的錯犯易容最、準不拿正真型模縮壓個這前當是才,域區個那的論結斷判同不然截出給會們它,部內型模設假的受接可是為認們我被些那前當在有隻,入輸理物個一同於對「
」。間空入輸的大限無個整蓋覆求奢去要需不就本根,縮坍務任個那的算計要想你,以所「
】節章錯無 𝘄𝘁.𝗽𝗼𝗼【
」。了夠足就域區歧分的窄狹其極個這住蓋覆,力火中集,力算的有所把要需隻你「
。頭話了過接刻立,臨江的接拚輯邏成完間瞬在腦大
」。算計法無得大然仍能可積體的域區歧分個這,說來據數維高於對,此如便即但「
。問反華誌周」?辦麼怎該那「
」,縮壓息信次一做再,域區歧分個這對針就們我那,大它嫌然既「,快變速語的臨江」。法魔敗打法魔用「
。界邊歧分的手棘些那表代,域區何幾的疊交相互且,則規不狀形個幾了出畫地速快方下板白在,完聽華誌周
」。點歧分命致些那的變改生發作動務任致導能可有所,裡間空設假前當住蓋覆並起撐地準精,樣一軸標坐像夠能,本樣組這要隻。集本樣小最的鍵關置位但,少極量數組一找尋去,術技樣採他其者或法算心貪用利要需隻「,處界交的域區些那著指華誌周」。點個一每的裡域區歷遍要需不們我「
。說答臨江」。基證見「
」。對「
。文英組一下寫地重鄭,邊旁的域區則規不些那在華誌周
】sisaB ssentiW elpmaxeretnuoC【
】基證見例反【
」。界邊策決同不表代責負隻們它「,說他」。布分均平表代責負不本樣組這「