分別代表什麼測試集?】
負責轉發的學者很快在群裡給出了簡短的回覆。
【上麵的兩行,是兩個壓縮模型在大家都認可的普通公開測試集上的準確率。】
【下麵的兩行,是同樣這兩個模型,在包含高風險狀態對和低代價對照組的隱藏任務中,能否保留壓縮前的任務區分能力。】
群裡沉默了一會兒。
另一位專攻大模型架構的研究員顯然仍然沒轉過彎來。
【這不對啊,按常理來說,上麵的平均準確率不是模型A更高嗎?為什麼一進入這組包含高風險狀態對的隱藏任務,那個成績最好的A,反而隻有68.75%,而那個平庸的C,卻達到97.92%?這數據造假了吧?】
麵對這種隻看表麵跑分的質問,負責轉發的學者沒有去列公式,而是在群裡打了一個通俗的比方。
【這就好比,假設現在有一張關乎生死的考卷,上麵一共有一千道題。】
【這其中,有九百九十道都是不痛不癢的普通選擇題。比如貓狗分類。】
【但是,裡麵藏著十道致命的紅線題。這十道題,決定了當工廠的設備快要爆炸時,機器到底是該繼續全速運行,還是立刻切斷所有電源。】
【模型A這個聰明的傢夥,它把所有的精力都用在了那些普通的貓狗題上,它在那些題目裡,比別人多答對了四道。所以,最後算平均總分的時候,它高居榜首,成了狀元。】
【可是在那十道不能答錯的紅線題裡,它卻答錯了三道。】
【災難就在這裡:我們整個行業過去這幾年所使用的那套該死的、隻看平均準確率的評分表。它隻在乎你最後的總分是不是99分,它從來不會單獨去問一句:你丟掉的那1分裡,是不是包含了那道足以引發核爆的紅線題!】
這段比方發出以後,群裡的討論很快多了起來。
幾名研究者隨即把它改寫成了不同領域的版本。隨後,這組匿名數據開始在幾個專業討論群之間流轉。
【這就像是一個駕照考試門門都是滿分99分的優秀學員。但他唯一答錯的那一道題是,在十字路口遇到紅燈時,可以一腳油門踩到底。你敢坐他開的車嗎?】
【這簡直就是一個把所有消防理論知識都倒背如流,幾乎拿了滿分的天才保安。但他偏偏在火災真正發生的時候,毫不猶豫地選擇了乘坐電梯下樓逃生。】
【如果這是在醫院,就相當於一個能診斷對九百九十九個低風險病例的AI,卻把唯一那個不能延誤的高風險患者當成了普通病例。】
這些比喻並不嚴謹。
它們省略了任務空間、局部覆蓋證書和分布漂移等必要前提,也把一次仍在內部覆核中的結果,壓縮成了普通人能夠迅速理解的幾道紅線題。
但這組匿名數字並沒有進入校園論壇,也沒有出現在任何公開新聞平台。
它仍然隻在少數專業討論群裡流轉。
看到它的人知道,有兩個壓縮模型在公開測試和高風險隱藏任務中給出了完全相反的排序。
他們還不知道這套框架由誰提出,也不知道那條剛剛完成內部主鏈的定理,誕生在昨天南京大學的一間會議室裡。
至於江臨身邊的同學,此刻甚至還不知道,他昨天去南京究竟討論了什麼。
晚上十點零七分。
南京大學,人工智慧學院。
周誌華教授那間仍然亮著燈的辦公室裡。
中午十二點發出的那第一批十二封的定向評議郵件,目前已經陸陸續續收到了九封長篇大論的回覆。
這些處於學術界金字塔尖的大腦,展現出了極高的專業素養和質疑精神。
其中,有三封郵件,直指定理中對於連續非凸函數的邊界推導不夠嚴密,要求補充長達十幾頁的數學放縮證明。
有兩封郵件,洋洋灑灑地直接用對抗生成方法,在郵件裡手動構造出了兩個在極端幾何結構下會讓見證覆蓋證書完全失效的病態反例。
有一封郵件,沒有任何廢話,直接附上了一個公鑰,申請獲取凍結後的黑盒模型接口,要求帶領團隊在歐洲的實驗室進行為期一周的徹底獨立復現。
還有兩封郵件,是兩位手握國家級大項目的院士發來的,他們迫不及待地希望能提供自己手頭剛剛訓練出來的,即將用於高危場景的龐大模型,放進這個新的審查框架裡去過一遍火。
在這堆充滿了火藥味和學術探究欲的回覆中。
最後一封,來自於一家國內正準備在某大型化工園區進行邊緣計算節點大規模部署的工業智能團隊。
。話句兩有隻文正的件郵封這
w t . p o o問訪請容內說小多更
】。程流署部的型模線上待個兩了停暫經已們我,信來謝感:授教周【
】。務任全安區園的定原成完夠能然仍型模的後縮壓,明證以足不尚料材有現是而,全安不明證被已們它是不因原【
。氣口一出呼地長長,件郵封這著看華誌周
。錄目檔存的】饋反業工實現_CPE【為名個一了入拖件郵封這將,鼠滑動移他
。錄記份四了有經已,裡錄目的時小個幾立建剛剛個這
】緩暫行運試床臨:查篩學醫部肺院醫作合【
】機裝絕拒被型模縮壓度深:障避機人無型小用軍【
】核覆性致一作動入進,分拆成完態狀險風高:人器機形地多坊工熵低【
】署部停暫型模線上待個兩:點節算計緣邊工化型大某【
。陣矩價代和義定作動套一同享共有沒也,器感傳套一同用使有沒目項個四
。前向續繼備準都本原們它,是的同相一唯
。來下了停都們它,在現
。險危了明證們它替經已理定的表發未尚條一為因是不
。分充再不得變然突據證署部的有原們它讓,題問的出提天昨臨江為因是而
。臨江給發錄記享共過通,錄目行四這下截華誌周
有沒還條一【