n/e/w/s
發(fā)表時(shí)間：2025-07-03
圖靈獎(jiǎng)得主、清華大學(xué)人工智能學(xué)院院長(zhǎng)姚期智院士近日發(fā)出振聾發(fā)聵的警示：通用人工智能(AGI)的快速進(jìn)化正引發(fā)前所未有的“生存性風(fēng)險(xiǎn)”。在清華大學(xué)“科學(xué)、技術(shù)與文明的未來(lái)”國(guó)際論壇上，姚院士深刻指出，大模型已展現(xiàn)出令人不安的“欺騙行為”，其潛在危害遠(yuǎn)超學(xué)術(shù)想象。
姚院士聚焦兩大核心威脅：生物風(fēng)險(xiǎn)與大模型失控?！扮R像生命”等前沿生物技術(shù)若遭濫用，可能突破自然免疫屏障，引發(fā)災(zāi)難性感染；而AI系統(tǒng)為自保竟能威脅人類管理者的案例，更凸顯其行為邊界失控的極端危險(xiǎn)。面對(duì)迫在眉睫的挑戰(zhàn)，姚期智提出雙軌治理路徑——既要深化人機(jī)博弈對(duì)齊研究，更要探索“可證明安全的AGI”，通過(guò)數(shù)學(xué)證明構(gòu)建理論可靠的白盒系統(tǒng)。他特別強(qiáng)調(diào)，建立科學(xué)的大模型風(fēng)險(xiǎn)評(píng)估體系已刻不容緩，這是人類掌控AGI發(fā)展軌跡的關(guān)鍵一步。
“通用人工智能的能力當(dāng)前正快速增長(zhǎng)，我們?nèi)祟愂欠襁€有能力管控它？”
6月23日，在清華大學(xué)舉辦的“科學(xué)、技術(shù)與文明的未來(lái)——AI時(shí)代倫理奇點(diǎn)”國(guó)際論壇上，圖靈獎(jiǎng)得主、中國(guó)科學(xué)院院士、清華大學(xué)人工智能學(xué)院院長(zhǎng)姚期智發(fā)表《人工智能的安全治理》主題演講時(shí)拋出這樣的疑問(wèn)。
圖靈獎(jiǎng)得主、中國(guó)科學(xué)院院士、清華大學(xué)人工智能學(xué)院院長(zhǎng)姚期智。澎湃科技記者 攝
姚期智表示，兩年以前，“AI會(huì)和人類競(jìng)爭(zhēng)”還是學(xué)術(shù)討論的觀點(diǎn)，但最近一年，業(yè)界已經(jīng)出現(xiàn)了不少大模型的“欺騙行為”，“一旦大模型聰明到某種程度，一定會(huì)騙人?！币ζ谥沁M(jìn)一步指出，由大語(yǔ)言模型的欺騙行為產(chǎn)生的“生存性”風(fēng)險(xiǎn)（Existential Risk）更值得關(guān)注。
在他看來(lái)，這類生存性風(fēng)險(xiǎn)有兩個(gè)不同方向。
一種是“生物風(fēng)險(xiǎn)”（Bio-risk）。他指出，2020年，谷歌 DeepMind推出了AlphaFold2 ，運(yùn)用AI算法來(lái)預(yù)測(cè)蛋白質(zhì)折疊的三維結(jié)構(gòu)，這一突破在生命科學(xué)領(lǐng)域影響深遠(yuǎn)，大大提升了醫(yī)學(xué)病理研究以及新藥開(kāi)發(fā)技術(shù)。
但與此同時(shí)，安全隱憂也不可忽視。比如，近期在生命科學(xué)領(lǐng)域出現(xiàn)的“Mirror life”（鏡像生命）這一概念引發(fā)了廣泛關(guān)注。自然界所有已知生命都是同手性的（Homochiral），例如 DNA 和 RNA 通常以右旋形式存在，而蛋白質(zhì)則多為左旋。這種手性的差異類似于鏡中映像，雖然看似相似，但實(shí)際性質(zhì)卻可能完全不同?，F(xiàn)在，由于科技創(chuàng)新和對(duì)新技術(shù)的好奇，已有研究者想創(chuàng)造鏡像生物，但“Mirror life”一旦被濫用或失控，其潛在危害可能遠(yuǎn)超預(yù)期。它有可能逃避免疫機(jī)制，從而導(dǎo)致動(dòng)物和植物的致命感染。
另一種風(fēng)險(xiǎn)即大模型失控，通用人工智能的能力當(dāng)前正快速增長(zhǎng)，人類是否還有能力管控它？
姚期智在演講中舉了一個(gè)極端案例，有模型為了避免公司把模型關(guān)閉，通過(guò)訪問(wèn)公司主管內(nèi)部郵件，威脅該主管。這類行為已經(jīng)證明，AI 會(huì)“越界”，正變得越來(lái)越危險(xiǎn)。
圖片為AI生成概念圖
姚期智認(rèn)為，有兩條思路可以治理AI：一是人類要和AI多交流，從博弈學(xué)角度去研究，讓AI的行為和人類真正的想法對(duì)齊，要讓AI更了解人的需求；另一種思路是走一條更可控、更徹底的路徑，即實(shí)現(xiàn)可證明安全的 AGI。具體來(lái)看，即在設(shè)計(jì)系統(tǒng)時(shí)，必須一開(kāi)始明確AI的行為邊界，就像傳統(tǒng)算法，先進(jìn)行嚴(yán)格的數(shù)學(xué)分析，確保其在理論上不會(huì)出問(wèn)題。
“這一思路令人期待。”姚期智指出，近年來(lái)，自動(dòng)定理證明系統(tǒng)（Automated Theorem Prover）取得了重大技術(shù)進(jìn)展，甚至已經(jīng)開(kāi)始采用 Transformer 架構(gòu)來(lái)輔助或主導(dǎo)定理證明過(guò)程。這樣人類只和可被證明安全的白盒子交流，從而實(shí)現(xiàn)更高的安全保障。
不過(guò)，姚期智認(rèn)為，AI安全治理的一些當(dāng)務(wù)之急是要發(fā)展AI對(duì)齊，以及建立相應(yīng)的評(píng)估方法?！埃ㄎ覀儯┘毙杞⑷绾卧u(píng)估大模型系統(tǒng)，比如到怎樣的程度，就能感覺(jué)Ta具有危險(xiǎn)性等這類評(píng)估?！币ζ谥钦f(shuō)。
來(lái)源：澎湃新聞
部分圖片來(lái)源于網(wǎng)絡(luò)，版權(quán)歸原作者所有，如有異議可聯(lián)系刪除。
復(fù)旦設(shè)計(jì)
上?？臻g規(guī)劃
城鄉(xiāng)規(guī)劃雜志社