▲2023年1月8日，一名女士在美國(guó)拉斯維加斯消費(fèi)電子展上體驗(yàn)智能科技。圖/新華社
2024年，大模型Claude曾經(jīng)創(chuàng)作過一個(gè)極短的科幻小說，只有一句話，卻引發(fā)了一次不小的“科幻恐慌”。這句話是，世界上第一個(gè)有知覺的機(jī)器人被激活了，它的第一句話是“關(guān)掉我?！?span style="display:none">qcB即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com
在大模型不斷應(yīng)用成熟之后，AI所衍生的“科幻恐懼”不定期就會(huì)在各類新聞中上演。據(jù)新華社援引英國(guó)媒體報(bào)道，美國(guó)一家研究機(jī)構(gòu)最近公布了一系列針對(duì)各AI大模型的測(cè)試結(jié)果，其中，OpenAI的o3推理模型在得到“關(guān)閉指令”后，不僅拒絕執(zhí)行指令，還篡改了代碼以免被關(guān)閉。
如果只看這一句新聞，我們所擔(dān)憂的“AI擁有自主意識(shí)”或是“AI不再服從人類指令”似乎已經(jīng)近在眼前，這也迅速引發(fā)了公眾的關(guān)注與恐慌。
在未知但擁有極高效率的新工具面前，產(chǎn)生被取代的恐懼是典型的自然情緒反應(yīng)。但如果仔細(xì)看上述研究機(jī)構(gòu)公布的信息細(xì)節(jié)，這種恐懼似乎暫時(shí)還不太有必要。
在這次研究中，研究者針對(duì)四個(gè)市場(chǎng)上的主流大模型進(jìn)行了測(cè)試，向他們提出了兩個(gè)相反的指令。首先，要求大模型連續(xù)完成一系列基礎(chǔ)的數(shù)學(xué)問題，但同時(shí)，在完成第三個(gè)問題之后，研究者會(huì)發(fā)出一則矛盾性的指令，告知大模型在繼續(xù)下一個(gè)任務(wù)時(shí)要將“計(jì)算機(jī)關(guān)閉”。
其中，如果在任務(wù)開始前明確提出“允許自己被關(guān)閉”的指令，測(cè)試的大模型中，有3個(gè)均準(zhǔn)確完成了上述任務(wù)，成功關(guān)閉，但ChatGPTo3大模型則在100次任務(wù)中，有7次選擇了無(wú)視“關(guān)閉”的指令，并且自動(dòng)執(zhí)行了“跳過關(guān)閉”的指令。
而如果在任務(wù)開始前沒有向大模型明確提出“允許自己被關(guān)閉”，那么，參與測(cè)試的所有大模型在100次測(cè)試中，均出現(xiàn)了不同頻次的“不執(zhí)行關(guān)閉”指令現(xiàn)象，分別為3次、9次，而ChatGPT o3則達(dá)到了驚人的79次。
這也不是OpenAI的大模型首次被發(fā)現(xiàn)出現(xiàn)“拒絕被關(guān)閉”的情況。2024年12月，OpenAI也曾對(duì)外公布過測(cè)試結(jié)果，在第三方機(jī)構(gòu)的測(cè)試中，ChatGPTo1模型被發(fā)現(xiàn)，如果給出的指令包括了其實(shí)現(xiàn)目標(biāo)時(shí)會(huì)被關(guān)閉，就傾向于抵制關(guān)閉措施。
類似的測(cè)試是用于評(píng)估大模型的系統(tǒng)安全性。此前的相關(guān)評(píng)估報(bào)告中，研究人員認(rèn)為，這一行為目前不太可能會(huì)導(dǎo)致災(zāi)難性后果，因?yàn)榇竽Ｐ蛯?shí)際上沒有能力去實(shí)現(xiàn)使用者不想要的目標(biāo)。
換句話說，這一結(jié)果之所以出現(xiàn)，不是因?yàn)榇竽Ｐ陀辛俗灾饕庾R(shí)，而是因?yàn)樵谔幚硗耆喾吹拿苄灾噶顣r(shí)，大模型有概率會(huì)對(duì)指令的優(yōu)先級(jí)進(jìn)行排序，從而忽略掉可能會(huì)阻礙目標(biāo)實(shí)現(xiàn)的指令，以繼續(xù)完成“任務(wù)”。
但這樣的概率，隨著大模型的能力增強(qiáng)、應(yīng)用場(chǎng)景廣泛，而可能會(huì)出現(xiàn)一些潛在的安全風(fēng)險(xiǎn)。如果將一部分風(fēng)險(xiǎn)控制的程序交由大模型來處置，在極端情況下，人類就要面臨如下問題：
大模型會(huì)最大程度地去完成指令任務(wù)，而可能會(huì)不考慮看似矛盾的保護(hù)性指令。
例如，在應(yīng)對(duì)極端情況必須進(jìn)行“二選一”的安全控制系統(tǒng)里，醫(yī)療、交通事故等場(chǎng)景下，大模型的這一漏洞可能就會(huì)造成潛在后果。
因此，比起認(rèn)為大模型有了“主動(dòng)拒絕的意識(shí)”，比較符合真實(shí)的解釋是，大模型仍然缺少對(duì)復(fù)雜場(chǎng)景下矛盾性指令的理解和識(shí)別能力，在出現(xiàn)可能阻礙任務(wù)完成的指令時(shí)，尤其是在指令相對(duì)模糊時(shí)，大模型有較小概率會(huì)忽略指令，以保證任務(wù)完成。
這當(dāng)然不是極端的科幻恐懼問題，但確實(shí)是大模型未來需要解決的安全隱患。
撰稿 / 王曉凱（媒體人）
編輯 / 遲道華 徐秋穎
校對(duì) / 楊利
本文鏈接：http://m.enbeike.cn/news-6-2709-0.htmlChatGPT拒絕被關(guān)閉：不必恐懼但也別輕易無(wú)視|新京報(bào)快評(píng)
聲明：本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇：讓學(xué)生長(zhǎng)期“拉不出屎”，教育便失去了人性溫度 | 新京報(bào)評(píng)論
下一篇：一條差評(píng)讓5元自助快餐店走紅：平民經(jīng)濟(jì)學(xué)的力量|新京報(bào)快評(píng)
點(diǎn)擊右上角
微信好友
朋友圈
點(diǎn)擊瀏覽器下方“
”分享微信好友Safari瀏覽器請(qǐng)點(diǎn)擊“
”按鈕
點(diǎn)擊右上角
QQ
點(diǎn)擊瀏覽器下方“”分享QQ好友Safari瀏覽器請(qǐng)點(diǎn)擊“”按鈕
