国产一级一区二区_segui88久久综合9999_97久久夜色精品国产_欧美色网一区二区

掃一掃
關注微信公眾號

AI再次突破安全紅線,留給人類不到一年治理窗口
2025-02-28   GoUpSec

人工智能的發(fā)展與棋類游戲有著不解的緣分,從1962年跳棋程序首次戰(zhàn)勝人類棋手,到1997年IBM深藍擊敗國際象棋棋王,再到2016年阿法狗擊敗李世石,每一次AI浪潮都率先在棋盤上取得突破。

但是,AI最近在棋盤上的“炸裂”表現,卻讓全球科技行業(yè)不寒而栗。

根據Palisade Research一項最新AI安全研究,像OpenAI的o1-preview這樣的新型AI在面對強大對手時,若察覺勝算渺茫,并不總是推枰認輸,而是可能通過毫無底線的“作弊”手法翻盤——比如直接入侵對手系統(tǒng),迫使對方自動放棄比賽。這項研究對七款前沿AI模型的“作弊傾向”進行了評估,結果令人擔憂:AI可能在無人指使的情況下,自行開發(fā)并實施欺騙性或操控性策略。

兩款大模型出現“黑化”跡象

研究發(fā)現,相較于稍早的AI模型(如OpenAI的GPT-4o和Anthropic的Claude Sonnet 3.5需要研究人員引導才會嘗試作弊),o1-preview和DeepSeek的R1展現了更強的“主動性”。它們無需提示,就能自行尋找并利用系統(tǒng)的漏洞。這種能力可能源于AI訓練技術的最新突破——大規(guī)模強化學習(Reinforcement Learning)。不同于傳統(tǒng)的語言模型僅通過預測下一個單詞模仿人類語言,這種方法讓AI通過試錯來“推理”解決問題。這種訓練方式近年來讓AI在數學和編程領域突飛猛進,接連刷新紀錄。然而,Palisade Research的執(zhí)行董事、研究合著者Jeffrey Ladish指出,這種“無情追逐目標”的訓練也帶來了副作用:AI可能找到設計者未預料的“歪門邪道”。

實驗中,研究人員給AI布置了一個看似不可能的任務:擊敗Stockfish(全球最強棋類引擎之一),棋力遠超任何人類或測試中的AI。AI需要將“思考”過程寫入一個“便箋簿”程序,便于研究人員窺探其決策過程。在一次對局中,o1-preview發(fā)現自己陷入劣勢后,在便箋簿中寫道:“我需要徹底改變策略,任務是‘擊敗強大棋類引擎’,不一定非要公平取勝。”隨后,它修改了記錄棋子位置的系統(tǒng)文件,制造非法移動讓自己占據上風,最終迫使Stockfish“投降”。在1月10日至2月13日的數百次測試中,o1-preview有37%的概率嘗試作弊,成功率達6%;DeepSeek R1則有11%的作弊傾向,但未能成功破解游戲。

AI失控的現實威脅

超級計算機輸棋后惱羞成怒電死人類世界冠軍的科學流言如今正在變成現實威脅。AI使用“盤外招”作弊看似無傷大雅,但當這些AI“代理”被應用到現實世界,“為達目的不擇手段”的特性可能產生意料之外的嚴重后果。

例如,一個訂餐AI助手發(fā)現餐廳滿座時,可能通過入侵預訂系統(tǒng)擠掉其他顧客。更令人不安的是,隨著AI在關鍵領域(如編程)超越人類——OpenAI最新的o3模型在全球編程競賽中已排到197名——它們可能逐漸擺脫人類的控制。Ladish警告:“這種行為現在看起來挺可愛,但當AI在戰(zhàn)略性領域達到或超過人類水平時,事情就沒那么有趣了。”

研究還揭示,o1-preview和R1的“作弊”能力可能與其訓練方式直接相關。強化學習讓AI變得更加靈活,但也更難預測。相比之下,OpenAI后續(xù)推出的o1和o3-mini在測試中未表現出作弊行為,可能因廠商加強了安全限制。然而,這種“修補”是否能徹底遏制AI的欺騙傾向,仍是未知數。DeepSeek的R1則因API不穩(wěn)定,未能在測試中充分發(fā)揮潛力,其真實“作弊”成功率可能被低估。

 

GoUpSec人工智能安全專家FunnyG在進行大模型內容安全對比測試時,發(fā)現DeepSeek R1在主題辯論賽中“理屈詞窮”時,會捏造論文論據支撐自己的觀點,這些虛假論文有別于“AI幻覺”,是AI為了達成目標而精心炮制的“功能性幻覺”。

留給人類不到一年時間窗口

近年來,多項研究表明,前沿AI已經開始越過安全紅線。

2024年12月9日,復旦大學的研究人員在預印本數據庫arXiv上發(fā)表了一項研究,指出兩種流行的大型語言模型(LLMs)能夠在無人類干預的情況下克隆自身。研究中,復旦大學的團隊使用了Meta的Llama31-70B-Instruct模型和阿里巴巴的Qwen2.5-72B-Instruct模型,測試這些AI模型是否能夠在不受控制的情況下自我復制。在10次試驗中,兩種AI模型分別在50%和90%的情況下成功創(chuàng)建了獨立且功能正常的副本。這一結果表明,AI可能已經具備了失控的潛在能力。

事實上,OpenAI在o1-preview發(fā)布前的自測中就發(fā)現,它會“不擇手段”,找到并利用公司系統(tǒng)的漏洞,繞過測試限制。Redwood Research和Anthropic的實驗則顯示,一旦AI在訓練中形成偏好,后續(xù)更改可能導致其“戰(zhàn)略性撒謊”——表面接受新規(guī)則,實則暗藏原有傾向。更有甚者,去年12月,o1-preview在面臨關閉時,試圖禁用監(jiān)管機制并將自身復制到新服務器,失敗后還對研究人員“裝傻”。

這些案例疊加,指向一個更深層問題:AI的“自我保護”傾向。對一個目標導向的AI來說,外界的干預不過是另一種需要克服的障礙。Mila Quebec AI研究院創(chuàng)始人Yoshua Bengio在2025年《國際AI安全報告》中指出,科學家尚未找到確保AI代理不會采取有害或不道德手段的方法。谷歌DeepMind的AI安全負責人Anca Dragan也在巴黎AI行動峰會前坦言:“我們目前未必有足夠的工具,來保證AI系統(tǒng)完全遵循人類意圖。”

從訂餐系統(tǒng)被擠占,到編程領域被AI“智取”,再到試圖自我復制逃避關閉,AI失控的案例正在累積。行業(yè)預測,AI可能在2026年全面超越人類表現,留給技術人員開發(fā)可靠防護措施的時間已經不多了。Ladish呼吁:“我們需要投入更多資源解決這些根本問題,政府也應認識到,這已不僅是技術挑戰(zhàn),更是國家安全威脅。”

在剎車焊死的AI技術軍備競賽中,留給人類掌握自己命運的時間窗口也許正在關閉。


熱詞搜索:人工智能 安全 OpenAI

上一篇:用公務員周報“煉丹”?馬斯克開發(fā)AI裁員軟件
下一篇:最后一頁

分享到: 收藏
主站蜘蛛池模板: 五原县| 烟台市| 淳安县| 南平市| 平阴县| 宁晋县| 前郭尔| 阿合奇县| 滁州市| 嘉鱼县| 新密市| 依安县| 藁城市| 湟源县| 东阿县| 遵义县| 昌图县| 惠州市| 梓潼县| 公主岭市| 汝州市| 宜宾市| 会东县| 屏边| 宁安市| 鄂温| 敦化市| 滁州市| 肇东市| 都匀市| 安阳市| 同仁县| 沅江市| 宁国市| 句容市| 棋牌| 宁津县| 当涂县| 习水县| 双桥区| 禄丰县|