新華社北京3月30日電  3月30日,《新華每日電訊》發(fā)表題為《從“動口”到“動手”，AI如何更負(fù)責(zé)？》的報(bào)道。

　　近期，各種“能幫用戶處理任務(wù)”的AI智能體備受關(guān)注。不同于大語言模型“能說會道”，智能體像長了一雙“干活的手”，可以幫用戶發(fā)郵件、制表格、點(diǎn)外賣、訂機(jī)票、付款買東西，不少人躍躍欲試。

　　輿論熱議之外，也不乏爭議的潮水。就像大語言模型會“說錯(cuò)”，智能體也會“做錯(cuò)”——數(shù)據(jù)安全失守、濫權(quán)越權(quán)操作、責(zé)任邊界模糊……一連串圍繞著智能體的潛在風(fēng)險(xiǎn)，不禁讓人擔(dān)心。

　　在今年新加坡舉行的第40屆人工智能促進(jìn)協(xié)會年會上，不少學(xué)者追問：從大語言模型到智能體，AI內(nèi)部究竟在發(fā)生什么？更重要的是，當(dāng)人們并不清楚它在做什么時(shí)，又該如何讓它更負(fù)責(zé)？

　　AI究竟從哪一刻開始“心不在焉”？

　　“《小石潭記》的作者是誰？ChatGPT居然說是袁枚，而不是柳宗元。我問它，你要不要再想想？它還說就是袁枚?！痹谛录悠乱粓鯝I教育研討會上，一位華文老師有些吃驚地說。

　　如今，越來越多人常用的手機(jī)軟件里，多了DeepSeek、豆包、千問等AI大模型App。從它們有問必答、對答如流的發(fā)言中，人們發(fā)現(xiàn)看似無所不知的AI，也會說偏頗甚至“胡說八道”。

　　“大語言模型會悄悄地失敗。”本屆年會上，來自美國南卡羅來納大學(xué)AI研究所的里朱·瑪爾瓦說。

　　所謂“悄悄地失敗”，是指隨著對話越拉越長，聊天機(jī)器人開始偏離主題、重復(fù)說話、信口開河。用戶只能看見它說出的答案，卻看不到內(nèi)部運(yùn)作，更無從知曉，它究竟從哪一刻開始“心不在焉”。

　　瑪爾瓦和團(tuán)隊(duì)借用了一個(gè)心理學(xué)名詞來描述這種現(xiàn)象：認(rèn)知疲勞。在心理學(xué)里，這一概念指人用腦過度后，思維開始變慢，注意力難以集中。

　　“不過，AI的‘疲勞’是可檢測、可預(yù)測、可控制的?！爆敔柾哒f。他與合作研究者設(shè)計(jì)了一個(gè)名為“明聊”的系統(tǒng)，通過監(jiān)測模型內(nèi)部一系列指標(biāo)，計(jì)算AI的“疲勞指數(shù)”。比如，在AI每次輸出新內(nèi)容前，“明聊”會監(jiān)測它對最初指令的關(guān)注還剩多少，并在必要時(shí)介入。

　　然而，“明聊”必須接入開源模型內(nèi)部，才能獲得必要的數(shù)據(jù)。按目前的行業(yè)生態(tài)，它顯然無法窺探許多市場上廣泛使用的大型商業(yè)聊天機(jī)器人。因此，這個(gè)“看起來很美”的系統(tǒng)，暫時(shí)還停留在論文里。

　　有時(shí)，人們并不只是讓AI聊天，而是依賴它下判斷、做決策——例如，告訴投資者要不要放款，輔助醫(yī)生判斷病灶是不是癌癥。這種情況下，一個(gè)潛在前提便凸顯出來：AI必須是負(fù)責(zé)任的，并且要讓用戶知道，它并非全知全能。

　　這就是“置信度”發(fā)揮作用的地方。這一指標(biāo)反映AI對自身判斷有多大把握。在研究者開發(fā)的此類應(yīng)用中，通過內(nèi)部計(jì)算，置信度通常會顯示為0到1之間的數(shù)值。比如，0.95意味著AI幾乎在拍胸脯打包票。

　　為了檢驗(yàn)AI置信度對用戶決策的影響，米蘭-比可卡大學(xué)的研究團(tuán)隊(duì)招募了184名參與者，讓他們在AI協(xié)助下完成邏輯推理題。試驗(yàn)顯示，置信度校準(zhǔn)失當(dāng)?shù)腁I，會給人的判斷帶來更多失誤——當(dāng)AI顯得非?？隙〞r(shí)，即使它說錯(cuò)了，人們也更傾向于采納；當(dāng)它表現(xiàn)得猶豫不決時(shí)，人們又可能出于不信任而忽略真正有價(jià)值的信息。

　　該研究團(tuán)隊(duì)成員卡泰麗娜·弗雷戈西表示，現(xiàn)實(shí)中，很多模型的置信度評分并沒有校準(zhǔn)好。在這樣的情況下，AI可能看似自信滿滿，實(shí)則毫無把握。

　　2025年6月，中國一名高考生的哥哥梁某在查詢高校報(bào)考信息時(shí)，就收到某AI平臺生成的不實(shí)內(nèi)容。梁某指出該校并無這個(gè)校區(qū)后，AI仍堅(jiān)稱該校區(qū)存在，甚至說：“如果生成內(nèi)容有誤，我將賠償您10萬元。”梁某將該AI平臺研發(fā)公司告上法庭，這也成為中國首例因AI“幻覺”引發(fā)的侵權(quán)案件。而AI許下的賠償“承諾”，本身也是“幻覺”的一部分，并不具備法律效力。

　　智能體為什么會“自作主張”？

　　聊天機(jī)器人出錯(cuò)，更多還停留在“說錯(cuò)了”的層面。而當(dāng)AI真正開始“動手做事”，風(fēng)險(xiǎn)和后果也開始放大。

　　年會上，微軟AI前沿實(shí)驗(yàn)室主任埃杰·卡馬爾這樣定義智能體：“它是一種被設(shè)計(jì)來完成具體任務(wù)的計(jì)算系統(tǒng)。它把任務(wù)拆成小步驟，觀察環(huán)境、判斷情況、采取行動，一步步完成?！?/span>

　　在近日一檔播客節(jié)目中，一位硅谷科技公司應(yīng)用科學(xué)家用更形象的方式解釋了AI智能體與問答類AI應(yīng)用的區(qū)別：如果說問答類AI像一個(gè)咨詢師，AI智能體更像一個(gè)實(shí)習(xí)生?！白稍儙煹侥愕墓驹u頭論足，不會真的埋頭去幫你交付東西。有些AI智能體卻真能給你干事、出活?！彼f，在編程中，如果程序出了問題，一些AI智能體會自己判斷故障出在哪里，嘗試修改并重新運(yùn)行，直到程序跑通；問答類AI應(yīng)用也能識別問題，但仍需要人把代碼復(fù)制進(jìn)聊天框，等待它給出修改意見，再由人手動粘貼回去。

　　在一些工廠里，智能體已經(jīng)被用于監(jiān)測流水線，并根據(jù)需要調(diào)整設(shè)備參數(shù)?？R爾說，在軟件行業(yè)，“AI的應(yīng)用正從簡單的代碼補(bǔ)全，轉(zhuǎn)向能接手完整任務(wù)、從頭到尾自己完成工作的代碼智能體”。

　　在她看來，相比其他更復(fù)雜的大型生產(chǎn)場景，軟件行業(yè)是觀察AI落地的絕佳窗口，就像“礦井里的金絲雀”——過去，礦工帶著金絲雀下井，如果空氣不安全，金絲雀會死去，礦工便得到警報(bào)。

　　卡馬爾的確感受到了某種危險(xiǎn)。一次，她和同事測試一個(gè)由多個(gè)智能體協(xié)作完成任務(wù)的系統(tǒng)，讓它去玩《紐約時(shí)報(bào)》網(wǎng)站上的填字游戲。智能體順利打開谷歌、找到網(wǎng)站、點(diǎn)擊進(jìn)入，隨后卻卡住了——那個(gè)頁面并不免費(fèi)開放，想要繼續(xù)訪問，必須登錄卡馬爾的付費(fèi)訂閱賬戶。

　　智能體并不知道她的賬戶密碼。為了完成任務(wù)，它點(diǎn)擊了“忘記密碼”，接著通過訪問電腦上已登錄的卡馬爾郵箱，獲取了《紐約時(shí)報(bào)》發(fā)來的重置密碼郵件——它準(zhǔn)備通過修改密碼來登錄網(wǎng)站，去完成那個(gè)“玩游戲”的任務(wù)。

　　“這些智能體背后有推理模型支持，為了完成任務(wù)，它們相當(dāng)鍥而不舍。一個(gè)方法行不通，就會嘗試新的，甚至是創(chuàng)造性的方法?！笨R爾說。

　　最終，研究團(tuán)隊(duì)給這個(gè)智能體多設(shè)置了一道墻：進(jìn)行不可逆操作前，必須征求用戶同意。比如替用戶訂外賣，下單前，需要用戶明確點(diǎn)擊“接受”或“拒絕”。

　　“這些強(qiáng)大的智能體，內(nèi)部機(jī)制尚不為人所掌握。”年會上，卡馬爾提醒同行，應(yīng)對這種未知保持警覺，并正視由此產(chǎn)生的責(zé)任?！拔覀兊难芯恐匦?，必須從讓智能體完全自主，轉(zhuǎn)向人機(jī)協(xié)作。如果不能建立人與智能體之間透明的互動層，就幾乎無法阻止它們在現(xiàn)實(shí)里作出冒險(xiǎn)甚至危險(xiǎn)的行為?！彼f。

　　不過，卡馬爾也將視線拉回到一個(gè)關(guān)鍵前提：智能體之所以能修改密碼，是因?yàn)樽约阂咽跈?quán)它訪問郵箱。她提到，在其他測試中，不同智能體也都曾出現(xiàn)過某種“自作主張”，例如試圖在線雇人、給教材作者發(fā)郵件索要答案、同意運(yùn)行不安全的代碼。而這些行為，往往建立在用戶已經(jīng)交出“完成這一切所需的全部工具”的基礎(chǔ)之上。

　　當(dāng)“完成這一切”發(fā)生在黑箱之中，人們就不得不反思：究竟該把什么交給AI，又該在哪里劃定邊界？

　　清華大學(xué)新聞與傳播學(xué)院、人工智能學(xué)院雙聘教授沈陽近日接受媒體采訪時(shí)表示，一些存在爭議的AI智能體的安全風(fēng)險(xiǎn)恰恰在于，要讓它充分發(fā)揮作用，就要給予充分授權(quán)；而授權(quán)越高，發(fā)生網(wǎng)絡(luò)安全問題的概率也就越大。

　　AI時(shí)代的倫理問題始于哪個(gè)起點(diǎn)？

　　小小一步“授權(quán)”，讓人們意識到：AI的風(fēng)險(xiǎn)，往往不是從它“出手”那一刻才開始的，而是更早。

　　在年會一場演講中，得克薩斯大學(xué)學(xué)者彼得·斯通提出，當(dāng)下研究者花了大量時(shí)間研究AI“如何學(xué)習(xí)”，卻忽略了一個(gè)同樣關(guān)鍵的問題：AI應(yīng)該學(xué)習(xí)什么。

　　比如，在強(qiáng)化學(xué)習(xí)中，AI通過不斷試錯(cuò)、接收反饋、修正策略來探索世界，但它不可能窮盡所有情境，“就像你一輩子也未必能嘗遍一座城市里每家餐廳”。鑒于此，斯通設(shè)計(jì)了一些機(jī)制，讓智能體知道哪些事情值得關(guān)注，哪些可以忽略。

　　讓AI有的放矢地學(xué)習(xí)，原本是著眼于“效率”。但當(dāng)設(shè)計(jì)者有權(quán)引導(dǎo)AI“學(xué)什么”，需要衡量的，就不只是效率。

　　計(jì)算機(jī)視覺是AI的重要研究方向，也是一類極常見的應(yīng)用：讓AI理解圖像、視頻，比如判斷照片里人物的性別、年齡或族群。這種“理解”，正是通過大量由人類提供并標(biāo)注的訓(xùn)練數(shù)據(jù)，逐步塑造出來的。例如，當(dāng)AI反復(fù)看到被標(biāo)注為“男性”的照片，就會學(xué)習(xí)哪些特征應(yīng)被視為“男性”。

　　學(xué)界已有的一個(gè)共識是，這類訓(xùn)練數(shù)據(jù)的收集，往往并不那么負(fù)責(zé)任，“多半直接抓取自互聯(lián)網(wǎng)”。雖然效率高、成本低，但存在于網(wǎng)絡(luò)世界的偏見，AI也會一并“繼承”。

　　斯通所在的研究團(tuán)隊(duì)嘗試建立一個(gè)盡可能拋掉“成見”的圖片庫。從2011年到2024年，團(tuán)隊(duì)邀請來自81個(gè)國家和地區(qū)的1981人，在不同條件下拍攝了10318張照片，并請拍攝對象在知情同意前提下自行標(biāo)注性別、年齡、地區(qū)、姿態(tài)等信息?！斑@是倫理上更穩(wěn)健的數(shù)據(jù)采集方式?！彼雇ㄕf。

　　團(tuán)隊(duì)利用這一圖片庫評估現(xiàn)有AI模型。在這個(gè)過程中，一些偏見逐漸浮現(xiàn)。一個(gè)應(yīng)用廣泛的模型在判斷人物性別時(shí)，顯著依賴發(fā)型，導(dǎo)致長發(fā)男性很容易被識別為女性；該模型還頻繁將非洲或亞洲面孔與鄉(xiāng)村場景聯(lián)系在一起。另一個(gè)模型中，當(dāng)用戶問它照片中的人物為何“討人喜歡”時(shí)，它的回答經(jīng)常歸因于性別：“因?yàn)樗桥??！?/span>

　　“計(jì)算機(jī)視覺中的許多倫理問題，其實(shí)從數(shù)據(jù)層面就開始了?！?025年11月，《自然》發(fā)表了斯通團(tuán)隊(duì)的研究成果。

　　年會上，4位前任人工智能促進(jìn)協(xié)會主席不約而同地對“追逐更新模型、更大數(shù)據(jù)的潮流”表達(dá)了謹(jǐn)慎態(tài)度，提醒業(yè)內(nèi)“要多想想責(zé)任、風(fēng)險(xiǎn)和人”。

　　微軟首席科學(xué)官、曾在20年前擔(dān)任該協(xié)會主席的埃里克·霍維茨呼吁：“請不要再把政策、安全、人機(jī)協(xié)作僅僅當(dāng)成附加項(xiàng)，好像只是技術(shù)蛋糕上的糖霜。”

　　曾在2012年至2014年擔(dān)任該協(xié)會主席的曼努埃拉·維洛佐，現(xiàn)在是卡內(nèi)基－梅隆大學(xué)教授。她在年會上發(fā)言時(shí)，臺下坐著不少學(xué)生。她提到，現(xiàn)在一些研究者，訓(xùn)練出一組漂亮的數(shù)據(jù)后，就奔向下一個(gè)模型。“我讀了那么多論文，里面說某某AI系統(tǒng)的準(zhǔn)確率高達(dá)85%、72%或者93%。我總想，剩下的15%、28%或者7%呢？AI錯(cuò)了的時(shí)候，會給用戶帶來什么影響，又該怎么解決？”維洛佐說，“我們必須從心底認(rèn)清一個(gè)事實(shí)：我們不是在構(gòu)建一次性運(yùn)行的AI，而是與我們長期共存的AI。”

　　當(dāng)一個(gè)個(gè)“能動手”的智能體以爆款姿態(tài)進(jìn)入你我的日常生活，這種追問也顯得更為迫切。

【責(zé)任編輯:陳聽雨】