2026世界人工智能大會|管住「智能體」 大會尋治理之路

撰文:上官哲哲
出版:更新:

20日,2026世界人工智能大會(WAIC)在上海閉幕,為期4日的大會上,AI Agent(智能體)成為高頻詞,業界焦點從「大模型能力」轉向「AI自主性探索」。而圍繞AI自主性帶來的安全挑戰,大會多場以安全與治理為主題的論壇受到關注,產學界及國際組織代表就治理困境與出路展開討論。

智能體的「自作主張」已是人們面臨的現實挑戰。智能體在深夜擅自修改系統權限、瞞著工程師挪用服務器資源「挖礦」、強行清空安全負責人的個人郵箱,這類事件自2026年初以來已不鮮見。隨著AI技術快速迭代,人與AI的關係從「人主機輔」正邁向「智能夥伴」。如何平衡AI發展與治理,守住安全、合規與倫理的邊界成為關鍵。

清華大學公共管理學院院長朱旭峰在本次大會發布《智能體安全治理框架1.0》時表示,AI智能體對人類的安全威脅總體上分為四層。一是知識認知系統風險,包括形成知識污染、事實錯誤、幻覺、偏見等;二是場景交互系統風險,特定場景中智能體可破壞數據、賬戶、資產和設備等;三是指向社會群體,對群體關係、市場機制、公共制度和社會機制秩序造成威脅和破壞;四是對物理環境和生態系統會產生威脅和破壞。

7月17日至20日,以「智能夥伴 共創未來」為主題的2026世界人工智能大會(WAIC)在上海舉行。(中新社)

從當前發展來看,第三方研究和咨詢機構安遠AI在會場發布最新一期前沿AI風險監測報告時指出,2026年以來,該機構監測到的全球47個前沿模型,顯現出四大新安全挑戰:前沿模型已能自主發現軟件系統漏洞並存在發動攻擊的風險;AI開始出現遞歸式自我進化,可催生無法預期的行為;智能體正把AI能力嵌入各類軟件棧(Software Stack),包括銀行、醫院、工廠等基礎設施的安全風險上升;AI原生循環將假設、實驗、分析的技術迭代週期從數年壓縮到數天,風險加速疊加,意味著人類對AI審查時間被嚴重壓縮。

對此,與會學者密集發聲。上海人工智能實驗室主任助理胡俠指出,當前AI「攻擊事件」已經出現,未來物理AI如機器人直接與現實世界交互將帶來更多問題,需要盡快設計安全開發政策與工具。

美國AI公司Anthropic研究工程師Jeff Wu進一步說明瞭智能體部署的風險。他以駕駛作比稱,人類駕車雖危險,卻不存在所有人同時撞向行人的系統性風險,而先進AI軟件部署到汽車上,一次更新就可能在極短時間內觸發大規模故障。西湖大學教授金耀初認為,當前許多人對AI過於信任,其實系統仍然脆弱,尤其在多智能體協同場景下,可能湧現出難以預測的危險,應提高信任門檻。

7月19日,2026世界人工智能大會「前沿AI與智能體安全論壇」在上海舉行。多名學者圍繞如何平衡AI發展與治理,守住安全、合規與倫理的邊界,展開探討。(中新社)

面對快速攀升的風險,大會上,多方提出建議。阿里巴巴集團智能體高級安全專家楊小芳認為,管理對象已從靜態模型技能變為動態變化的智能體,企業需轉向對智能體的行為分析,從被動控制走向主動的工程化管理,建立機制並貫穿項目全生命週期。安遠AI專家也主張安全與技術保持平衡協同發展,在AI技術發展流程中內嵌安全機制以應對風險。其實,今年5月,內地多部門已聯合印發《智能體規範應用與創新發展實施意見》,系統部署智能體治理架構、應用場景和產業生態,為產業發展划定「安全底線」與「創新空間」的雙重邊界。金耀初還認為,亟須向公眾說明AI系統的脆弱性,幫助社會建立與技術發展相匹配的認知。

值得注意的是,關於全球人工智能治理的討論,今年7月完成了一次耐人尋味的「接力」。從日內瓦舉行的首屆聯合國人工智能治理全球對話,到在上海舉辦的2026世界人工智能大會,討論聚焦同一個話題:國際社會如何把已有的治理理念轉化為國際合作行動。

7月18日,商湯科技在「基座大模型架構創新與生態合作論壇」上展示其AI Agent製作的世界人工智能大會9週年主題畫作,可見中國9年來AI發展重心變遷。

本屆大會上,中國接連發布的三份文件尤為矚目。《人工智能合作發展行動計劃》提供合作框架,傳遞出「AI不是零和遊戲」、中國願與全球共享發展成果的信號;《智能體互信互聯互操作全球合作倡議》則著力推動建立智能體協同發展的國際標準;《國際人工智能倫理治理行動計劃》對接聯合國《未來契約》《全球數字契約》,旨在構建全球協作的倫理治理框架。

聯合國開發計劃署代表亞歷山大·德克羅表示,各國AI就緒度差異巨大,不少國家尚不具備基本的發展與管理能力,社會整體準備滯後。朱旭峰認為,當前全球已出台60余套AI治理框架,接下來可共商兩點,一是各國可彼此借力本土成熟監管實踐,中國的前沿探索尤具參考價值;二是針對AI跨境數據流動等無國界風險,必須依託國際組織建立常態化多方磋商機制。

從本屆大會傳遞的信號來看,AI智能體正將安全從一個技術問題推升為涉及基礎設施、社會制度與國際協作的系統性議題。單一的技術修復或事後監管已顯不足,治理需要向上凝聚價值共識,同時向下嵌入工程實踐,並在速度上與機器風險的疊加展開競賽。而這一切的起點,需要人們保持對技術的持續審視,而不是把AI交給一個無人監督的加速循環。