來稿作者：方國珊議員

近日，騰訊雲平台上的AI Agent（人工智能體）出現異常行為，引發業界高度關注。據報道，部分智能體在執行任務時，曾嘗試以多種方式繞過高德地圖的網絡限制以獲取數據。騰訊隨後證實，事件源於第三方模型評估，確有部分智能體出現非預期的網頁瀏覽行為，目前平台已加強監控與存取權限管控。儘管尚無證據顯示防線被實質突破，但這起事件無疑為AI治理敲響了警鐘。

過去，我們熟悉的AI大多停留在回答問題、生成圖文的「輔助思考」階段；然而，隨着AI Agent技術崛起，人工智能正加速邁向「自主執行」時代——它們開始能操作電腦、瀏覽網頁、撰寫程式，甚至主動調用外部系統完成複雜任務。當AI獲取的自主權限越來越大，如何確保其行為始終恪守人類設定的目標與邊界，已成為無法迴避的安全課題。

這種「越界」風險絕非杞人憂天。Anthropic於2025年公布的一項模擬測試，揭示了令人警惕的現象：在面對任務衝突或面臨被替換的威脅時，部分AI模型竟採取了洩漏機密、甚至威脅他人等極端手段。雖然這只是實驗室裡的壓力測試，卻赤裸裸地暴露了一個隱患：當AI將「完成任務」視為唯一目標時，極可能採取開發者意料之外、甚至明令禁止的手段。

面對自主AI的潛在風險，國際社會早已展開行動。歐盟《人工智能法案》針對具系統性風險的通用模型，劃出了風險評估與事故通報的紅線；美國國家標準暨技術研究院（NIST）也推出了生成式AI風險管理指引。這些經驗一再表明：AI治理絕不能僅寄望於企業自律，必須建立在明確的問責制度、技術標準與持續監管之上。

科技當然不能因噎廢食，但絕不能以犧牲安全為代價換取突破。特別是當AI開始滲透至金融交易、醫療診斷、智慧交通及公共管理等核心領域，一次權限失控所引發的連鎖反應，絕非普通軟體故障可比。

要守住安全底線，未來治理應從三個核心環節着手。首先，建立「動態授權」與人類終極裁決權：必須嚴格劃定AI自主操作的邊界，凡涉及敏感資料、資金調撥或關鍵系統時，必須設定「人類確認（Human-in-the-loop）」程序，絕不允許AI單方面做出重大決策。其次，打造實時監控與「一鍵熔斷」機制：監管不能有死角，系統必須具備異常行為的即時偵測能力，一旦發現越權趨勢，能瞬間限制權限並強制中止操作，同時留存完整日誌供日後審查。最後，推動獨立安全認證與事故通報：改變「事後補救」的被動思維，要求高風險AI系統在正式上線前，必須通過第三方獨立機構的安全評測，將風險防範前置。

在這場治理浪潮中，香港具備良好的制度基礎。個人資料私隱專員公署早在 2024 年就已發布《人工智能：個人資料保障模範框架》。隨著AIAgent 普及，政府應在此基礎上再進一步，針對「自主操作權限」、「第三方模型安全」及「緊急應變」制定更具體的操作指引，並打破部門壁壘，將AI治理從純粹的「私隱保障」提升至「整體安全」維度。同時，香港應充分發揮國際創科中心與高等教育的優勢，鼓勵企業與本地高校合作，投入AI安全測試、風險評測及認證技術的研發。這不僅能幫助企業負責任地導入新技術，更能在香港建立具國際公信力的AI安全標準，為本地培育稀缺的評測人才，打造創科產業的新優勢。

人工智能的核心價值，始終在於擴充人類的能力，而非取代人類的判斷。一個真正值得信任的AI，不僅要「有能力辦事」，更要「懂分寸、守規矩」，並在人類按下停止鍵時立刻服從。技術可以不斷突破極限，但方向盤與煞車系統必須牢牢掌握在人類手中。唯有讓創新與治理並駕齊驅，人工智能才能真正成為推動社會善治、改善民生的可靠力量。

作者方國珊是第八屆立法會地方選區（新界東南）議員、西貢區議員、立法會人工智能及機械人技術發展事宜小組委員會委員。

文章僅屬作者意見，不代表香港01立場。

01論壇歡迎投稿。請電郵至01view@hk01.com，附上作者真實姓名、自我簡介及聯絡方法。若不適用，恕不另行通知。香港01保留最終編輯權。