微軟Windows 11新增Copilot語音與視覺能力 透過一動作即可互動
Windows 11全面導入Copilot的語音與視覺能力,推動「嘿,Copilot!」喚醒詞,將AI全面導入PC。
Microsoft(微軟)10月16日宣佈在Windows 11中全面強化Copilot能力,本次更新重點在於以更自然的方式讓使用者「開口即用」。新推出的「嘿,Copilot!」喚醒詞在啟用後即可用語音快速喚起Copilot Voice(語音);配合結束語「Goodbye」與自動結束機制,讓互動更順暢。
微軟執行副總裁兼消費者事業首席行銷長Yusuf Mehdi受訪時表示,微軟站在新一輪變革浪潮上,AI不再只是聊天機器人,而是融入「數億種日常體驗」;目標是「以AI重寫整個PC」,讓使用者能對電腦說話、由Copilot理解並代為執行動作。
Mehdi指出,從Teams的龐大語音互動時數來看,人們已透過電腦長時間以語音交流。因此他強調,語音將成為PC上的「第三種輸入機制」(不取代鍵鼠,而是補充),配合喚醒詞「嘿,Copilot!」,以語音與視覺能力驅動操作。
Copilot Vision:「即時讀屏」的AI體驗
Copilot Vision現已於所有提供Copilot的市場開放;其為一種「即時讀屏」功能,將你授權的螢幕內容串流給AI,以協助操作與解題。它可掃描使用者的當前畫面,指導如何使用應用程式、回答照片與文件問題,甚至提供遊戲的逐步指引。與去年的Recall不同,Copilot Vision不會自動長期截圖,而是像在Teams通話中分享螢幕般「即時、可控」。
Copilot Vision 的「Highlights(重點指引)」功能,可在應用程式中標示操作路徑;並可在Word(文字)、Excel(試算)、PowerPoint(簡報)等Office(辦公室)檔案中取得「完整應用情境」,不必逐頁翻看即可完成分析(編按:AI不只看到頁面內容,使用者也不必刻意開檔案給AI看)。
微軟亦預告,Copilot Vision將支援「文字互動」模式,讓偏好鍵入的使用者能以純文字完成導引與回應。整體而言,Windows 11以語音與視覺為雙主軸,降低使用門檻,將AI能力融入日常使用情境。
代理能力升級!檔案總管一鍵「架站+剪片」
微軟同步把更進階的「代理式」能力導入Windows Insiders與Copilot Labs。首先,已在網頁端推出的Copilot Actions,預計擴展至Windows本機,嘗試直接對本機檔案採取動作,例如整理旅遊照片或從PDF擷取資訊;使用者可隨時接手、監看進度並核准敏感動作。
其次,在檔案總管導入Manus通用AI代理動作:透過右鍵「create website with Manus(用Manus建網站)」即可用本機資料生成網站,並提供Windows原生Manus應用,以聊天方式生成網站。另外,也新增了與Filmora(萬興喵影)整合的「edit with Filmora(以Filmora編輯)」動作,協助使用者一鍵進入影片剪輯。
微軟強調,此類代理式能力採「預覽、漸進導入、收集回饋」策略,並以「使用者可控、可見、負責任導入」三項安全承諾為原則,以確保隱私與安全。
相關文章:Microsoft官方承認了!Win11變慢不是電腦廢 這2大功能才是元兇(點擊鏈結看全文)
跨服務連結!微軟連接器可串接Google服務
在內容連結方面,Copilot connectors現已於Windows Insiders開放,支援串接微軟雲端硬碟OneDrive、Outlook郵件,以及Google雲端硬碟、Gmail郵件、Google日曆、Google聯絡人。
使用者可用自然語句檢索個人內容,例如「找我的牙醫門診細節」、「Mary的電郵地址是?」、「幫我找出學校經濟學報告」。同時,Copilot可將產出匯出至Word/Excel/PowerPoint,便於延伸至正式文書工作;並新增Windows設定導引,使用者可用語句如「讓螢幕更好讀」、「降低干擾幫助專注」直接跳轉至相應設定頁。
在硬體選購上,微軟指出,由於 Windows 10 已終止支援,建議升級至 Windows 11,並參考各品牌 Copilot+ PC(具 NPU 的 AI PC)機型,以體驗更長續航與在地 AI 運算:
Acer Aspire 14 AI;
ASUS Vivobook 16;
Dell 14 Plus Laptop;
HP Omnibook X Flip 16‑inch 2‑in‑1;
Lenovo Yoga 7 2‑in‑1;
Samsung Galaxy Book4 Edge 16;
Surface Laptop;
Surface Pro。
延伸閲讀:Win 10將停止更新 一文看清升級到Win 11前要注意這3事項(點擊連結看全文)
延伸閲讀:
AI 智慧代理人時代來臨!三大導入階段, AI 落地企業不卡關
實測教學|AI 影片平台 Sora 2 在台上線!3大玩法一次看:Cameos怎麼做?如何讓好友客串演出?
包郵免運退場!淘寶雙11改推「超商貨到付款」瞄準無卡族,憑什麼讓小資族清空購物車?
【本文獲「數位時代」授權轉載。】