國際手語日|中大與Google、日本團隊合作 推出網上手語遊戲

撰文:鄧穎琳
出版:更新:

今日(9月23日)是每年一度的國際手語日,中文大學的研究團隊早前與Google、日本財團和關西學院大學合作,研發出全球首個結合人工智能及手語語言學理論的多語言網絡遊戲「手語村」。

玩家需以手語為主要溝通語言,在虛擬小鎮中完成任務,包括在餐廳點菜,人工智能識別系統則會分析玩家所打手語的準確度,並補充解釋「手語」的意思及文化。

左起為中大手語及聾人研究中心副主任施婉萍、中大手語及聾人研究中心助理電腦主任鄭家耀。(中大提供)

鋪路開發港日手語自動翻譯系統

中大、Google、日本財團和關西學院大學於2020年共同啟動「Shuwa計劃」,希望以香港手語及日本手語為起點,將來開發手語自動翻譯系統。

經一年多努力後,團隊設計出首個機器學習模型,以攝影鏡頭追蹤及人工智能分析手部動作、肢體動作和面部表情特徵,開發全球首個結合人工智能和手語語言學理論的多語言網絡遊戲「手語村」,讓玩家以遊戲形式學習香港手語及日本手語。

中文大學的研究團隊早前與Google、日本財團和關西學院大學合作,研發出多語言網絡遊戲「手語村」。(中大提供圖片)

人工智能識別系統解釋手語意思

「手語村」早在今年5月推出測試版本,香港及日本兩地累積逾8,500人使用,並於今日正式面世。玩家需以手語為主要溝通語言,在虛擬小鎮中完成任務,包括在餐廳點菜、尋找酒店住宿等,人工智能識別系統則會分析玩家打手語的準確度,解釋不同手語的意思及文化。

團隊解釋,世界各地手語有所不同,但手形、方向及動作等特徵相通,變化有限,未來「手語村」會加入更多場景、手語詞彙及更多地方的手語,長遠期望開發一個手語自動翻譯模型,令常見的電腦或手機鏡頭可將手語翻譯成口語,提供紀錄及學習手語的平台,讓聾人可以手語參與社會、經濟及文化活動,建立無障礙社會。