科大研發具身感知驅動機械臂「EmArm」
模擬人體觸感 開拓具身智能前沿發展
香港科技大學(科大)研究團隊日前成功研發具備全手臂觸覺感知及自適應操控能力的具身感知驅動機械臂系統(Embodied Sensorimotor Robotic Arm)「EmArm」。EmArm將柔軟的光學觸覺皮膚嵌入機械人骨架內部,結合實時決策演算法,使機械臂能感知及分析上臂和前臂接觸的資訊,賦予機械臂模擬人類觸覺感知的能力,以靈活操控不同物件,並能辨識不同的觸碰方式(如搔癢或輕拍等),即時作出情緒反應;透過即時決策避開障礙物,為具身智能機械人發展開闢嶄新研究路徑。
是次研究由科大電子及計算機工程學系教授、鄭家純機器人研究院副院長申亞京教授及其Mevita Robotics Lab團隊帶領。其他作者包括:科大博士後研究員唐一峰博士(第一作者)、李根博士、任豪博士、在讀博士生印天慈、凌征榕、趙浩翔、張蕊佳、前實驗室成員張鐵山教授(現職深圳大學)及楊柳教授(現職天津南開大學)。研究成果已於國際研究期刊《Nature Sensors》發表,論文題為「Embodied sensorimotor integration for whole-arm tactile sensing and adaptive robotic manipulation」。
感知保真度高達97.9% 無縫整合高精度驅動能力
研究團隊受人體結構「骨骼-肌肉-皮膚」啟發,將大面積的柔軟光學觸覺皮膚嵌入EmArm的機械骨架之中,成功實現高強度操作與柔軟觸覺感知一體化。EmArm的上臂和前臂覆蓋着超過71,000平方毫米的柔軟觸覺皮膚,並透過內部亞毫米級的攝影機,分析機械臂受力的分布情況。
EmArm與人類手臂的觸覺感知能力相當接近,其空間解析度達0.085毫米,媲美人體指尖皮膚;分辨出兩個獨立觸覺刺激點距離(兩點辨別閾值)僅18.2毫米,表現更比人類手臂皮膚感知的30至50毫米範圍更為優勝,可見EmArm能夠比人類手臂更精細地分辨接觸點之間的距離。此外,EmArm利用光學感知技術有效消除了電子皮膚複雜布線的問題,並對電磁、光線、溫度、濕度和聲學干擾具良好抗干擾能力。實驗結果顯示,即使在五種不同的環境干擾下,EmArm的感知保真度仍高達97.9%。
更重要的是,嵌入的觸覺皮膚並未對機械臂的高強度操作造成任何實際影響。團隊的研究顯示,EmArm與傳統機械臂的重複定位精準度相若。此外,EmArm可以承受超過15公斤的壓力負載及7.35牛頓米(Nm)的扭轉負載,可見EmArm在單一具身感知驅動的一體化架構上,成功將全手臂觸覺感知能力與高精準度驅動能力無縫整合。
「感知-行動閉環」框架實現五個表情反饋 開拓具身智能發展
研究的通訊作者申亞京教授表示:「要讓機械人具備感知能力,除了要從傳感器獲得準確的原始訊號外,更重要的是如何讓系統快速分析這些訊號,讓機械人『明白』這些觸覺訊息代表甚麼,以及應該『怎麼行動』。我們要處理的是一個高維度、隨時間不斷變化的力場數據流;如果直接採用端到端學習,不僅需要海量標註數據,對算力的要求也很高,難以在機械人平台上實現即時運作。」
研究團隊為了讓EmArm從「傳感器」升級為「智能體」,他們進一步提出了「感知-行動閉環」框架,實時結合關節角度(本體感知)與觸感(外在觸感)的資訊,並提取接觸位置、面積、力度、接觸點數等不同數據,驅動機械臂作出自主決策。在整個系統中,最關鍵的是將感知數據直接回饋至機械臂的運動控制部分。例如當EmArm抓取一個放置位置偏離重心的籃球時,系統會利用實時觸覺特徵與預先學習的策略路線進行比較,實時生成機械臂的角度指令,持續調整上臂與前臂施加的力量,以保持物件平衡。
研究團隊在三個常用場景中展示了EmArm的應用潛力。在「人機互動」場景中,EmArm能夠有效識別五種不同的人類觸碰行為,包括「撫摸」、「捏」、「戳」、「搔癢」及「拍打」,並即時判斷人類意圖,作出「快樂」、「悲傷」、「好奇」、「害羞」或「憤怒」的表情反饋,辨識準確率高達99.8%;在「操控任務」中,當籃球以偏離重心的狀態放置在機械臂上時,EmArm能透過全手臂觸覺反饋與力度控制技術,自主調整姿態,使物件保持穩定;更具挑戰性的是「軌跡重規劃實驗」,結果顯示,當視覺系統無法看見的動態障礙物(例如突然出現的人手)進入運動路徑時,EmArm能立即通過觸覺偵測障礙物、執行緊急停止、判斷障礙物屬暫時或是永久性,並自主重新規劃路徑繞行,展現出EmArm即使在視覺受遮擋的情況下仍具備安全而靈活的智能自主操作能力。
EmArm不僅代表全手臂觸覺感知技術的重要技術突破,更標誌着機械人的設計由「外掛感知」走向「內生智能」,從「視覺主導」邁向「多模態融合」。研究團隊表示,EmArm的架構未來有望進一步拓展至機械人腿部、軀幹等部位,為人形機械人在家居服務、工業、醫療輔助等應用場景中的安全自適應互動,及發展具身智能(擁有實體軀殼,能在真實物理世界中感知、互動與學習的AI)奠定重要發展方向。
研究獲國家科技重大專項「腦科學與類腦研究」、廣東省基礎與應用基礎研究基金、香港創新科技署及大學科技初創企業資助計劃支持。