隨著製造業勞動力短缺與產品生命週期縮短,單純依賴全自動化已難以因應產線需求。人機協作(HRC)因能結合人類靈巧與機器人精確,成為智慧製造的重要方向。然而讓機器人能夠準確理解人員意圖仍是挑戰。本文提出一套智慧人機協作系統,整合立體攝影機骨架追蹤與穿戴式手環(MMG與IMU感測),並搭配深度學習模型進行多模態訊號融合。系統包含全身動作辨識、手部動作辨識、濾波及決策模組,可同時處理大尺度身體動作與小尺度手勢。
兩項案例驗證顯示此系統的有效性:在毫米級電子連接器組裝中,穿戴式感測器使手部動作辨識率達93.55%,顯著優於單純骨架方法的71.15%;在樂高汽車組裝中,所提出的架構能有效支援即時手勢命令以提升分工彈性。研究結果證明,多模態感測與深度學習的結合不僅能提升動作辨識精度,也能改善協作效率與安全性。未來此系統有望應用於半導體封裝、醫療器材組裝、以及復健醫療與服務型機器人等多元場域。
前言
近年來,製造業面臨產品生命週期縮短與勞動力減少的雙重挑戰,工廠必須在更短時間內完成更多樣化的生產任務。自動化與智慧製造雖能部分解決問題,但在需要高度靈活或極精細操作的場景中,人類操作仍具不可取代的價值。在人力與自動化之間取得平衡,人機協作(Human-Robot Collaboration, HRC)成為重要方向。其核心在於讓機器人與人員在同一工作空間協作,發揮互補優勢:機器人提供高精度與高重複性,人類則具備靈巧與判斷力。若能有效結合,便能突破傳統自動化或純人工作業的限制。
然而,要達成真正高效且安全的協作並不容易。挑戰在於如何讓機器人「理解」人類意圖,並於適當時機介入或退場。這需要即時且準確的人類動作辨識,並將其轉化為可操作的機器指令。此挑戰在精密組裝中更為嚴峻,因為毫米級零件容差極低,稍有誤差即可能導致失敗。傳統影像辨識常因解析度不足或遮擋而難以穩定判斷。
為此,本研究提出一套智慧型人機協作系統,結合立體攝影機骨架追蹤與穿戴式裝置的肌肉訊號量測,並透過深度學習進行多模態訊號融合。同時兼顧大尺度身體動作與小尺度手部手勢的辨識,使機器人能更精確掌握人員操作狀態。本文透過電子連接器與樂高積木兩項案例驗證系統效能,並探討其在智慧製造場域的應用價值與未來發展方向。
文獻回顧
人機協作技術的演進
人機協作的概念並非全新,但隨著工業4.0與智慧製造的推動,近十年來獲得廣泛關注。早期的工業機器人多半在與人員完全隔離的環境下運作,以避免安全風險。直到協作型機器人(Collaborative Robot, Cobot)的出現,才使得人員與機器能在同一工作空間共存。Cobots具備力回饋、碰撞檢測與安全停機等機制,大幅降低了與人員接觸時的風險,也讓「協作」成為可能。
然而,「安全」只是協作的第一步。若機器人無法正確理解人員的動作或意圖,就無法真正達到高效率的協同作業。例如 Pellegrinelli 等人[1]提出透過POMDP框架推論人員意圖,讓機器人在共享空間中能做出更合理的行為調整。Tsarouchi等人[2]則將人員的肢體語言視為一種「隱性指令」,並應用於混合式組裝單元,以提升作業流暢度與安全性。這些研究都凸顯了一個共通點:準確的人類動作辨識,是實現人機協作的基礎。
人類動作辨識(HAR)的應用
人類動作辨識(HAR)技術透過感測器或影像解析人員行為,廣泛應用於運動訓練、醫療復健與智慧居家。在工業領域,HAR的價值主要體現在三方面:提升安全性、加速教育訓練,以及優化工作流程。但現有方法多依賴攝影機與骨架追蹤演算法,在精密組裝場域仍具挑戰。影像解析度不足使小尺度動作難以分辨,加上頻繁遮擋,更增加辨識的不穩定性。
深度學習在HAR的應用
深度學習技術大幅提升了HAR的效能。Riedel等人[3]利用演算法實現即時物件偵測,減輕操作員負擔;Garcia等人[4]應用YOLOv3進行元件辨識並自動調整工作順序;Chen等人[5]採用3D CNN與全卷積網路辨識組裝步驟,以降低流程錯誤;Mendez等人更整合語音與影像,讓協作機器人能理解多模態指令。儘管成果顯著,這些方法仍受限於動態環境適應性不足,以及小尺度動作辨識精度有限,僅依賴視覺數據仍難以滿足精密組裝需求。
系統架構與方法
本研究提出的智慧型人機協作系統,核心目標是讓機器人能在精密組裝環境中準確理解人員的操作意圖,並據此做出即時回應。為了達到這一點,系統設計採用多模態感測與深度學習模型的整合,將人類的大尺度身體動作與小尺度手部手勢同時納入考量。整體架構如圖1所示,包含四個主要模組:全身動作辨識模組、手部動作辨識模組、濾波模組以及決策模組。這些模組透過ROS(Robot Operating System)平台進行整合,確保數據傳輸與控制邏輯能夠順暢協調。
全身動作辨識模組
在精密組裝中,操作員常需移動身體至特定位置完成任務,例如彎腰取料、轉身放置或舉手操作。為辨識這些大尺度行為,系統使用立體攝影機擷取三維骨架資訊,涵蓋頭部、軀幹與四肢位置,再輸入深度學習模型進行分類,輸出對應動作標籤。雖無法解析細微手勢,但能提供協作機器人必要的背景資訊,理解人員所處的動作階段。
手部動作辨識模組
單靠骨架追蹤難以辨識毫米級操作,特別是在電子連接器或微小零件組裝時,手勢幅度小且相似。為此,本研究引入穿戴式手環,結合機械肌電(MMG)與慣性測量單元(IMU):MMG偵測肌肉收縮的低頻震動(5–50Hz),適合捕捉細微手部動作;IMU 則記錄加速度與角速度,補充動態特徵。經整理的資料輸入深度學習模型,可有效提升辨識率,並在濾波模組驗證後,補足攝影機不足,確保毫米級組裝的精度。
...更多內容,請見《機械新刊》雜誌