在過去，要控制機器人便需要專業人員撰寫機器人語言(專屬的機器人控制指令)。而利用大型語言模型(Large Language Model, LLM)直接控制機器人，代表從硬編碼(Hard-coded)到具身智慧(Embodied AI)的典範轉移。本文介紹大型語言模型應用於機器人組裝(鎖螺絲應用)，該應用整合三大核心技術，包含：(1)以大型語言模型為基礎的任務規劃，可將自然語言指令轉換為可執行動作序列並支援即時錯誤恢復；(2)視覺、力覺與大型語言模型之三重感測融合，並運用於夾取、組裝與判定；(3)機器人控制演算法搭配YOLO(You Only Look Once)物件檢測。
針對傳統的工業機器人，如ABB、FANUC、KUKA、Yaskawa等，各廠家有自己專屬的機器人語言，而這便是廠商自動化轉型最痛的「隱形成本」，以下歸納出幾個核心的不便之處與實際導入障礙：
● 機器人語言標準不統一：這是最大的障礙，每一家機器人廠牌都有自己的語言，且語法邏輯差異巨大。如果需要整合不同品牌的機器人設備時，工程師需要同時掌握多種語言，導致技術人員培訓成本極高，且難以將一套自動化邏輯快速遷移到另一條設備或產線上。
● 程式編寫困難：傳統機器人語言大多高度依賴「教導器」手動教導點位。對於複雜的幾何表面，需要手動調整成百上千個點位，整個過程會極度耗時也容易出錯。對於「少量多樣」的生產模式，若更換一款產品就需要重新撰寫機器人編程好幾天，對於中小型企業而言，自動化設備的閒置(低稼動率)等於浪費掉節省的人力成本。
● 除錯與維護不易：傳統機器人語言通常不具備現代軟體工程的除錯工具(程式邏輯僵化，缺乏自適應能力)。除錯時往往需要「逐行單步執行」。對於現場維護人員來說，當程式指令達到數千行以上時，修改一個小參數都可能引發連鎖反應，產生不可預測的停機風險。
▌大型語言模型技術應用於機器人控制
大型語言模型是基於神經網路的深度學習模型，透過大量資料與多模態數據預先訓練。它能理解上下文，執行翻譯、摘要、問答、推理及內容生成，是當前生成式人工智慧的核心技術之一。傳統機器人編程是給出「指令序列」，而大型語言模型則是透過「任務描述」進行邏輯拆解。例如，對機器人下達「拿取桌上的方型金屬工件」指令，大型語言模型會自動規劃出視覺識別、避障路徑、抓取策略，使用者無需預先寫死每一個步驟與每一點的座標。當面對不同形狀的工件(如換成長條型金屬工件)，大型語言模型能夠根據先前訓練的知識庫，調整抓取點位或作業參數，解決傳統工業機器人「一種程式只能做一種工件」的僵化問題。對於現場作業員而言，無需學習艱深困難的機器人語言，而只需要透過語音或文字指令，即可直接調整參數。例如，「將研磨力道調大30%」，大型語言模型便會自動將其轉換為對應的力矩控制參數與控制器指令，這對於使用者而言，極大提升工作效率。另外，大型語言模型能夠同時處理視覺、力覺、數據與文字等資料，讓機器人可以「看見」異常，「聽懂」現場作業員的抱怨，並「感知」力道大小，從而做出綜合決策。
▌機器人語言與大型語言模型驅動機器人的差異比較
傳統機器人語言驅動機器人，其好處在於以下幾點，(1)穩定性與可靠性：工業環境講求高稼動率，透過機器人語言驅動機器人，保證每一次的動作軌跡誤差都在微米等級；(2)即時控制：對於碰撞檢測、力回饋控制，傳統語言能確保響應速度，這是大型語言模型目前仍難以做到的；(3)安全規範：符合ISO安全標準要求，能明確定義緊急停止與異常處理邏輯。反之，缺點也很明顯，主要就是缺乏彈性，若產線更換工件或路徑，工程師需要重新修改程式或重新教導點位，無法應對多樣化的少量多樣生產。
大型語言模型在機器人領域的角色，主要是扮演大腦的角色，而非運動控制核心(類似機器人語言所扮演的角色)，其好處在於以下幾點，(1)能夠將模糊的指令，轉化為具體的機器人執行計畫；(2)自動處理複雜邏輯並進行任務拆解。例如，可以控制不同手臂的動作順序，無需手動編寫所有可能的控制邏輯；(3)允許現場操作員直接用語音或文字調整作業內容，降低了中小企業對於專業自動化人才的依賴。反之，缺點也很明顯，主要就是幻覺問題，如可能規劃出物理上不可行的動作；延遲問題，雲端推理產生的延遲不適合用於高頻率的運動控制(如表1)。
▌大型語言模型驅動機器人執行鎖螺絲應用
大型語言模型運用於鎖螺絲應用，最直接的策略是利用能夠處理多模態輸入的大型語言模型，尤其是多模態大型語言模型(Multimodal Large Language Models, MLLM)，判斷機器人感測器所獲取的當前狀態是否符合預期或特定成功條件[1]。這類方法的核心思想是將感測器數據與任務描述或環境上下文等文本訊息一同作為MLLM的輸入[2]。
整體而言，任務規劃大致可分為4個階段。第1階段為工件影像辨識(辨識螺絲)；第2階段為辨識洞孔；第3階段為力感測；第4階段為大型語言模型。為了確保大型語言模型能夠具備對環境的深層理解與自主決策能力，系統配置多相機系統，確保系統能夠從不同視角獲取豐富的視覺資訊，可作為有效支援後續的物件辨識、軌跡規劃與組裝狀態評估任務。
● Eye on hand相機(深灰框)：採用Intel RealSense D435i並固定於桌面上，主要負責檢測與定位組裝孔洞的精確位置(透過You Only Look Once(YOLO)演算法辨識)，為機械手臂提供初始導航目標。由於有多個孔洞，因此會先關注影像畫面右下角的孔洞作為優先組裝。
● Eye in hand相機(白框)：採用Intel RealSense D435i並固定於機械手臂上，用於捕捉組裝過程中的近距離視角，為大語言模型提供即時的組裝狀態判斷依據(判斷是否組裝完成)。
● Eye in hand相機(淺灰框)：採用Zed X mini並固定於環境上方，採用俯視角度進行螺絲位置的全域檢測與追蹤，並將檢測結果轉換至機械手臂座標系統中。由於有多個螺絲，因此會先關注影像畫面右下角的螺絲作為優先組裝(如圖1)。
▌實驗步驟—夾取階段：辨識螺絲
本研究的影像辨識採用Intel RealSense D435i與Zed X mini兩種深度相機配置，透過 YOLO v11物件檢測進行目標辨識，分別使用了200張不同角度的螺絲與洞孔的圖片進行訓練，如圖2所示。單一工件辨識率達95%以上，多工件目標辨識率達85%以上。同時也搭配粒子濾波器來預測目標物位置，可以有效解決組裝過程視覺可能被遮擋的問題。
▌實驗步驟—夾取階段：辨識洞孔
使用YOLO v11作為物件檢測訓練，使用100張個角度的洞孔視角作為資料集，辨識所有洞孔成功率約95%以上，如圖3所示。
...更多內容，請見《機械新刊》雜誌
