近年來，閉源語言模型吸引了人工智慧界的關注，帶領了自然語言的突破，但閉源語言模型將模型架構和權重視為專有資產，如GPT(Generative Pre-trained Transformer)對於原始碼、訓練資料和技術文件都不對外公開，且依賴聯網運行，進而導致企業機密可能洩漏，也限制了企業內部的整合能力。這些原因使得企業尋找其他方法，尋求一個安全、且可以發揮企業整合能力的解決方案。如開源語言模型，因為開源語言模型的模型架構和權重允許用戶一起參與模型的開發和改良，且不仰賴聯網的性質，可以保證機密資料的隱私，消除了企業對於人工智能的擔憂，同時調整模型權重與現有企業流程整合，雖然開源語言模型在一般日常上使用也有不錯的表現，但面臨醫學、法律、金融等問題，使得專業領域上仍然不足。這是因為數據數量以及質量的不足使得語言模型無法理解專業性的問題，而建立專業數據庫需要花費大量的運算成本以及標註成本，進一步提高了訓練的門檻和成本，針對這一挑戰，本案提出解決方案，彌補開源語言模型的數據不足問題，並降低企業訓練成本，使其更適合專業任務。通過結合開源語言模型的特性與資料檢索增強生成技術，解決閉源模型的安全性與整合局限，並結合語言模型與企業系統，特別是訓練能協助員工學習與操作的聊天機器人，進一步優化企業的內部流程與生產效率。
前言
近年來，工具機產業的快速發展對員工的專業知識和技能提出了更高的需求，而該產業也面臨因為少子化造成的勞動力短缺，尤其在專業知識領域方面，因缺乏資深的工程師，已經成為影響到企業的生產效率和創新能力。而傳統的訓練模式效率低下、內容標準化不足並且仰賴老員工的指導，進一步加劇了企業對於解決人力資源的難度。針對這些問題，本研究提出了基於開源語言模型的聊天機器人解決目前遇到的困難，其開源模型相較於閉源更安全且靈活，其原因在於不聯網的特性以及可以調整權重整合進公司現有流程，成為首要選擇原因之一，並探討了三種調整方式:檢索增強生成(Retrieval-Augmented Generation, RAG)、模型微調(Fine-Tuning)，以及提示詞工程(Prompt Engineering)。其中，RAG因其靈活性和高效性，成為本研究的核心關注點。
RAG結合了生成模型與檢索技術的優勢，可以即時訪問企業內部知識庫，為員工提供準確且上下文相關的答案，特別適用於專業知識傳遞和問題解決的場景。相比之下，模型微調適合用於解決高頻且固定的問題，但成本較高；而提示詞工程雖然操作簡便，但在應對複雜任務時存在局限性。
本研究透過開源語言模型與資料檢索增強生成的結合可以分析大量的專業文獻、維護手冊和歷史數據，協助企業在無需大量人力投入的情況下，實現設備故障、維護建議和操作指導等任務，從而提高效率並縮短生產停機時間，也減少了培訓人員的周期時間，減少企業培養新進成員等人力成本。
具有專業領域知識之問答機器人建立方法
在現今人工智慧技術的應用領域中，如何調整模型以適應不同的應用場景已成為一項關鍵課題。模型微調(Fine-Tuning)、提示詞工程(Prompt Engineering)以及檢索增強生成(Retrieval-Augmented Generation, RAG)是三種常見的技術選擇，能顯著提升模型在專業領域的能力和實用性。這些方法各有優勢，能滿足多樣化的應用需求，以下針對這三種方法進行深入說明：
1.模型微調(Fine-Tuning)：模型微調是一種針對特定任務或應用場景對預訓練模型進行參數調整的技術，目的是提升模型的專業性和精確性。例如，在需要生成具有特定結構的輸出格式時(如將自然語言輸入轉換為Structured Query Language, SQL語句)，微調是一種有效的解決方案。通過特定領域的數據進行訓練，模型可以學習到更加精細的語義理解和表達能力如圖1。但微調的流程都需要大量的計算資源和專屬數據，並且需要專業技術人員參與，因此其成本相對較高。而微調的效果往往取決於訓練數據的質量和模型設計的適配性，這也使其在實際應用中具有一定的局限性。
2.資料檢索增強生成(Retrieval-Augmented Generation, RAG)：RAG是一種將檢索技術(Retrieval)與生成技術(Generation)相結合的創新方法。其核心特點在於通過語義向量技術對既有的知識庫或資料庫進行深入分析，為每篇文章生成語義向量(Embedding)，並將這些向量存儲於向量資料庫(Embedding Database)中如圖2。當使用者提出問題時，系統會先根據輸入的語意從向量資料庫中檢索出與問題最相關的文件，這些文件作為生成答案的上下文脈絡被納入模型的處理流程。這一方法的優勢在於無需更改原有的語言模型架構，就能有效地增強知識範疇和回答準確性，特別是在面對具有高度專業性的應用
需求。
3.提示詞工程(Prompt Engineering)：提示詞工程是一種專注於設計和優化問題表達方式以提升語言模型輸出品質的技術如圖3。此方法的核心理念在於調整用戶輸入的提示詞，最大程度地激發模型的潛在能力，從而生成更符合需求的回答，而無需修改模型本身或增加額外的硬體資源如。與模型微調或資料檢索增強生成相比，提示詞工程是一種成本較低且操作靈活的技術，因為它不需要專業的技術背景或大規模的數據標註與訓練。提示詞工程可以根據不同應用場景靈活變更，例如，通過調整語氣、結構或用詞順序來提高模型在回答專業問題、推理題或開放性問題時的表現。
...更多內容，請見《機械新刊》雜誌
