你在生活與工作中會運用AI幫你做事嗎？ 不論是大家最熟悉的ChatGPT，還是Gemini或Meta的Llama等大語言模型，主要都是署在雲端且開源的，只要付費或者向雲端服務租用「算力」，任何人都可以利用這些開源LLM，打造自己的AI伺服器。

但企業的考量還要更深一層，例如透過雲地混合部署AI伺服器，讓簡單的運算在地端邊緣伺服器執行，更大型或難度更高的運算再運用雲端算力，長久下來能夠更有效率，也能節省成本。而更加注重隱私性或需要運用行業專有知識的企業，則會選擇建構企業私有化的LLM，但部署私有AI伺服器最大的難題：1. 費用高昂、2. 訓練與維護不易，對企業來說有沒有更好、更快速部署企業AI的方式呢？

私有化AI的優勢

隱私保護：企業的數據不需要上雲，不須聯網就可以運作，確保機敏數據的資訊安全

更加快速：不需要聯網，運算全靠地端自有算力，能夠更快響應需求

高穩定性：不受到網路連結延遲的影響，確保服務的持續性

成本效益：長期使用可以節省雲端空間及算力租用的費用

在這些優勢加持之下，私有化AI成為企業導入AI的選擇。鼎新電腦長年來協助客戶建構行業知識庫，應用合作夥伴群聯電子所開發的"aiDAPTIV"AI一體機方案，能讓企業快速且低價部署70B參數的大語言模型。採用LoRA技術訓練的大模型，相較一般Fine-tund(微調)技術可用更少的資料參數以及算力，封裝屬於企業專屬的資料，訓練出具備企業所需要的專有知識的企業私有大模型。

私有化AI的挑戰

在有限的硬體運行大模型：

利用LoRA(Low Rank Adaptation)技術訓練前置小模型，就能在參數較小的開源大模型提供更加精準以及符合企業所需的AI應用場景

高效運用伺服器算力：

群聯電子aiDAPTIV運用成本效益高的閃存技術，提升數據中心的工作負載量

模型持續更新：

在私有化AI或邊緣伺服器持續運算的數據資料，在數據脫敏後鼎新再進行企業模型的預訓練，確保企業AI符合專業知識能力

私有化AI的未來

隨著部署私有化AI的成本與門檻降低，AI不需要隨時隨地連上網才能使用，更快更有效率的邊緣運算技術，讓我們可以期待這些場景成真：

• 製造業產線上的設備都具備邊緣AI運算的能力，能夠預測性的維護設備運行，掌控並分析生產狀態
• 城市發展可以即時偵測像是交通流量狀態，優化路口燈號，監控公共安全
• 零售業分析顧客線上或在門市百貨消費行為，提供店家決策意見
• 個人工作的智慧AI助理，協助工作者更加高效處理各種工作場景