ChatGPT讓設備開口問問題? 探索生成式AI與IoT物聯網的新應用!!

AI邁入語言主導時代

如果你在無人路邊聽到:「請就救我!!」的聲音，可不要嚇到!! 這可能是路邊的路燈、機車向你發出求救訊息!! 這是GhatGPT這種生成式AI結合物聯網設備的研究發展，Amazon、Google都如火如荼的進行研究中。

生成式AI，基於大型語言模型(LLMs)的預訓練，可以生成問答、文章、圖形、程式碼乃至於生成材料。如圖所示，生成式AI是基於機器學習、深度學習與自然語言技術的一種AI模型。相較於傳統機器學習，主要用來協助分析與預測，如:銷售預測、預測維護；深度學習協助具備大量特徵的影像與語言進行學習與辨識，如:人臉辨識、物件偵測、光學檢測、自然語言理解等。生成式AI更專注於大量的語言累積所代表的知識學習與推論。這使得生成式AI可以跨越學科，回答化學公式、程式撰寫、繪圖、寫作等，當然也會深刻地影響企業營運、商業運作。因為，我們就是運用產業知識、語言溝通及作業流程進行每日的企業營運。Accenture 顧問公司即說，生成式AI正在帶領我們進入「語言主導」的新時代!!

圖、生成式AI與人工智慧(資料來源: Gartner, Accenture)

那麼，我們鮮少進行溝通及流程整合的設備、物件呢? 生成式AI結合物聯網勢必帶來一種新的企業營運方式。我們正在迎接與路燈、水壺、乃至於機器手臂、生產設備進行深度對話與融合的時代!!

探索生成式IoT的企業應用

結合人工智慧與物聯網的AIoT技術已經協助企業在設備預測維修、光學瑕疵檢測、工業安全、機器人自動化、數位孿生等應用上大放異彩。那麼，生成式AI技術如何更深入地與物聯網IoT整合呢? 以下是舉出幾個應用方向。

• 深度知識搜索: 設備的知識散落在維修手冊、維修紀錄、抱怨紀錄及老師傅的經驗。透過生成式AI的語言彙整、摘要能力，可以提供企業深度的搜索相關數據並進一步進行回答、建議等。新創公司Pryon即利用上下文感知、自然語言、生成式AI和其他技術進行不同數據源的蒐集與彙整資訊。企業員工可以基於語音助理進行互動，該助理可以從不同的數據管道中檢索文檔、數據以進行回答。因此，菜鳥設備維修員可以透過問答方式快速取得各項知識進行學習。

圖、深度知識搜索與問答(資料來源: Pryon)

• 生成式設計: 生成式AI的最大強項就是能夠生成各種內容，特別可以運用在產品、設備的設計生成上。ABB機器手臂製造公司即與Altair、MX3D公司合作，使用增成製造技術、生成式AI、3D列印技術等，設計出比原機器手臂更輕量、操控性更佳、精準性更高的機器手臂。這種生成設計，不但可以提高機器手臂的品質也提供未來快速客製化客戶所需機器手臂的商業營運方式。BMW亦將生成設計運用在產線配置、人機協作的最佳化模擬設計上，提高生產效率。

圖、ABB 機器手臂優化生成設計(資料來源: MX3D)

• 自然語言控制: 利用生成式AI從自然語言轉換程式碼的能力，可以更容易地操作設備、或理解工廠環境問題。例如:Groundlight是一家新創公司，即結合自然語言、電腦視覺以理解、控制設備。如:詢問監控攝影機「是否有推高機佔住走道?」，攝影機可以根據視覺辨識結果判斷回答。Google 也正進行發展機器人控制的預訓練模型，讓機器人可以理解自然語言指令、電腦視覺影像，進一步能自主的產生控制行動，如:等待、停機、減料等動作。

圖、自然語言詢問與控制機器(資料來源: Groundlight)

• 生成式情境學習: 那麼，可不可以強化機器、設備的學習能力呢?過去發展機器人學習系統困難在於缺少足夠的數據進行學習。試問，我們能模擬多少個機器手臂協作、人機協作、AGV物料搬運車行走的情境呢? 運用生成式AI可以自動化生成多種情境讓機器人學習，以更完善移動、夾取等動作。Meta公司即研究GenAug生成增強方法，可以通過簡單的輸入文本來創建新場景的圖形，以供機器人針新場景進行學習訓練。

圖、生成式機器人學習場景(資料來源: Meta)

• 生成式人機對話: 我們總會對小孩說:「多發問可以學得更多!!」。那麼，設備、機器人可不可以主動發問問題，以獲得更多命令或資訊進行學習? Amazon 即利用生成式增強模型發展一個詢問、回答的互動式架構，以協助更多的設備、物件與人進行互動式對話的學習，最終完成任務。如圖，人類發出指令:要求機器人去廚房桌子把刀子拿起來。機器人不斷地詢問人類以完成工作。

圖、Amazon生成式對話人機協作(資料來源: Gao etc al. 2022)

小結

GhatGPT生成式AI的成功，帶來人工智慧的語言主導時代，將創造許多新的應用。生成式AI結合設備、物件的IoT技術，不僅僅回答問題，還能發展新型態的知識搜索、設計、控制與人機協作應用。生成式IoT仍然在發展中，也期待能對企業、工廠營運方式帶來嶄新的面貌!!