生成式AI有多厲害?

最近我在許多演講的場合都出賣我兒子!! 因為他利用ChatGPT來寫用詞造短文的功課。事實上，ChatGPT-4o版本更厲害，不僅可以輸入文字，還可以利用食材圖片檔，幫您建議製作三明治的食譜，如圖所示。

圖1、ChatGPT-4o利用圖片進行食譜設計建議

此外，我們還可以將原始數據上傳，請ChatGPT-4o幫我們解析該資料的數據趨勢。如圖所示，上傳了零售數據的範例，竟然能解析出該資料具有季節、節日、周期性的影響。

圖2、ChatGPT-4o數據趨勢分析與繪圖

ChatGPT-4o發揮了圖片、語音、文字等多模式理解與產出能力，使得受到更廣泛的矚目。

無怪乎，股票AI概念股頻頻上漲。試想，搭載ChatGPT或其他生成式AI可以發展甚麼樣的服務: 幫你從冰箱剩菜中，規劃一周可以煮的菜單與食譜? 拍照工廠設備狀況，分析如何維修或叫用何種零件? 分析公司的銷售數據與業務拜訪報告，建議下一季的營運重點?

事實上，生成式AI還可以進行推論並生成推理的理由。如圖所示，生成式AI可以根據圖片理解人的行為，並產生推論理由。

圖3、生成式AI的視覺推理(資料來源: Stanford University)

這些推論理由的產生，將可以幫助ChatGPT、生成式AI不只產生文字、圖形、動畫，還可以據此「規劃」、「行動」!!於是，生成式的AI不僅可期待讓機器人開口說話(請見文章「ChatGPT讓設備開口問問題? 」，未來更是一個可以行動的機器人或是虛擬的自主代理人。

具身智慧的發展

2015年，好萊塢電影《成人世界》，講述機器人「查派」從啟動後，幼小的「心靈」，開始學習新事物，被養父母教導打鬥、搶劫或具有同情心；最後，還能反思，開始對抗邪惡、搶救自己的養母。「具身智慧」就是想要發展一個可以像人類一樣與現實世界互動的人工智慧系統。

微軟、Open AI投資2,350萬美元至挪威的機器人公司 One X Technologies，與之合作發展“Neo”的人形機器人專案。One X Technologies的願景是: 「隨著 Neo 的移動和與環境的互動，它會變得更加智慧、適應性更佳」。這說明了Open AI正朝「具身智慧」方向努力，以改進ChatGPT基礎的GPT技術僅有「靜態」的網路知識，缺乏環境或行動感測的資訊。Open AI後續的GPT版本，據猜測將會加入Neo的具身智慧技術。

被Open AI挑戰的Google當然不會在這個領域上缺席。2023年3月，Google 與Open AI競爭的大語言模型發展了PaLM-E版本，是一種個通用的大語言機器人模型，可以將知識從不同的視覺和語言領域轉移到機器人系統的智慧。例如: 如圖所示，要求機器人去抽屜拿薯片，她可以自己產生規劃步驟，走到桌子、打開抽屜、夾取薯片、放在桌上等；這使得機器人可以超過原有訓練的資料或場景，開始經過電腦視覺的圖像辨識、轉換為自然語言的理由意義，進而規劃、行動以達到目標。

圖4、Google PaLM-E機器人模型

(資料來源: Google)

試想家中的陪伴機器人、工廠的機器手臂或AGV，可以按目標自己行動而不是人類指示各項工作列表，是不是會更加靈活了起來?

自主代理人的發展

另一個令人難以忘懷的科幻電影是2013年的《雲端情人》(“Her”)的電影。男主角買了人工智慧虛擬助手，進而產生戀愛。事實上，OpenAI執行長奧特曼發表ChatGPT-4o後，在X平台上寫下”her”，即是致敬該電影，也預示人類與AI助理談戀愛的可能性。這是因為ChatGPT-4o可以判斷使用者的情緒並給與答覆甚至中途打斷使用者，就像在與真人視訊一般。此外，ChatGPT-4o聲音具有情緒起伏、還能擔任口譯員，即時翻譯使用者的對話內容。

所謂代理人指的是能夠協助進行學術研究、安排會議、線上購物、度假行程處理等。試想，若是要進行度假規劃，AI代理人不僅可以建議規畫行程，還可以進行交通工具、遊樂園門票、飯店訂票，甚至尋找最低成本或最適合用戶需求的規劃與訂購等，是不是很棒? 進一步，自主代理人還可以依據不同環境進行探索、記憶以及知識轉換等，以進行更靈活的任務代理。

現在已經有許多研究者利用生成式AI發展AI代理人。例如: Voyageur新創利用GPT-4生成式AI發展minecraft遊戲代理人程式，可以自行探索minecraft遊戲方法，並能最後學習產生極高的效率；ChatDev是開源專案，甚至可以讓AI代理程式扮演分析師、程式設計師、測試員、文件撰寫等角色進行協同，自動化撰寫程式。

 圖5、Voyageur minecraft遊戲代理人根據遊戲情況判斷理由與自動產生任務

(資料來源: Wang ect al. 2023)

試想，若有一個秘書可以安排生活上、工作上的各種事項? 而不是像現在的Siri或ChatGPT僅能問一個、回答一個，是不是讓人們更便利? 解決少子化、各行業缺工的問題。

小結

GhatGPT以及其他生成式AI服務不斷的演化，讓我們更渴望科幻電影情節的到來。具身智慧的發展，讓機器人可以根據目標，自主探索環境、規劃各種行動，以達到目標。自主代理人的可以安排各種事項、進行交易，甚至能彼此合作，以完成各項工作。生成式AI將以極快的速度重新塑造人機協作的社會!!