解析 ChatGPT 技術概念

大家都知道Chat是聊天，那GPT是什麼呢？

2018年，由OpenAI所提出的大型語言模型GPT（Generative Pre-trained Transformer），是以Google在2017年論文中所提出的Transformer做為模型架構，並應用於生成語言的任務上；中間的P指的是「Pre-trained」，也就是被稱作「預訓練」的訓練方法。所謂的預訓練是預先透過大量的文本訓練，讓模型學習文字與文字間的關聯，再利用文字特性，讓模型學習人類平時是如何使用字彙，並猜測下一個字會是什麼。這種模型訓練方式有點像文字接龍，讓模型根據前文推算出下一個可能出現的字。

如上圖中的例子，假設「the chef cooked the meal」這一句話，可以看到圖中模型學習的過程，模型所學的事情就是根據前面的字句，推算出下一個合適的字詞，並根據過去所看過的大量文本，推測生成出最有可能的字，再依前面兩個字推測下一個最有可能出現的字，依此類推。

推測的過程中也涉及了機率問題，由於機器閱讀了大量的文本，因此某個字詞所接續的字並不一定相同，也很難判定每個字出現的機率為多少，而這也解釋了為什麼與 ChatGPT 聊天時，明明問了相同問題，卻會得到不同回答的原因。

GPT 與 ChatGPT 的區別

GPT是一個仿造人類神經網路而建立的大型語言模型，希望藉由大量的參數，讓模型學習文本中的知識，期望可以運用到生成文字任務上，而 OpenAI 也提供一個平台，可以使用 GPT 模型進行自然語言生成任務。

雖然 GPT 可以用於文法修正、翻譯等自然語言生成任務，但在聊天方面尚未完全成熟。

我們以 divanci 這個模型為例，這是一個從 GPT-1發展至 GPT-3的模型，至 GPT-3 時，可以發現擁有更多的資料量，及更龐大的模型參數。而它的概念跟前面所說的文字接龍一樣，雖然是問答形式，但是 GPT 生成出來的回覆並不符合人類的期望，這些過去的成果表現，自然也讓大家不會想跟 GPT 對話與聊天。

為什麼ChatGPT可以做到跟人類自然應對呢？

ChatGPT 是以 GPT 為基底的聊天模型，最大的特點是加入人類的回饋進行微調，而從 GPT-3 到現在的 ChatGPT ，中間又經過哪些的改良？

GPT-3 有一部分發展成 Codex 這個模型，它推斷程式碼編寫的流程可能跟人類逐步解題的過程類似，藉此讓這個模型學習到推理能力，另外增加 Instruct tuning 機制，以利模型回答問題，進一步根據不同的指令回答對應的句子，讓模型自己舉一反三，並應用到新的任務上面。

GPT-3.5 結合了推理與遵循指令和應用兩個能力，後續 ChatGPT 則基於兩者的結果，再加入RLHF 機制，透過人類介入回饋，以改良 Instruct tuning 機制的接收與應用指令的能力，使得 ChatGPT 可以生成更中立客觀的答案。

ChatGPT 應用及發展

ChatGPT 的應用無窮無盡，也讓人驚豔於新型態應用的出現，有人使用 ChatGPT 生成故事後再結合繪圖工具產生插畫，接著放到平台販售，更把 ChatGPT 當作共同的創作者；也有歌手根據 ChatGPT 生成一些歌詞或旋律。

它可以根據情境做出多樣性的回答，但必須要給它有效的指令。例如要做宣傳文案，就必須讓它帶入角色、明確定義要做的事情，但也要特別注意，ChatGPT 本質仍是一個語言模型，它可能會產生出自己腦補的資訊，而且無法保證這些資訊的正確性；同時，它也極為仰賴我們提供的訓練資料。ChatGPT 官網也表示，目前只有拿到2021年之前的資訊，因此，2021年後的資訊回覆是有限的。

不過，Microsoft也將ChatGPT 應用至搜索引擎- Bing上，使之可以利用網路的搜尋以彌補ChatGPT在資訊限制上的問題，甚至可以把網頁連結給 Bing，讓它讀完裡面的內容後，提供一些問答給你，這些功能都是 ChatGPT 沒有的。

Open AI 的技術長曾提到，當初推出ChatGPT是希望能讓大眾盡快認識到 AI 的發展，雖然 ChatGPT 目前沒辦法分辨事情真假，但也因為它的彈性，而產生出許多新的創作模式。雖然，還是要需要人類的智慧和指令輔助，且沒有辦法取代人類的判斷、決策力，甚至是人類的情感溫度，但我們能透過協作輔助、增強靈感，並創造出更多價值。