ChatGPT

ChatGPT是什麼

ChatGPT是由OpenAI公司推出的火爆全球的聊天對話機器人，該AI聊天對話工具建立在OpenAI開發的GPT-4語言模型上，它可以執行各種自然語言處理（NLP）任務，如總結、分類、提問和回答，以及類似人類反應的錯誤糾正。ChatGPT是一項革命性的技術，通過將人們的工作效率提高到一個新的水平，使人們的生活更加輕鬆。

ChatGPT由誰開發

ChatGPT人工智能聊天機器人是由OpenAI開發和擁有的，Elon Musk和Sam Altman在2015年將其作爲一家非營利性公司創立。2018年，馬斯克從OpenAI中撤出，不再擁有OpenAI的股份。起初，該公司從硅穀風險資本家那裏獲得了10億美元，以啓動構建神經網絡。

2019年，OpenAI從微軟那裏籌集了10億美元的第二輪資金。他們開始使用Azure超級計算機來構建這些大型語言模型。快進到2023年，微軟向OpenAI投資了100億美元，使其總股份達到49%。其他投資者，包括Khosla Ventures，又佔了49%，而OpenAI只保留了2%的股權。

ChatGPT是如何工作的

在ChatGPT之前，人工智能聊天機器人就已經出現了，但由於它們不是對話式的，所以並未引起人們的普遍關注。而在2017年，谷歌在他們的論文《Attention is All You Need》中介紹了一個名爲The Transformer的神經網絡架構，這創造了一個訓練大型語言模型（LLM）的範式轉變。

與其他神經網絡相比，循環神經網絡（RNN）和長短期記憶網絡（LSTM）都比不上Transformer網絡。RNN在長期依賴性方面存在問題，而LSTM無法專注於長句中的正確單詞以獲得正確的輸出。

而Transformer網絡改變了語言模型的訓練方式，Transformer不像RNN那樣一次處理一個詞，而是可以一次注入整個輸入。此外，Transformer允許平行運行多個輸入，減少計算成本，訓練速度更快。

意識到Transformer的潛力後，OpenAI決定利用Transformer網絡，並按照其架構進行數據訓練。這些模型的訓練過程主要包括三個步驟：生成式預訓練（Generative pre-training）、監督微調（Supervised fine-tuning）、基於人類反饋的強化學習（RLHF）。