PaLM（Pathways Language Model） 是一種大型語言模型，即 LLM，類似於OpenAI 創建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌於 2022 年 4 月首次宣佈推出 PaLM，超過了5400億個訓練參數。與其他 LLM 一樣，PaLM 是一個靈活的系統，可以執行各種文本生成和編輯任務。例如，你可以將 PaLM 訓練成像 ChatGPT 這樣的對話式聊天機器人，或者你可以將它用於諸如總結文本甚至編寫代碼等任務。（這類似於谷歌今天也爲其 Workspace 應用程序（如 Google Docs 和 Gmail）宣佈的功能。）
在 2023 谷歌 I/O 大會上，谷歌 CEO 皮查伊宣佈推出對標 GPT-4 的大模型 PaLM 2，並正式發佈預覽版本，改進了數學、代碼、推理、多語言翻譯和自然語言生成能力。
谷歌將爲 PaLM 2 提供四種不同大小的版本，從最小到最大：Gecko、Otter、Bison 和 Unicorn。Gecko 非常輕巧，可以在移動設備上工作，並且速度足夠快，即使在離線時也能在設備上運行出色的交互式應用程序。這種多功能性意味着可以對 PaLM 2 進行微調，以更多方式支持整個類別的產品，從而幫助更多人。
PaLM 2的特性
PaLM 2 是谷歌的下一代大語言模型，具有改進的多語言、推理和編碼能力。
- 多語言性： PaLM 2 在多語言文本方面接受了更多的訓練，涵蓋 100 多種語言。這顯著提高了它在多種語言中理解、生成和翻譯細微差別文本（包括成語、詩歌和謎語）的能力，這是一個很難解決的問題。PaLM 2 還通過了“精通”級別的高級語言能力考試。
- 推理： PaLM 2 的廣泛數據集包括科學論文和包含數學表達式的網頁。因此，它展示了邏輯、常識推理和數學方面的改進能力。
- 編程： PaLM 2 在大量公開可用的源代碼數據集上進行了預訓練。這意味着它擅長 Python 和 JavaScript 等流行的編程語言，但也可以生成 Prolog、Fortran 和 Verilog 等語言的專用代碼。
