Gemma 2 – 谷歌DeepMind推出的新一代開源人工智能模型

Gemma 2是什麼

Gemma 2是谷歌DeepMind推出的新一代開源人工智能模型，包含90億和270億參數版本。該模型以卓越的性能、高效的推理速度和廣泛的硬件兼容性爲特點，能夠與參數量更大的模型（如Llama 3、Claude 3 Sonnet）相媲美。Gemma 2設計易於集成到開發者的工作流程中，支持多種AI框架，並通過Google Cloud、Kaggle和Hugging Face等平台免費提供。

Gemma 2的特點

• 參數規模：Gemma 2目前提供兩種參數規模的模型，分別是90億（9B）和270億（27B）參數版本，以適應不同的應用需求和資源限制。後續還會發布26億參數（2.6B）模型。
• 性能優化：27B版本的Gemma 2在性能上能夠與參數量超過其兩倍的模型相媲美，顯示出極高的性能效率比，在LMSYS Chatbot Arena中，270億參數的Gemma 2指令微調模型擊敗了擁有700億參數的Llama 3，並超過Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，在所有開源權重的模型中位列第一。
  
• 推理效率：Gemma 2特別優化了推理過程，能夠在單個高端GPU或TPU上以全精度運行，無需額外的硬件資源，從而大幅降低了使用成本。
• 硬件兼容性：Gemma 2能夠在多種硬件平台上快速運行，包括個人電腦、工作站、遊戲筆記本以及雲服務器等。
• 開放許可：Gemma 2採用商業友好的許可協議，允許開發者和研究人員自由地分享、使用和商業化他們的應用。
• 框架支持：Gemma 2與多個主流AI框架兼容，包括Hugging Face Transformers、JAX、PyTorch和TensorFlow，使得開發者可以根據自己的偏好選擇合適的工具。
• 部署工具：谷歌提供了Gemma Cookbook，這是一個包含實用示例和指南的資源庫，幫助用戶構建應用程序和微調Gemma 2模型。
• 負責任的AI：谷歌提供了一系列工具和資源，如Responsible Generative AI Toolkit和LLM Comparator，以支持開發者和研究人員負責任地構建和部署AI。

如何使用Gemma 2

Gemma 2可與用戶常用的工具和工作流程輕鬆配合使用，與Hugging Face Transformers、JAX、PyTorch 和 TensorFlow 等主流 AI 框架兼容，可通過原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama實現。此外，Gemma 還通過NVIDIA TensorRT-LLM進行了優化，可在 NVIDIA 加速基礎設施上運行或作爲NVIDIA NIM推理微服務運行，並將針對NVIDIA 的 NeMo進行優化。

Gemma 2現已在Google AI Studio中推出，用戶可以在無需硬件要求的情況下以 27B 的速度測試其全部性能。開發人員還可以從Kaggle和Hugging Face Models下載Gemma 2的模型權重，Vertex AI Model Garden即將推出。

爲了便於研究和開發，Gemma 2 還可通過Kaggle或 Colab 筆記本免費使用。首次使用 Google Cloud 的客戶有資格獲得300美元的信用額度。學術研究人員可以申請Gemma 2學術研究計劃，以獲得 Google Cloud 信用額度，以加速他們使用 Gemma 2 的研究。申請開放時間爲即日起至 8 月 9 日。