Instella – AMD開源的30億參數系列語言模型

Instella是什麼

Instella是AMD推出的系列30億參數的開源語言模型。模型完全從零開始在AMD Instinct™ MI300X GPU上訓練而成，基於自迴歸Transformer架構，包含36個解碼器層和32個注意力頭，支持最長4096個標記的序列。Instella經過多階段訓練，包括大規模預訓練、監督微調和偏好優化，提升自然語言理解、指令跟隨和對話能力。Instella在多個基準測試中超越現有的開源模型，與最先進的開源權重模型具有競爭力。AMD完全開源Instella的模型權重、訓練配置、數據集和代碼，促進AI社區的合作與創新。

Instella的主要功能

• 自然語言理解：理解複雜的自然語言文本，處理各種語言任務，如問答、文本生成和語義分析。
• 指令跟隨：基於監督微調（SFT）和直接偏好優化（DPO），準確理解和執行用戶指令，生成符合人類偏好的回答。
• 多輪對話能力：支持多輪交互，根據上下文進行連貫的對話。
• 問題解決能力：在數學問題、邏輯推理和知識問答等任務上表現出色。
• 多領域適應性：基於多樣化的訓練數據，適應多種領域，如學術、編程、數學和日常對話等。

Instella的技術原理

• Transformer架構：基於自迴歸Transformer架構，包含36個解碼器層，每層有32個注意力頭，支持最長4096個標記的序列長度。
• 高效訓練技術：FlashAttention-2、Torch Compile和bfloat16混合精度訓練，優化內存使用和計算效率。
• 多階段訓練：用4.065萬億標記進行大規模預訓練，建立基礎語言理解能力。在第一階段基礎上進一步訓練，使用額外的575.75億標記，增強特定任務能力。
• 監督微調（SFT）：用高質量的指令-響應對數據進行微調，提升指令跟隨能力。
• 直接偏好優化（DPO）：基於人類偏好數據對模型進行優化，讓輸出更符合人類價值觀。
• 分佈式訓練：基於完全分片數據並行（FSDP）技術，將模型參數、梯度和優化器狀態在節點內分片，在節點間複製，實現大規模集羣訓練。
• 數據集：基於多樣化的高質量數據集進行訓練，包括學術、編程、數學和對話數據，及合成數據集，確保模型具備廣泛的知識和能力。

Instella的項目地址

• 項目官網：https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella
• GitHub倉庫：https://github.com/AMD-AIG-AIMA/Instella
• HuggingFace模型庫：https://huggingface.co/collections/amd/instella

Instella的應用場景

• 智能客服：自動回答問題，提供個性化服務，提升客戶體驗。
• 內容創作：生成文案、故事等，輔助內容創作者提高效率。
• 教育輔導：解答學術問題，提供學習建議，輔助學生學習。
• 編程輔助：生成代碼片段，提供編程建議，幫助開發者解決問題。
• 企業知識管理：整合公司知識，提供內部諮詢，提升協作效率。