Arctic – Snowflake開源的企業級AI大模型

2 0 0

Arctic是什麼

Arctic是由雲計算巨頭Snowflake的AI研究團隊開發的一款高效、開源的企業級大型語言模型，該大模型是一個擁有480億（480B）的參數規模，由128個細粒度的專家構成的混合專家模型（MoE）模型。在成本效益、訓練效率和推理效率方面具有顯著優勢，特別適合執行企業任務，如SQL生成、編程和指令遵循。Arctic採用Apache 2.0許可，提供對模型權重和代碼的開放訪問，並開源了數據集和研究洞察。

Arctic - Snowflake開源的企業級AI大模型

Arctic的主要特點

參數規模：Arctic擁有480億參數，但在推理時僅激活170億參數，以提高效率。
技術架構：採用混合架構，結合了密集變換器（Dense Transformer）和128個專家的MoE模型，每個專家有3.66億參數。
上下文窗口：模型訓練時使用4K的注意力上下文窗口，並計劃擴展至32K，以支持更長序列的處理。
訓練成本：Arctic的訓練計算預算大約在200萬美元以下（即少於3000個GPU周）即可達到頂級大模型的能力
模型許可：Arctic在開放的Apache 2.0許可下發布，允許自由使用和修改。
主要用途：專爲企業設計，擅長執行SQL生成、編程和指令遵循等任務，適合創建定製企業模型。

Arctic - Snowflake開源的企業級AI大模型

Arctic的模型架構

架構組成：Arctic採用了Dense-MoE Hybrid Transformer架構，這種架構結合了密集變換器（Dense Transformer）和混合專家模型（MoE）的特點。
密集變換器規模：模型包含一個具有10B（10 billion，即10億）參數的密集變換器模型。
MoE架構規模：在MoE部分，Arctic設計了128個細粒度的專家，每個專家擁有3.66B（3.66 billion，即36.6億）參數。因此，MoE部分的總參數量爲128×3.66B，即約470B（470 billion，即4700億）參數。
總參數量：結合密集變換器和MoE部分，Arctic的總參數量達到了480B（480 billion，即4.8萬億）參數。
活躍參數選擇：在推理過程中，Arctic使用top-2門控機制從128個專家中選擇兩個最合適的專家，這意味着在任何給定時間，大約有17B（17 billion，即170億）的參數是活躍的。
通信與計算重疊：爲了提高訓練效率，Arctic的架構設計允許在訓練過程中將專家間的通信開銷與計算任務重疊，從而隱藏了通信開銷。
推理效率：在小批量（如批量大小爲1）的交互式推理中，Arctic模型的內存讀取次數比Code-Llama 70B少4倍，比Mixtral 8x22B少2.5倍，這有助於提高推理性能。
系統優化：Arctic與NVIDIA合作，利用TensorRT-LLM和vLLM團隊的技術，爲Arctic提供了初步的推理實現，並通過FP8量化技術，使得Arctic可以在單個GPU節點上運行。
注意力上下文窗口：Arctic訓練時使用的注意力上下文窗口爲4K，團隊正在開發基於attention-sinks的滑動窗口實現，以支持無限序列生成能力，未來計劃擴展到32K注意力窗口。

Arctic的性能表現

Snowflake將Arctic與DBRX、Llama、Mixtral等模型在企業指標和學術指標方面的基準測試進行了對比，Arctic在企業智能指標上表現更好，在如MMLU等通用知識基準上的性能可能略低於一些最新模型，但它在這些基準上仍然保持了競爭力。

Arctic - Snowflake開源的企業級AI大模型

企業指標：與所有其他開源模型相比，Arctic 都表現出頂級性能，這些任務包括：

編碼（Coding）：通過HumanEval+ 和 MBPP+ 基準測試編碼能力。
SQL生成（SQL Generation）：使用Spider基準測試SQL查詢生成能力。
指令遵循（Instruction Following）：IFEval基準測試遵循複雜指令的能力。

如何使用Arctic

Snowflake Arctic 現已可從 Hugging Face、Replicate 等平台使用，後續將在包括 Snowflake Cortex、Amazon Web Services (AWS)、Microsoft Azure、NVIDIA API Catalog、Lamini、Perplexity 和 Together 等在內的平台陸續上線。