悟道

2021年6月，北京智源研究院（BAAI）推出了悟道1.0的後續版本悟道2.0，作爲中國第一個超大規模智能模型系統。悟道是一個語言模型，旨在在人類層面的思維上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。經過4.9TB的圖像和文本訓練，並在9個基準上超過了最先進（SOTA）水平，悟道比任何同行都更接近於實現通用人工智能（AGI）和人類水平的思維。

悟道接受了4.9 TB高質量英文和中文圖像和文本的訓練：

• 1.2TB中文文本數據
• 2.5TB中文圖形數據
• 1.2TB英文文本數據

悟道是基於開源的 MoE 系統 FastMoE 進行訓練的。MoE是一種機器學習技術，其工作原理如下：

將預測建模任務劃分爲子任務，針對每個子任務訓練專家（學習者）模型，開發門控模型，該門控模型基於要預測的輸入來學習諮詢哪個專家，並組合預測。FastMoE使悟道能夠並行諮詢不同的專家模型，並切換到預測結果最好的模型。例如，如果輸入是英文文本，悟道將使用預測模型，該模型可以在英文文本中生成回應。