MMLU 全稱 Massive Multitask Language Understanding,是一種針對大模型的語言理解能力的測評,是目前最著名的大模型語義理解測評之一,由UC Berkeley大學的研究人員在2020年9月推出。該測試涵蓋57項任務,包括初等數學、美國曆史、計算機科學、法律等。任務涵蓋的知識很廣泛,語言是英文,用以評測大模型基本的知識覆蓋範圍和理解能力。
數據統計
相關導航
暫無評論...
MMLU 全稱 Massive Multitask Language Understanding,是一種針對大模型的語言理解能力的測評,是目前最著名的大模型語義理解測評之一,由UC Berkeley大學的研究人員在2020年9月推出。該測試涵蓋57項任務,包括初等數學、美國曆史、計算機科學、法律等。任務涵蓋的知識很廣泛,語言是英文,用以評測大模型基本的知識覆蓋範圍和理解能力。