Chatbot Arena

Chatbot Arena是一個大型語言模型 (LLM) 的基準平台，以衆包方式進行匿名隨機對戰，該項目方LMSYS Org是由加州大學伯克利分校、加州大學聖地亞哥分校和卡內基梅隆大學合作創立的研究組織。

通過demo體驗地址進入對戰平台，輸入自己感興趣的問題，提交問題後，匿名模型會兩兩對戰，分別生成相關答案，需要用戶對答案做出評判，從4個評判選項中選擇一個：模型A更好、模型B更好、平手、都很差。支持多輪對話。最終使用Elo評分系統對大模型的能力進行綜合評估。(可以自己指定模型看效果，但不計入最終排名情況)。