PerceptionBench – 月之暗面開源的視覺感知診斷基準

PerceptionBench是什麼

PerceptionBench是月之暗面開源的視覺感知診斷基準。PerceptionBench 從 42 個現有評測集中前沿模型的失敗案例中，歸納出 10 項原子視覺感知能力，並構建 3,000 道隔離式驗證題，每題僅考察單一感知能力、無需推理或外部知識。測試顯示，當前 16 個主流多模態模型無一達到 60% 準確率，揭示了原子級視覺感知仍是行業未解難題。

PerceptionBench的主要功能

• 原子能力診斷：將視覺感知拆解爲 10 項原子能力，包含視覺關係、計數、屬性、深度、定位、組合、細粒度識別、上下文、OCR、幻覺，精確定位模型斷裂點。
• 隔離式評測：每道題目僅測試單一原子能力，避免推理與知識干擾，確保得分反映真實感知水平。
• 失敗案例歸因：基於 42 個現有基準的失敗案例分解出 1,800 道原子子問題，從真實錯誤中提煉評測維度。
• 綜合能力畫像：通過 Leaderboard 展示模型在 10 項能力上的詳細得分，揭示相似總分下截然不同的能力分佈。
• 開源可復現：提供完整代碼、Hugging Face 數據集與論文，支持社區復現與擴展。

PerceptionBench的技術原理

• 自底向上的錯誤分類法：通過診斷前沿 MLLM 在 42 個現有基準中的最早失敗點，構建錯誤分類樹，提取出感知分支的 10 項原子能力。
• 難度分層與能力平衡：從內部 17,000+ 驗證樣本池中，按能力維度平衡與難度分層抽樣 3,000 題，其中 60% 爲失敗案例分解的子問題，40% 爲基於補充圖像的新編題目。
• 短答案無歧義設計：所有題目要求簡短、明確的答案，降低評估不確定性，使自動化評測更可靠。
• 感知-推理解耦：題目設計確保挑戰來自視覺感知本身，而非推理鏈或領域知識，從而隔離測量感知邊界。

微信關注回覆“開源”，加入AI開源項目交流羣

如何使用PerceptionBench

• 克隆倉庫：從 GitHub 拉取 MoonshotAI/PerceptionBench 開源代碼。
• 下載數據集：從 Hugging Face 獲取 3,000 道驗證題目與標註數據。
• 接入模型：將待評測的多模態模型接入評測框架，按標準格式輸出答案。
• 運行評測：執行評測腳本，自動計算模型在 10 項原子能力及總體上的準確率。
• 查看畫像：對照 Leaderboard 分析模型能力短板，指導後續訓練優化方向。

PerceptionBench的核心優勢

• 精準定位而非籠統打分：區別傳統基準將感知、推理、知識混爲一談，PerceptionBench 能精確診斷模型到底在哪個感知環節出錯。
• 從真實失敗中生長：從 42 個主流基準的真實失敗案例中提煉，確保評測貼近實際模型弱點。
• 暴露隱藏的能力鴻溝：相似總分的模型在原子能力上可能天差地別，PerceptionBench 的能力畫像可揭示這些被總分掩蓋的鴻溝。
• 推動感知優先發展：將行業焦點從刷分、拉回、感知基本功，促進更忠實、更一致的視覺理解能力。