Vision2Web – 清華聯合智譜AI推出的視覺網站開發評估基準

Vision2Web是什麼

Vision2Web是清華大學和智譜AI聯合推出的視覺網站開發評估基準，用於評估多模態AI Agent的端到端建站能力。Vision2Web包含193個真實網站任務，分爲三層遞進難度：靜態網頁生成、交互式前端開發、全棧網站構建。基準採用創新的”工作流式Agent驗證”範式，結合GUI Agent驗證功能正確性和VLM評判視覺還原度，系統性地揭示當前SOTA模型在複雜長程軟件開發任務中的能力邊界。

Vision2Web的主要功能

• 三層遞進式能力評估：從靜態網頁生成到交互式前端開發，再到全棧網站構建，逐級檢驗AI Agent的視覺理解與工程實現能力。
• 雙維度自動化驗證：通過GUI Agent驗證功能正確性，結合VLM Judge評估視覺還原度，實現客觀可復現的端到端測試。
• 真實場景數據支撐：基於193個真實網站構建數據集，涵蓋四大類16個子類，提供918張原型圖與1,255個測試用例。
• 系統性能力診斷：精準定位Agent在跨模態推理、長程規劃、複雜系統構建等環節的能力邊界與失敗原因。

如何使用Vision2Web

• 環境準備：配置包含前後端及數據庫依賴的容器化運行環境。
• 數據加載：將原型圖、需求文檔及多媒體資源放入指定工作目錄。
• Agent接入：將被測模型集成至OpenHands或Claude Code等Agent框架。
• 任務執行：Agent讀取輸入並生成代碼，最終輸出可部署的網站項目。
• 自動部署：運行Agent生成的啓動腳本，在固定端口完成網站部署。
• 功能驗證：GUI Agent Verifier執行專家設計的測試工作流，評估交互正確性並輸出Functional Score。
• 視覺驗證：VLM Judge對比渲染結果與原型圖，評估視覺還原度並輸出Visual Score。
• 結果分析：綜合雙維度得分，定位模型在具體開發環節的能力短板。

Vision2Web的關鍵信息和使用要求

• 研究背景：清華大學與智譜AI聯合推出，旨在系統性評估多模態AI Agent的視覺網站開發能力。
• 任務規模：包含193個真實網站任務，分爲靜態網頁生成、交互式前端開發、全棧網站構建三層遞進難度。
• 數據構成：提供918張多設備原型圖和1,255個測試用例，涵蓋內容、交易、SaaS、公共服務四大領域共16個子類。
• 驗證機制：採用GUI Agent驗證功能正確性（Functional Score），VLM Judge評估視覺還原度（Visual Score）的雙維度自動化驗證範式。
• 環境要求：需配置容器化運行環境，預裝前端框架、後端服務及數據庫等完整依賴。
• 框架接入：需將被測模型集成至OpenHands或Claude Code等標準化Agent框架中。

Vision2Web的核心優勢

• 任務設計分層遞進：從靜態網頁到全棧開發的三層架構，可精準定位Agent在不同開發階段的能力邊界。
• 數據源於真實場景：基於C4驗證集的真實網站構建，避免合成數據偏差，確保評估結果貼近實際應用。
• 驗證機制客觀可靠：GUI Agent與VLM Judge雙組件協同，實現功能正確性與視覺還原度的可復現自動化評估。
• 覆蓋維度全面多元：涵蓋四大領域16個子類，支持跨模型、跨框架、跨設備的系統性對比分析。
• 診斷能力精細深入：通過工作流式驗證節點，可明確追溯Agent在UI理解、交互邏輯、長程規劃等環節的具體失敗原因。

Vision2Web的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2603.26648

Vision2Web的同類競品對比

Vision2Web的應用場景

• 模型能力評測：爲Claude、Gemini、GPT等多模態大模型提供標準化的視覺網站開發能力基準測試。
• Agent框架優化：對比OpenHands、Claude Code等不同Agent框架的性能表現，指導框架迭代升級。
• 算法研發驗證：評估新模型在UI理解、代碼生成、長程規劃等關鍵技術上的創新效果。
• 產品能力對標：幫助AI建站產品（如Vibe Coding工具）量化自身水平，明確與SOTA的差距。
• 教育培訓參考：作爲教學案例庫，用於培養AI輔助開發方向的工程師與研究人員。