Qwen-Image-Bench – 通義千問推出的文生圖模型評測基準

Qwen-Image-Bench是什麼

Qwen-Image-Bench 是通義千問團隊推出的文生圖模型評測數據集，規模爲 1k 條測試樣本，覆蓋中英雙語提示，支持多維度評測各類文生圖模型的生成效果，採用 Apache-2.0 協議開源。爲圖像生成模型提供標準化、可復現的評測框架，涵蓋文本渲染、圖像編輯、通用生成等核心能力維度，幫助開發者和研究者客觀對比不同模型的實際表現。

Qwen-Image-Bench的主要功能

• 中英雙語評測：測試樣本覆蓋中文和英文提示詞，可全面評估模型的多語言圖像生成能力。
• 多維度能力評估：支持對文生圖模型在文本渲染、圖像編輯、通用生成、語義一致性等維度的綜合評測。
• 標準化測試流程：提供統一的評測腳本和數據格式，確保不同模型之間的公平對比。
• 開源數據集：1k 條精心設計的測試用例，覆蓋多種複雜場景和細粒度任務。
• 自動化評分支持：支持結合多基準指標（如 GenEval、DPG、GEdit 等）進行自動化評估。

如何使用Qwen-Image-Bench

• 克隆倉庫到本地：訪問 GitHub 倉庫 QwenLM/Qwen-Image-Bench，使用 git clone 將項目代碼下載到本地環境。。
• 安裝依賴環境：根據倉庫內的 requirements.txt 或說明文檔，安裝 Python 依賴庫（如 PyTorch、Diffusers、Transformers 等圖像生成與評測所需工具）。
• 準備待評測模型：配置需要測試的文生圖模型，支持本地加載模型權重（如 Qwen-Image、FLUX、Stable Diffusion 等），或通過 API 方式接入遠程模型服務。
• 加載評測數據集：將 Qwen-Image-Bench 提供的 1k 條中英雙語測試樣本加載到評測流程中，數據集包含通用生成、文本渲染、圖像編輯等多維度提示詞。
• 執行批量圖像生成：運行推理腳本，模型根據數據集中的文本提示逐條生成對應圖像，建議統一輸出分辨率（如 1024×1024）和推理參數以保證評測一致性。
• 運行自動化評測腳本：調用倉庫內置的評測工具，從文本渲染準確率、語義一致性、圖像質量、編輯保真度等維度對生成結果進行自動打分。
• 輸出並對比評測結果：生成結構化評測報告，查看模型在各維度上的得分，支持與其他模型進行橫向對比分析。
• 自定義擴展評測（可選）：可根據實際需求補充自定義測試用例，或調整評測指標權重，適配特定業務場景的評估需求。

Qwen-Image-Bench的核心優勢

• 中文場景針對性強：特別強化中文文本渲染和文化元素理解評測，彌補現有基準中文覆蓋不足的短板
• 評測維度全面：涵蓋通用圖像生成、精確圖像編輯、複雜文本渲染等多類任務，不侷限於單一能力
• 規模適中、易於復現：1k 條樣本在保證評測代表性的同時，降低了復現門檻和計算成本
• 生態兼容性好：與 Qwen-Image、Qwen-Image-Edit 等模型原生適配，也可用於評測第三方文生圖模型
• 開源協議友好：Apache-2.0 協議允許商業使用和自由二次開發

Qwen-Image-Bench的項目地址

• Github倉庫：https://github.com/QwenLM/Qwen-Image-Bench
• HuggingFace模型庫：https://huggingface.co/datasets/Qwen/Qwen-Image-Bench
• arXiv技術論文：https://arxiv.org/pdf/2605.28091

Qwen-Image-Bench的同類競品對比

Qwen-Image-Bench的應用場景

• 模型發佈前標準化評測：在文生圖模型正式上線或開源前，通過 Qwen-Image-Bench 的 1k 條中英雙語測試用例，系統驗證模型在通用生成、文本渲染、圖像編輯等維度的生成質量與穩定性，確保模型達到發佈標準。
• 多模型橫向能力對比：橫向對比 Qwen-Image、FLUX、GPT Image 1、SeedDream、Stable Diffusion 等不同文生圖模型的綜合表現，從各維度得分直觀呈現各模型的優勢與短板，輔助技術選型。
• 中文生成能力專項測試：重點驗證模型在中文海報、PPT、電商圖、文化場景等應用中的文本渲染效果，評估模型對中文語義、排版佈局、文化元素的理解與視覺表達能力。
• 圖像編輯能力評估：測試模型在風格遷移、局部修改、文字替換、對象增刪等圖像編輯任務中的表現，衡量編輯前後的語義一致性與視覺保真度。
• 學術研究基準引用：作爲論文中模型評測的權威基準數據集引用，提升研究成果的可信度與可復現性，支持圖像生成領域的基礎研究發表。