SUPIR – 高保真的AI圖像修復和畫質增強模型

6 0 0

SUPIR是什麼

SUPIR（Scaling-UP Image Restoration）是一個突破性的圖像修復和畫質增強方法，利用了大規模的生成模型StableDiffusion-XL（SDXL）和模型擴展技術，通過深度學習和多模態方法，實現了對低質量圖像的高質量恢復。該方法支持通過文本提示進行圖像恢復的精細控制，能夠根據用戶的輸入調整恢復的各個方面，如物體的紋理和場景的語義內容。SUPIR由來自中國科學院深圳先進技術研究院、上海AI實驗室、悉尼大學、香港理工大學、騰訊ARC實驗室和香港中文大學的研究人員共同推出。

SUPIR - 高保真的AI圖像修復和畫質增強模型

SUPIR的官網入口

官方項目主頁：https://supir.xpixel.group/
GitHub源碼庫：https://github.com/Fanghua-Yu/SUPIR
arXiv研究論文：https://arxiv.org/abs/2401.13627

SUPIR的主要功能

高質量圖像修復：SUPIR能夠將低質量的圖像恢復到接近原始狀態的高質量版本，可以處理由於各種原因（如壓縮、噪點、模糊等）導致的圖像退化。
修復多種類型的圖像：SUPIR能夠有效修復多種類型的退化圖像，包括風景、人臉、動物、遊戲畫面、老電影和老照片，可增強圖像細節，恢復清晰度和真實感，讓圖像煥發新生。
文本提示引導修復：SUPIR允許用戶通過文本提示來指導圖像恢復的過程，可以指定恢復的特定方面，例如修復圖像中的某個模糊物體、改變物體的材質紋理，或者根據高級語義調整圖像的恢復效果。
負質量提示：SUPIR使用負質量提示來提高圖像的感知質量，通過告訴模型哪些圖像特徵是不期望的（例如“油畫效果、卡通化、模糊、髒亂、低質量”等），模型可以在恢復過程中避免這些特徵，從而提升圖像的整體質量。

SUPIR的工作原理

生成性先驗：SUPIR使用StableDiffusion-XL（SDXL）作爲其生成性先驗（Generative Prior），一個包含26億參數大型的預訓練圖像生成模型。生成性先驗是模型學習到的圖像數據分佈的知識，用於指導圖像的生成和恢復過程。
數據集和文本註釋：爲了訓練SUPIR，研究者收集了一個包含2000萬張高分辨率、高質量的圖像的數據集，每張圖像都有詳細的描述性文本註釋。這些註釋提供了圖像內容的額外信息，使得模型能夠更好地理解和恢復圖像。
適配器：爲了有效地應用SDXL模型，研究者設計並訓練了一個適配器，該適配器具有超過6億參數。適配器的作用是識別低質量圖像中的內容，並在像素級別上精細控制生成過程。
文本提示控制：SUPIR能夠根據用戶提供的文本提示來指導圖像的恢復，提示詞可以是關於圖像內容的具體描述，也可以是關於期望圖像質量的高級語義描述。
負質量提示和訓練樣本：爲了提高圖像的感知質量，SUPIR引入了負質量提示，幫助模型理解不希望出現的圖像特徵。研究者通過使用SDXL生成對應於負質量提示的圖像，並將這些圖像納入訓練數據中，以確保模型能夠學習到這些負質量概念。
恢復引導採樣：爲了防止生成過程中的圖像失真，SUPIR採用了一種新穎的恢復引導採樣方法，在擴散過程中有選擇性地引導預測結果接近低質量圖像，以保持恢復的一致性。
模型訓練和採樣設置：SUPIR在訓練過程中使用了合成退化模型，並在64個Nvidia A6000 GPU上進行了爲期10天的訓練。測試時，模型能夠處理1024×1024像素大小的圖像。