ASAM – vivo公司推出的AI圖像分割模型

ASAM是什麼

ASAM（Adversarial Adjustment of Segment Anything Model）是vivo公司推出的AI圖像分割模型，通過對抗性調整來增強原有SAM模型的性能。ASAM用自然對抗性示例，通過穩定的擴散模型增強數據集，生成能代表自然變化的對抗性實例。這些實例保持照片級真實感，與原始掩模註釋對齊，確保了分割任務的完整性。

ASAM的主要功能

1. 提升能力：ASAM讓原本的SAM模型在圖像分割任務上做得更好。
2. 不用改變：不需要改變模型的基本結構，就像給汽車換個新輪胎，但車身不變。
3. 增加挑戰：通過添加一些特殊的圖像（對抗性樣本），模型學會在更多不同的情況下工作。
4. 更真實：這些特殊的圖像看起來和真的一樣，模型學習得更貼近現實。
5. 不用新數據：不需要額外的圖片或數據，就像用舊書複習，也能學到新知識。
6. 全面提高：在多種不同的圖像分割任務上，ASAM能讓模型表現得更出色。

ASAM的技術原理

1. 對抗性訓練：ASAM利用對抗性訓練的概念，通過向模型輸入精心設計的擾動來提高模型泛化能力的方法。
2. 自然對抗性示例：ASAM特別關注自然對抗性示例，示例在視覺上與正常樣本相似，在模型的決策邊界附近。
3. 穩定擴散模型：ASAM使用穩定擴散模型來增強SA-1B數據集的一個子集，生成對抗性實例。這種方法能在保持圖像質量的同時，引入細微的擾動。
4. 照片級真實感：生成的對抗性樣本需要保持與原始圖像相同的視覺真實性，這樣在訓練過程中，模型就不會因爲不真實的樣本而學習到錯誤的特徵。
5. 掩模註釋對齊：對抗性樣本需要與原始的掩模註釋保持對齊，確保在分割任務中，模型能夠正確地識別和分割目標對象。
6. 微調過程：ASAM通過用這些對抗性樣本對原有的SAM模型進行微調，在不改變原始架構的前提下提高模型性能。

ASAM的項目地址

ASAM的應用場景

• 醫學圖像分析：在醫學領域，ASAM可以用於提高醫學圖像分割的準確性，輔助醫生進行疾病診斷和治療規劃。
• 自動駕駛汽車：在自動駕駛技術中，ASAM可用於提高道路和物體的分割精度，增強車輛對周圍環境的理解能力。
• 機器人視覺：在機器人技術中，ASAM可以幫助機器人更好地理解其工作環境，進行精確的物體識別和操作。
• 增強現實（AR）：在AR應用中，ASAM可以提升虛擬對象與現實世界融合的自然度，提供更加沉浸式的體驗。