Moondream – 開源的輕量級AI視覺語言模型，可在本地快速運行

Moondream是什麼

Moondream是一個免費開源的小型的人工智能視覺語言模型，雖然參數量小（Moondream1僅16億，Moondream2爲18.6億）但可以提供高性能的視覺處理能力，可在本地計算機甚至移動設備或 Raspberry Pi 上運行，能夠快速理解和處理輸入的圖像信息並對用戶提出的問題進行解答。該模型由開發人員vikhyatk推出，使用SigLP、Phi-1.5和LLaVa訓練數據集和模型權重初始化進行構建。Moondream基於寬鬆的Apache 2.0許可證，允許商用。

Moondream的官網入口

• 官方項目主頁：https://moondream.ai/
• GitHub代碼庫：https://github.com/vikhyat/moondream
• Hugging Face Demo：https://huggingface.co/spaces/vikhyatk/moondream2
• Replicate Demo：https://replicate.com/lucataco/moondream2
• 第三方Streamlit實現：https://github.com/Doriandarko/Moondream2-streamlit

如何安裝和使用Moondream

方法一：克隆官方GitHub庫

確認電腦上已安裝Git和Python3，然後打開終端命令依次運行以下命令：

git clone https://github.com/vikhyat/moondream.git
cd moondream
pip install -r requirements.txt
python gradio_demo.py

然後打開瀏覽器在moondream2 gradio界面中上傳圖像和輸入文本提示，點擊Submit即可

方法二：使用Streamlit實現版

同樣首先確認電腦上已安裝Git和Python3，然後打開終端命令依次運行以下命令：

git clone https://github.com/Doriandarko/Moondream2-streamlit.git
cd Moondream2-streamlit
pip install -r requirements.txt
streamlit run vision.py

然後瀏覽器打開 http://localhost:8501 即可運行

Moondream的應用場景

• 監控安全：集成到安全監控系統中，實時分析視頻流和圖像數據。如識別異常行爲、可疑活動、特定物體或人員，從而幫助預防潛在的安全事件。
• 無人機和機器人：在無人機和機器人領域，進行地形識別、目標跟蹤和路徑規劃，幫助這些設備更好地理解其周圍環境。
• 零售與購物：在零售行業，Moondream可以用於分析顧客行爲和購物模式，幫助零售商優化店鋪佈局、商品擺放和促銷策略。