AI工具
1,760 個結果
Baklib – 企業級數字內容體驗雲平台，一站式管理數字內容
Baklib是什麼 Baklib是企業級...
Speak APP – AI英語學習應用，與AI實時互動模擬真實口語對話場景
Speak APP是什麼 Speak APP是...
Product AnyShoot – TopView AI 推出的AI電商產品視頻生成工具
Product AnyShoot是什麼 Prod...
點線搜索 – 零一萬物推出的AI搜索應用
點線搜索是什麼 點線搜索是零...
Momo – AI照片生成應用，上傳8-12張照片可訓練生成逼真的 AI 圖像
Momo是什麼 Momo 是AI照片生...
Mureka V6 – 崑崙萬維推出的AI音樂創作基座模型
Mureka V6是什麼 Mureka V6是...
Skarbe – AI銷售工具，智能捕捉和整理事項生成關鍵行動建議
Skarbe是什麼 Skarbe 是AI銷...
福棠·百川 – 百川智能聯合北京兒童等推出的兒科大模型
福棠·百川是什麼 福棠·百川是...
Step-Video-TI2V – 階躍星辰開源的圖生視頻模型
Step-Video-TI2V是什麼 Step-...
Marker – AI文檔轉換工具，多格式轉換爲 Markdown、JSON、HTML
Marker是什麼 Marker 是開源...
Instella – AMD開源的30億參數系列語言模型
Instella是什麼 Instella是AM...
Claude 3.7 Max – Cursor 上線的最新 AI 模型，支持200k上下文
Claude 3.7 Max是什麼 Claude...
amis – 百度開源的低代碼前端框架
amis是什麼 amis 是百度開源...
BioMedGPT-R1 – 清華聯合水木分子推出的多模態生物醫藥大模型
BioMedGPT-R1是什麼 BioMedGP...
AudioX – 港科大聯合月之暗面推出的擴散變換器模型，任意內容生成音頻
AudioX是什麼 AudioX 是香港...
赤兔Chitu – 清華聯合清程極智開源的大模型推理引擎
Chitu是什麼 Chitu（赤兔）是...
APB – 清華聯合騰訊等機構推出的分佈式長上下文推理框架
APB是什麼 APB（Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs）是清華大學等機構聯合提出的分佈式長上下文推理框架。通過稀疏注意力機制和序列並行推理方式，有效解決了大模型處理長文本時的效率瓶頸。APB採用更小的Anchor block和Passing block，結合查詢感知的上下文壓縮技術，減少計算開銷的同時，精準傳遞關鍵信息，實現長距離語義依賴的高效處理。在128K文本上，APB推理速度比Flash Attention快約10倍，比英偉達的Star Attention快1.6倍，且性能優異。具備卓越的兼容性，能適應不同分佈式設定和模型大小。 APB的主要功能 加速長上下文推理：APB通過多主機近似注意力機制顯著提升推理速度，相比Flash Attention、Ring Attention和Star Attention分別實現了高達9.2倍、4.2倍和1.6倍的速度提升。通過序列並行化和近似注意力機制的結合，APB在保持任務性能的同時，大幅減少了計算量和通信開銷。 高效的分佈式計算： 上下文分割：輸入序列被均勻分配到多個主機上，在每個主機的本地上下文塊前附加一個錨點塊（Anchor Block），保留對輸入序列初始部分的可見性。 塊壓縮：在每個主機上，使用Locret的保留頭（Retaining Heads）對KV緩存進行壓縮，減少通信和計算開銷。 通信機制：通過AllGather通信機制，將壓縮後的上下文塊發送到所有主機，並構建傳遞塊（Passing Block），以傳遞前序主機的重要KV緩存單元。 計算：在每個主機上，結合錨點塊、傳遞塊和本地上下文塊進行注意力計算。傳遞塊在注意力計算後被丟棄，不參與後續計算。 適應性強：APB支持多種模型和並行配置，能適應不同的分佈式設置和模型大小，具有良好的可擴展性，通過調整錨點塊和傳遞塊的大小，APB可以在不同長度的輸入序列上實現最佳性能。 保持任務性能：在長上下文推理任務中，APB速度更快，在性能上與全注意力計算（Full Attention）相當，在某些任務上表現更好。通過查詢感知的上下文壓縮技術，APB能更精準地識別和傳遞與查詢相關的上下文信息，保持或提升任務性能。 APB的技術原理 稀疏注意力機制：APB框架整合了稀疏注意力機制，通過減少計算量來提升推理速度。通過以下方式實現稀疏注意力： 更小的Anchor block：與Star Attention相比，APB將Anchor block的大小縮小到上下文塊的1/4或1/8，從而減少了額外的計算開銷。 Passing block：爲了解決長距離語義依賴問題，APB通過構建Passing block來傳遞重要信息。Passing block由前面設備上的重要KV對組成，每個上下文塊被壓縮後通信到後續GPU上構建Passing block。 查詢感知的上下文壓縮：APB在Anchor block的開頭嵌入查詢，使上下文壓縮器能夠看到查詢的內容，更精準地識別出查詢相關的KV對，通過通信機制傳給後續設備。 序列並行推理：APB框架採用序列並行的方式，將長文本均勻分配到多個GPU上進行並行處理，同時通過局部KV緩存壓縮和精簡的跨GPU通信機制，解決了長上下文中的遠距離語義依賴問題。 APB的項目地址 Github倉庫：https://github.com/thunlp/APB arXiv技術論文：https://arxiv.org/pdf/2502.12085 APB的應用場景 長文本推理：如長文本生成、長文本問答等，需要處理極長輸入序列的應用。 多Agent協作：多個Agent需要協同處理長上下文信息的場景。 大規模模型服務：需要在分佈式環境中高效處理長上下文的模型服務。 知識圖譜構建：知識圖譜構建任務需要處理大量的文本數據，提取和整合知識。APB框架通過高效的上下文壓縮和傳遞機制，能顯著提升知識圖譜構建的效率。 實時交互系統：實時交互系統需要快速處理用戶的輸入生成準確的回覆。APB框架通過高效的上下文壓縮和傳遞機制，能顯著提升實時交互系統的效率。
Gemini 2.0 Flash – Google推出的多模態 AI 模型
Gemini 2.0 Flash是什麼 Gemini 2.0 Flash是Google推出的多模態AI模型，結合文本理解和圖像生成能力。根據自然語言輸入生成高質量的圖像，支持多輪對話式的圖像編輯，保持上下文連貫性。模型擅長將文本與圖像結合，例如爲故事生成連貫的插圖、根據對話修改圖像風格，用世界知識生成更準確的圖像（如食譜插圖）。Gemini 2.0 Flash在長文本渲染方面表現出色，適用於廣告、社交媒體或邀請函等場景。開發者目前能在 Google AI Studio 中使用 Gemini 2.0 Flash 的實驗版本 ( gemini-2.0-flash-exp ) 和 Gemini API 測試這項新功能。 Gemini 2.0 Flash的主要功能 文本與圖像結合：根據文本描述生成連貫的圖像，例如爲一個故事生成一系列插圖，保持角色和場景的一致性。 對話式圖像編輯：支持多輪對話式的圖像編輯。用戶用自然語言指令逐步優化圖像，模型根據上下文保持連貫性。 基於世界知識的圖像生成：Gemini 2.0 Flash用世界知識和增強推理能力生成更準確、更真實的圖像。 長文本渲染：Gemini 2.0 Flash在長文本渲染方面表現出色，能生成包含清晰、準確文本的圖像。 Gemini 2.0 Flash的項目地址 項目官網：https://developers.googleblog.com/en/experiment-with-gemini-20-flash 如何使用Gemini 2.0 Flash 訪問Google AI Studio： 訪問Google AI Studio：訪問Google AI Studio官方網站。 選擇Gemini 2.0 Flash模型：在Google AI Studio中，選擇gemini-2.0-flash-exp模型進行測試。 輸入提示：在輸入框中輸入、文本提示。例如：“Generate an image of a futuristic cityscape in a cyberpunk style.”“Create a series of illustrations for a children’s story about a magical forest.” 基於Gemini API集成到開發項目中： 獲取API密鑰：啓用Gemini API，獲取一個API密鑰。 安裝必要的庫： pip install google-genai 編寫代碼調用API： from google import genai from google.genai import types # 初始化客戶端 client = genai.Client(api_key="YOUR_GEMINI_API_KEY") # 調用模型生成內容 response = client.models.generate_content( model="gemini-2.0-flash-exp", contents=( "Generate a story about a cute baby turtle in a 3D digital art style. " "For each scene, generate an image." ), config=types.GenerateContentConfig( response_modalities=["Text", "Image"] ), ) # 輸出生成的內容 print(response) 處理生成的輸出：根據API返回的結果，提取生成的文本和圖像數據。 Gemini 2.0 Flash的應用場景 創意插圖生成：快速爲故事、廣告或文章生成配套插圖，提升創作效率。 互動故事應用：開發互動故事，用戶基於對話調整故事內容和插圖風格。 社交媒體與廣告：生成高質量的廣告圖像、海報或社交媒體內容，支持長文本渲染。 教育工具：爲教材、科普內容生成示意圖，輔助教學和學習。 設計與創意探索：快速生成設計概念圖，用對話式反饋優化創意方向。
LaWGPT – 南京大學推出的中文法律大語言模型
LaWGPT是什麼 LaWGPT 是南京...
Currents AI – AI社媒分析工具，實時監測和分析市場動態
Currents AI是什麼 Currents ...