KuaiFormer – 快手推出的檢索框架，基於Transformer

KuaiFormer是什麼

KuaiFormer是快手技術團隊推出的基於Transformer的檢索框架，用在大規模內容推薦系統。基於重新定義檢索流程，從傳統的分數估計任務轉變爲Transformer驅動的“下一個動作預測”範式，有效進行實時興趣獲取和多興趣提取，顯著提升檢索性能。KuaiFormer用多興趣查詢Token、自適應序列壓縮機制，實現在億級候選集上的穩定訓練。已在2024 年 5 月集成到快手 App 的短視頻推薦系統，爲超過4億日活用戶提供服務，顯著增加用戶日均使用時長。

KuaiFormer的主要功能

• 多興趣提取：引入多個查詢Token捕捉用戶的多樣化興趣，模型能更好地理解和預測用戶的複雜興趣。
• 自適應序列壓縮：爲提高長序列建模的效率，KuaiFormer設計自適應序列壓縮機制，基於壓縮早期觀看的視頻序列減少輸入序列長度，保留最新的視頻信息。
• 穩定訓練技術：KuaiFormer用一種定製的softmax學習目標和LogQ校正方法，穩定地訓練模型，在面對億級候選集時能保持性能。
• 實時推薦：實時響應用戶的請求，從數十億的選項中快速選出與用戶實時興趣相關的候選項目。

KuaiFormer的技術原理

• Transformer架構：基於自注意力機制捕捉用戶行爲序列中的複雜依賴關係。
• Next Action Prediction：KuaiFormer將檢索過程轉變爲預測用戶的下一個動作，有助於更準確地捕捉用戶的實時興趣。
• 多興趣Query Token：受到BERT中[CLS] Token的啓發，引入多個可學習的Query Token，結合多興趣訓練策略，從歷史項目序列中提取不同的用戶興趣表示。
• 自適應Item壓縮機制：KuaiFormer將早期項目序列分組並壓縮，減少輸入序列長度，同時對最新項目進行細粒度建模。
• Smooth In-Batch Softmax Loss：KuaiFormer基於In-Batch Softmax作爲學習目標，應用LogQ校正方法糾正採樣偏差。

KuaiFormer的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2411.10057

KuaiFormer的應用場景

• 短視頻推薦：快手App的短視頻推薦系統，分析用戶的歷史觀看行爲和興趣，爲用戶推薦可能感興趣的新視頻。
• 內容發現：在內容發現方面，幫助用戶探索和發現新內容，增加內容的多樣性和新穎性，提升用戶體驗。
• 個性化推薦：捕捉用戶的多維興趣，提供更加個性化的推薦，滿足用戶的個性化需求。
• 實時推薦系統：實時響應用戶的行爲變化，快速更新推薦列表，適用於需要實時推薦更新的場景。
• 大規模數據處理：在處理數十億級別的視頻庫時，KuaiFormer 的高效率和可擴展性成爲大規模數據處理的理想選擇。