Auto Think – 快手開源的自動思考大模型

Auto Think是什麼

Auto Think是快手Kwaipilot團隊開源的KwaiCoder-AutoThink-preview自動思考大模型，模型針對深度思考大模型存在的“過度思考”問題進行了深入研究，提出了一種全新的自動思考模型訓練範式，基於傳統強化學習算法（GRPO），提出帶有過程監督的強化學習方法Step-SRPO，進一步提升模型在複雜任務中的表現。模型融合“思考”和“非思考”能力，具備根據問題難度自動切換思考形態的能力。通過這種思考形態訓練，模型在多個“思考”和“非思考”評測榜單上均實現了性能提升，其中在部分代碼和數學類的任務上，開啓自動思考模式下的模型得分提升高達20分左右。

Auto Think的主要功能

• 自動切換思考形態：模型融合了“思考”和“非思考”能力，根據問題的難度自動切換思考形態。對於簡單問題，模型會採用“快思考”模式，直接給出答案，避免不必要的複雜推理過程；對於複雜問題，會切換到“慢思考”模式，進行深度推理和分析，更準確地解決問題。
• 提升效率與性能：自動切換思考形態的能力，使模型在多個“思考”和“非思考”評測榜單上均實現了性能提升。在部分代碼和數學類的任務上，開啓自動思考模式下的模型得分提升高達20分左右。

Auto Think的技術原理

• 最小提示干預：通過一個添加省略號的Ellipsis Prompt，激活模型隨機切換思考模式的能力。這種提示詞結構簡單而有效，能引導模型在不同思考模式之間進行切換，爲後續的強化學習訓練提供了基礎。
• 多階段強化學習
  • 第一階段：讓模型穩定地出現快慢兩種思考模式。其中“快思考”用於解決簡單問題，複雜問題則使用“慢思考”。這一階段的目標是使模型能根據問題的難度初步判斷並選擇相應的思考模式。
  • 第二階段：對快慢思考行爲進行優化，提高兩種模式下正確回答的能力。通過這一階段的訓練，模型在不同思考模式下都能更準確地處理問題，提升其整體性能。
  • 第三階段：對快慢思考的思維鏈輸出進行精煉。經過這個階段的訓練後，模型不再隨機地決定是否深入思考，能根據問題難度自主選擇思考模式，實現更高效、更精準的推理過程。

Auto Think的項目地址

• HuggingFace模型庫：https://huggingface.co/Kwaipilot/KwaiCoder-AutoThink-preview

Auto Think的應用場景

• 視頻生成：Auto Think的自動思考能力可以進一步優化視頻生成過程，使視頻內容的生成更加貼合不同難度和複雜度的需求。
• 文案創作：Auto Think可以根據問題難度自動切換思考形態，爲文案創作提供更高效、更精準的思路和方法。
• 智能客服：Auto Think的自動思考能力可以使其在與用戶交互時，根據問題的複雜程度，快速準確地給出回應，提升用戶體驗。
• 精準搜索：Auto Think的自動思考能力可以進一步優化搜索結果，提供更精準、更符合用戶需求的信息。
• 個性化推薦：Auto Think可以根據用戶的個性化需求，自動切換思考模式，提供更精準的推薦結果。