LaWGPT – 南京大學推出的中文法律大語言模型

LaWGPT是什麼

LaWGPT 是南京大學推出的中文法律大語言模型，基於 LLaMA 模型進行二次預訓練，融入大量中文法律知識。專注於法律領域，能理解和生成與法律相關的文本，適用於法律諮詢、案例分析、法律文件生成等多種場景。 LaWGPT 有 LaWGPT-7B-alpha 和 LaWGPT-7B-beta1.0多個版本，模型經過海量中文法律文本訓練，具備豐富的法律知識儲備。

LaWGPT的主要功能

• 法律諮詢：用戶可以通過 LaWGPT 諮詢各種法律問題，如合同糾紛、勞動法問題、知識產權保護等，根據用戶的問題，給出相應的法律解釋和建議。
• 法律文書生成：基於文本生成能力，可以輔助律師和法律工作者快速生成法律文書，如合同、起訴狀等，提高工作效率。
• 司法考試輔助：可用於輔助準備中國司法考試，通過模擬考試題目和提供解析，幫助考生更好地理解和掌握法律知識。
• 法律教育與培訓：可以作爲法律教育工具，幫助學生和教師更好地理解法律知識，提高教學效果。
• 智能客服：應用於智能客服領域，自動回答用戶的法律問題，提高客戶服務效率。

LaWGPT的技術原理

• 基礎架構：LaWGPT 是在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基礎上進行擴展和優化的。爲 LaWGPT 提供了強大的語言生成和理解能力。
• 法律領域詞表擴充：爲了更好地處理法律問題，LaWGPT 擴充了法律領域的專有詞表。模型能更準確地識別和理解法律術語及其上下文關係，在法律文本中表現出更高的語義理解能力。
• 大規模法律語料預訓練：LaWGPT 使用了大規模的中文法律語料進行預訓練。語料包括法律文書、法典、司法案例等，涵蓋了從憲法到地方性法規的廣泛內容。通過預訓練，模型學習了法律語言的語法、語義和語境，增強了其在法律領域的基礎語義理解能力。
• 指令精調：在預訓練的基礎上，LaWGPT 進行了指令精調。開發團隊構造了法律領域對話問答數據集和中國司法考試數據集，通過這些數據集對模型進行微調，進一步提升了模型對法律問題的理解和回答能力。
• 知識引導數據生成框架（KGDG）：LaWGPT 採用了知識引導數據生成框架（KGDG），包括以下幾個關鍵組件：
  • KGGEN：引入法律文檔作爲知識庫，通過知識感知採樣器和知識引導編寫器生成包含問題和推理路徑的內容。
  • KGFIX 和 DAVER：用於修復推理路徑和參考中的錯誤，驗證生成數據的質量。
  • MITRA：生成標準問答對和帶有明確推理路徑的問答對，爲模型提供更豐富的訓練數據。

LaWGPT的項目地址

• Github倉庫：https://github.com/pengxiao-song/LaWGPT
• arXiv技術論文：https://arxiv.org/pdf/2406.04614

LaWGPT的應用場景

• 法律研究：LaWGPT 能幫助研究人員快速查找相關法律法規、案例和文獻，加快研究進程。可以幫助研究人員快速理解相關法律法規，加速政策分析。
• 案件分析：LaWGPT 能幫助律師快速理解複雜的案件細節，生成初步的分析報告。在司法實踐中，律師和法官可以參考 LaWGPT 對相關法律條文的精準解讀，以及基於大量案例分析生成的合理判決建議，快速理清案件思路，做出公正、高效的判決。
• 政策研究：LaWGPT 可以幫助研究人員快速查找和理解相關法律法規，加速政策分析。