Transformer Debugger – OpenAI開源的理解和分析大模型內部的工具

Transformer Debugger是什麼

Transformer Debugger (TDB) 是由 OpenAI 的對齊團隊（Superalignment）開發的一款工具，旨在幫助研究人員和開發者更深入地理解和分析 Transformer 模型的內部結構和行爲。Transformer 模型是一種深度學習架構，廣泛應用於自然語言處理（NLP）領域，特別是在機器翻譯、文本生成和理解等任務中。

TDB 的核心功能是提供了一種無需編寫代碼即可快速探索模型結構的方式，結合了自動可解釋性技術和稀疏自動編碼器，使得用戶能夠直觀地查看和分析模型的特定行爲，例如模型爲何在給定的輸入（prompt）下選擇輸出特定的token，或者模型的注意力機制爲何關注輸入文本中的某些特定部分。

GitHub源碼地址：https://github.com/openai/transformer-debugger

Transformer Debugger的功能特性

• 無需編碼的模型探索：TDB 允許用戶在不編寫代碼的情況下探索模型結構，使得研究和調試過程更加直觀和高效。
• 前向傳遞干預：用戶可以干預模型的前向傳遞過程，觀察不同操作如何影響模型的輸出，從而更好地理解模型的決策過程。
• 組件級分析：TDB 能夠識別並分析對模型行爲有顯著貢獻的特定組件，如神經元、注意力頭和自動編碼器的潛在表示（latents）。
• 自動生成解釋：工具可以自動生成解釋，展示導致特定組件激活的原因，幫助用戶理解模型的內部工作機制。
• 可視化界面：通過 Neuron viewer，一個基於 React 的應用程序，TDB 提供了一個用戶友好的界面，用於展示和分析模型組件的信息。
• 後端支持：Activation server 作爲後端服務器，爲 TDB 提供必要的數據支持，包括從公共 Azure 存儲桶讀取和提供數據。
• 模型和數據集支持：開源內容包括 GPT-2 模型及其自動編碼器的簡單推理庫，以及一些整理好的激活數據集示例，方便用戶進行實驗和分析。

如何安裝和設置Transformer Debugger

1. 首先確認電腦上已安裝python/pip以及node/npm等工具
2. 建議使用虛擬環境（非必選）

   # 如果已在虛擬環境，先取消激活
   deactivate
   # 創建新的虛擬環境
   python -m venv ~/.virtualenvs/transformer-debugger
   # 激活新的虛擬環境
   source ~/.virtualenvs/transformer-debugger/bin/activate

3. 設置完環境後，按以下步驟操作：

   git clone [email protected]:openai/transformer-debugger.git
   cd transformer-debugger
   
   # 安裝神經元解釋器
   pip install -e .
   
   # 安裝pre-commit鉤子
   pre-commit install
   
   # 安裝神經元查看器
   cd neuron_viewer
   npm install
   cd ..

4. 要運行 TDB 應用程序，請按照說明設置激活服務器後端和神經元查看器前端。