ChatMusician – 可理解和生成音樂的大模型

ChatMusician是什麼

ChatMusician是由Multimodal Art Projection Research Community、Skywork AI和香港科技大學的研究人員推出的，一個開源的用於理解和生成音樂的大型語言模型。該模型基於 LLaMA2 模型持續預訓練和微調開發，使用 ABC 記譜法（一種與文本兼容的音樂表示法）來處理音樂，將音樂視爲一種語言。ChatMusician的獨特之處在於它能夠在不依賴外部多模態神經結構或分詞器的情況下，僅使用純文本分詞器來理解和創作音樂。

• 官方項目主頁：https://shanghaicannon.github.io/ChatMusician/
• arXiv研究論文：https://arxiv.org/abs/2402.16153

ChatMusician的主要功能

• 音樂理解和分析：
  • 音樂理論問題回答：ChatMusician能夠回答關於音樂理論的複雜問題，這些問題可能涉及和絃、旋律、節奏、音樂形式等。
  • 音樂形式分析：模型能夠識別和分析音樂作品的結構，如二部、三部曲式等。
  • 音樂動機提取：ChatMusician可以從音樂作品中提取主要的音樂動機，並理解其在作品中的作用。
• 音樂生成和創作：
  • 和絃創作：根據給定的和絃序列，ChatMusician能夠創作出流暢的和絃進行。
  • 旋律創作：模型能夠基於給定的和絃或音樂形式創作旋律。
  • 音樂形式創作：ChatMusician能夠創作具有特定音樂形式（如奏鳴曲式、迴旋曲式等）的音樂作品。
  • 音樂風格模仿：模型能夠模仿特定音樂家的風格，如巴赫風格，創作新的音樂作品。
• 音樂與文本的交互：
  • 音樂知識問答：ChatMusician能夠理解和回答關於音樂知識的提問，如音樂術語、歷史、樂器特性等。
  • 音樂創作指導：模型可以提供音樂創作過程中的指導，如建議和絃進行、旋律發展等。

ChatMusician的技術原理

• 大語言模型（LLM）：ChatMusician 基於如 LLaMA2 這樣的大型預訓練模型，這些模型通過在大量文本數據上進行預訓練，學習語言的結構、語法和語義。
• 音樂表示法（ABC Notation）：爲了使模型能夠處理音樂數據，ChatMusician 使用 ABC 記譜法，這是一種將音樂符號轉換爲文本格式的記譜系統。ABC 記譜法的文本表示法允許音樂數據以類似於自然語言文本的形式輸入到模型中，使得模型能夠利用其在文本處理上的能力來理解和生成音樂。
  
  

  常見的音樂表示方法

• 持續預訓練和微調：在預訓練階段，模型在多樣化的文本數據集上學習語言的通用表示。在微調階段，模型在特定的音樂任務上進行訓練，以適應音樂理解和生成的需求，包括處理音樂理論知識、和絃進行、旋律創作等。
• 多任務學習：ChatMusician 通過多任務學習（MTL）來同時處理音樂理解和音樂生成任務，允許模型在不同任務之間共享知識，提高整體性能。
• 音樂理論基準測試：爲了評估模型在音樂理解方面的能力，研究者們開發了 MusicTheoryBench，一個專門針對音樂理論問題的基準測試。通過這個基準測試，ChatMusician 的音樂理解能力得到了驗證，特別是在音樂知識、音樂推理和音樂形式分析方面。
• 數據集構建：爲了訓練和評估 ChatMusician，研究者們構建了專門的音樂-語言語料庫 MusicPile，以及 MusicTheoryBench 音樂理解基準測試。這些數據集包含了音樂知識問答對、音樂記譜、音樂摘要等，爲模型提供了豐富的音樂和語言信息。