音樂，對你來說，是什么？

音樂對于我們中的許多人來說，是生活中不可或缺的一部分。它不僅僅是娛樂，更是一種情感的表達和交流方式。音樂是一種語言，可以用來表達感受，描繪作曲家想要傳達的某種情緒或感覺，同時每個人也會對原始樂譜進行自己的解讀。?

但在2024年，我聽到了一個截然不同的答案。

Roger Chen （Meta音樂技術負責人） ： 音樂的本質是我們稱為 organized sound （有組織的聲音） 。它在微小的單元上看，它就是空氣的震動，不同的頻率、不同的幅度，它再這么排列組合，就組合出了一些美妙的音樂。

如果以“微小單元空氣震動的排列組合”來定義音樂，這簡直太符合這一輪生成式人工智能的能力覆蓋范圍了。

果不其然，在2024年，以Suno為首的眾多AI音樂模型和產品爆火，這些用簡單提示詞、幾十秒就能生成的AI作詞、作曲、演唱曲目，效果好到讓人大為震撼。

音樂AI模型是怎么發展起來的？中間的技術細節是如何實現的？AI音樂目前能否替代人類歌手或音樂家呢？以及AI浪潮將會如何影響整個音樂產業市場？

硅谷101采訪了AI音樂模型從業者、打擊樂教授、樂隊和各種樂器的演奏者，和大家一起來共同探索AI音樂的顛覆與技術邊界。

一、Suno AI的風靡與爭議

2024年5月末，總部位于波士頓的AI音樂公司Suno在社交媒體X上宣布成功完成了1.25億美元的 B輪融資，投后估值達到5億美元，用戶數量快速增長至超過1000萬。微軟等科技巨頭更是將 Suno的AI音樂創作功能直接整合到了旗下的Copilot產品中。

像這輪AI浪潮中的眾多明星項目一樣，Suno的創立時間很短，2022年才成立，在B輪融資之前公司僅有12人。

在2024年3月，Suno突然爆火。Text to music，文生音樂的能力巨大提升，讓大家驚呼：AI音樂的ChatGPT時刻，就這么到來了。

乍一聽，真的覺得AI作曲已經非常好聽了，不管是曲調，還是歌詞，還是歌手唱腔，作為一個音樂小白和唱歌經常走調的人，我覺得這些歌已經非常好聽，遠超現在的一些十八線歌手的網絡口水歌。而這會不會掀起音樂市場和唱片公司這些資本方的腥風血雨呢？

2024年6月底，根據美國唱片業協會 （Recording Industry Association of America， RIAA） 的官方通告，包括索尼、環球和華納在內的三大唱片公司及旗下廠牌集體向Suno和另外一家AI音樂應用Udio發起訴訟。起訴狀中提供了旋律雷同的例子和細節對比分析，而原告要求每一首侵權作品需賠償15萬美元。

這個官司打出結果可能還需要一段時間，不過我其實對這起訴訟也并不感到意外。首先，AI音樂的出現勢必會動到傳統音樂資本的市場蛋糕，肯定會引發抵觸，這個市場蛋糕是具體哪一塊我們稍后會分析。

其次，在Suno剛火起來的時候，有AI模型的業內人士就對我們表達過懷疑，他們認為，Suno的效果這么好，可能是因為用了有版權的音樂做訓練。

我們在這里不作任何的結論，只是單純的傳達出業內人士的困惑：他們認為，AI音樂這個產品很多科技公司，如果說谷歌和Meta都在做，但效果都不如Suno AI，難點都不在模型本身，難點是在于可以用來訓練的參數，也就是沒有版權問題的歌曲。

比如說：一線歌手的流行音樂不能用，有版權；影視作品音樂不能用，有版權；就連已經算作public domain（公有領域）的交響樂，只有曲譜是沒有版權問題的，而被各大樂團演奏出來的版本依然是有版權限制的，也是不能拿去做AI訓練的。

也就是說，可能人類目前最頂尖的音樂作品，很大一部分都是無法擺脫版權問題而拿去給AI訓練的。那么谷歌和Meta怎么解決這個問題呢？

作為科技巨頭，他們花了天價，去雇一群音樂創作人，專門給他們自己創作不同類型的音樂，然后用這些沒有版權顧慮的音樂去訓練自己的AI音樂模型。這個成本，顯然是Suno等小創業公司無法去負擔的。

這場官司會如何發展，Suno到底有沒有用有版權的音樂訓練模型，我們也會繼續關注事態的發展。

不過，我們來繼續聊點好玩的，這期節目我們也邀請到了Meta的Music Tech Lead （AI音樂技術主管） Roger Chen，來跟我們一起詳細聊一下AI音樂模型的細節。

二、AI音樂模型拆解

1. 第一層壓縮及碼本

Roger就告訴我們，用機器學習做音樂這件事情已經做了好幾年了。在業界大家已經意識到，如果“音樂的定義”可以被理解成，聲音在空氣中的震動產生不同的頻率和幅度，那我們可以把聲音標記成電信號。

我們知道，在如今基于Transformer架構的大語言模型中，token代表模型可以理解和生成的最小意義單位，是模型的基礎單位。

而在AI音樂中，各種音樂維度都可以表達成token序列，包括：節奏、速度、和聲、調性、段落、旋律、歌詞還有唱腔音色等等，一切皆可token化。

但是，這里的技術難題是：音頻中的信息太豐富了。舉個例子：音樂被錄制下來之后，如果用離散的數字來表示，每秒鐘通常是有44100個采樣。如果大家仔細看之前買的CD，上面會標注44.1kHz的字樣。

如果1秒有44100個采樣，那么3分鐘的一首歌，就有3×60×44100=7938000這么多個采樣。如果把每個采樣都對應一個token，那么對于模型訓練來說是一個天文數字。

如何將音頻token化，這成為了AI在音樂模型上發展的難題。直到幾年前，Meta和谷歌在音頻采樣壓縮技術上出現了技術突破，能實現將音頻采樣轉化為更少量的token，其中的壓縮幅度達到幾十幾百倍，因此，AI音樂的發展才開始提速。

Roger Chen：

Google那邊叫做SoundStream，Meta這邊叫做EnCodec，然后最近還有更好一點叫做Descripts。總之都是做類似的事情，就是他們都能 夠把音頻轉換成token， token又能夠還原成音頻，現在就是做到基本人耳聽不出來有任何的失真了。

它可以把音頻壓縮很多很多倍。另外一項技術就是怎么樣把各種各樣被稱為modelity （模態） ，比如說像這個文本，像這個音樂里面各種的維度，比如說像這個節拍是四四拍還是四三拍？它的速度 BPM 是120 還是90？或者說它的和弦進行這個 c major a minor 這樣的進行調性。還有比如說它的這情感、流派、用的樂器，歌詞音高，它的長度，還有歌手的風格都能夠轉成token。

Roger Chen： 剛才說的這些各種各樣的模態，可能有十幾種、二十幾種，你都可以把它轉成token 之后，然后用一個統一的大語言模型框架，讓大語言模型學會某一些模態跟音頻的 token的對應關系，那么這個框架就非常強大。

Google的SoundStream，以及Meta的EnCodec技術，能讓3分鐘音樂的7938000采樣，被大幅度壓縮到以幾毫秒甚至幾十毫秒的長度來計算的token序 列。每一個token，都可以用一個數字對應表示。

Roger Chen： 20毫秒對于人來講根本聽不出來什么東西，就是Pia，Pia，Pia，可能全都是那樣的聲音，但是你把組合起來就是一個完整的音樂。每20毫秒我們都用一個數字來表示，像這20毫秒可能它是一個稍微安靜一點的這種鋼琴的聲音，它的這個表示的數字就和一個比較吵的電吉拉聲音會不一樣，但是如果很相似的鋼琴聲音，它可能就用同一個數字表示。

用數字表現音頻，這被稱為codebook （碼本） 。在實際操作中，人們發現，當把音樂轉換成一串數字的時候，它會有一定的程度的失真。也就是說，碼本的大小會決定音頻的質量。

Roger Chen： 假如說我們一共只用1000個數字來表示天底下所有的音頻的話，那么它失真會非常嚴重，但是我們用100萬個，那可能失真就不那么嚴重了。

然而，雖然從事AI音樂的研究員們意識到大語言模型理解和生成token的方式是一種新的生成音樂的方式，但難點是，音樂的序列很長。比如每個token代表5毫秒，3分鐘的歌曲就有36000個token。

即使谷歌和Meta的壓縮技術已經將三分鐘音頻的7938000個采樣的信息量壓縮到了36000個token，已經縮小了這么多倍，但依然，這樣的token量對于大語言模型來說，還是太大了。

這就形成了一個悖論：碼本小，失真嚴重，效果不好；碼本大，效果好，但token量太大而沒法拿去GPT生成。

Roger Chen： 那就是一個比較天真的想法，但是最早人們可能會常做這樣的嘗試，但發現像用這種GPT這樣的模型去做生成的時候，它的上下文是不能無限長的。這對大語言模型的壓力是非常巨大的，就是你需要去考慮到36000個過去發生的事件，來決定下個5毫秒生成一個什么樣的token。這是一個非常有挑戰的，而且如果你要訓練這樣的模型，你需要這個可能幾個billion （幾十億） 參數，就是很大的模型了，那么訓練起來你肯定需要花那么幾百萬美金才能訓練這樣的模型，也不實用。

由于這么大的token量無法用GPT模型來完成，在AI音樂的前幾年，效果一直沒那么驚艷。

當時，AI生成音樂的普遍做法是把音頻先轉換成頻譜frequency spectrum，就是這種圖，然后再用圖片的方式從擴散模型diffusion model去生成。

擴散模型的AI生成原理我們在之前講Sora視頻生成的時候詳細講過，感興趣的小伙伴可以去往回翻去看看那期。

但是，用擴散模型生成出來的音頻效果非常不好，因為模態轉換期間，會有很多細節信息丟失，導致生成成品的失真。而如果要用GPT模型的話，必須要解決音樂序列長、token太多的問題。

這個時候，又一個重要的技術出現了突破：第二層音頻壓縮技術。

2. 第二層音頻壓縮技術

簡單來說，在基本無損音頻信息的情況下，人們發現，音頻token還能被繼續壓縮。

首先，研究員們發現，音頻的token可以進行分層壓縮及解碼，來減小大模型中Transformer架構的上下文壓力。

我們剛才說3分鐘的音樂有36000個token，如果將這些token序列三個分為一組，先將它們打包，在這一層做一個小小的壓縮，36000個token就被壓縮到12000個token了，然后放進Global Transformer大語言模型，等模型輸出了12000個token之后，再把每個token通過Local Transformer展開成三個原來的token數量。

所以，這樣將Token先壓縮分層，再展開的方式讓大模型的上下文壓力減小，也能讓生成的時間變得更快。

從最開始的三分鐘音樂的7938000個采樣，到如今的12000個token，這么多倍的壓縮。才有了AI音樂大模型的風靡全球。而我們不排除以后有技術可以把音頻token量壓縮得更小，讓音樂生成更快、更順滑、有更多的細節和信息。

我們來總結一下：

先是將音樂token化的技術，加上近年音頻壓縮技術的出現和發展，伴隨著GPT這樣的大語言模型能力的增強，還有text to speech （文生語音） 模型的進步，使得AI音樂的能力得到了飛速提升，無論在作曲、作詞還是演唱上，都越來越逼真、越來越擬人。這也就造就了Suno AI的爆火。

從Roger跟我們的分析來看，只要AI學了足夠多的參數和曲目，就可以生成任何風格的作品。

Roger Chen： 我們把這些token把它給串起來，然后告訴這個大語言模型，當你看到這樣的token的時候，你需要輸出這樣子的音樂。只要這個大語言模型能夠接收到這樣子的四對一 （歌詞，時間同步，音高，音色） 的對應關系，它就能夠在聽了足夠多的音樂之后，它就能夠去生成出你想要的這種歌手演唱的這種效果。

所以，如果你是一個音樂從業者的話，面對如今AI音樂的能力，你是否擔心自己的工作不保呢？AI音樂會對我們的娛樂產業造成顛覆性的影響嗎？音樂家和歌手們的飯碗還能保得住嗎？我們跟一眾音樂家們聊了聊，但好像，大家并沒有太擔心被取代這件事情。那么，AI取代的會是誰呢？

三、AI音樂帶來的顛覆

1. AI能替代人類音樂家嗎？

在做Suno和AI音樂這個選題的前后這么幾個月的時間，我自己也在嘗試不同的作曲，試試各種的prompt詞和調里面的變量，還是挺好玩的，我也會去聽聽Suno或者其它AI音樂平臺的榜單，聽一下別人用AI創作的歌，真的很不錯。我也建議大家都去玩玩看。

但是聽久了我發現一個問題：AI創作出來的歌曲雖然乍一聽還不錯，但不會有那種讓我一遍又一遍很上頭的音樂，不會讓我特別有感情上的共鳴，風格也慢慢變得很雷同。

可能是訓練參數的匱乏，讓AI音樂很難創造出人類頂級水平的歌曲，因此我很難想象，這些AI音樂會在五年或者十年之后，有任何一首能經得起時間的檢驗，還能在人們之中口口相傳。

那么，Suno在專業音樂人眼中是如何的存在呢？能掀起什么風浪呢？我們采訪了知名音樂博主“叨叨馮”，也是我自己很喜歡看的一個頻道。叨叨原名是馮建鵬，是美國Hartford大學音樂學院打擊樂講師，也是紐約百老匯全職演奏家。他認為，AI目前可以達到音樂屆的平均水平，但這樣的平均水平，不足以在這個行業中出挑。

馮建鵬 （叨叨馮）（美國Hartford大學音樂學院打擊樂講師） ： 很多音樂或者說之所以經典的音樂它可以流傳下來，其實更多的是因為它承載的人文和它體現的態度所帶給的所有人的共鳴。那么我們覺得我們可以帶入到這個歌的情緒里面，所以有一萬首搖滾的歌，可能有那三首就成了傳世的佳作。

但是目前 AI至少咱們測試出來的結果，它缺乏的是最終的那個，讓我們能感覺到共鳴的那個態度，所以它可能能夠寫出來，但是很難在行業里面出類拔萃，因此在這個程度上來說，它還沒有完全的能夠代替人類作曲家的這種情感。

馮建鵬在自己的頻道上也做了多期用AI作曲的視頻，嘗試了各種曲風，包括更細節嚴謹的prompt來控制樂器、節奏、音樂風格等等，結論是AI作曲還有非常多的缺陷，包括Suno無法理解鋼琴的賦格，特定樂器的要求也沒有達到，生成復雜一點的音樂形式，比如說交響曲，效果非常差。

他認為，之后AI模型的能力肯定會越來越強，但距離替代音樂人還早，但如今音樂從業者也不用抗拒AI，反倒是可以利用AI來作為更好的創作工具。

馮建鵬： 我自己整體的態度是謹慎樂觀，我覺得第一我們沒法抗拒這個洪流，就是歷史發展就是必然，它的工業化的這種程度是一定能夠解放人類的生產力的。我現在寫一首曲子，我可能需要有一個很好的主意，然后我需要花很長的時間把它寫成一首曲子出來，然后再花很長的時間去錄出來，然后這個項目才能完成。

那么現在有了這個 AI以后，可能可以迅速的提高我的速度，那么作曲家能有更多的時間真的去想創作曲子，而不用擔心那些細枝末節的東西，所以等等就包括一些低成本的這些音樂制作，我覺得它真的是可以的，非常好的，就是很有發展前景。

但是同時我對這個事也不是特別的恐慌，就是人類還是有一些自己獨特的一些特性，目前AI至少說它的這個模型、這個算法可能暫時還做不到。很多的音樂其實它是有很嚴謹的明確的邏輯在里面的，如果我不能從這個方式去思考的話，那我只能是去模仿一個形似。但是人類的真正的這個思考的能力，以及我們2000年來攢下來的這些有跡可循的文化上的積淀，人類也是在這個程度上持續在發展的，那么還是有一定的優勢的。

所以除非人工智能真的發展出了智能，他有自己的意識，他有創作的原因，他有情緒，有創作的動力，那么人類可能才會真正的受到威脅，作為一個整個行業，當然已經有人會受到威脅了，這個我認為是的。但是整個行業說取代人類的話，我覺得我不擔心。所以我對他是保持謹慎的樂觀，我覺得他是一定會對我們是有幫助的，我們沒法抗拒，但是距離對我們有足夠的威脅，完全取代我們那個路非常非常的長。

而馮建鵬屢次提到的音樂“態度”和“情緒”，也是我們在跟眾多音樂演奏者們聊天的時候他們提到的最多的關鍵詞。他們認為，這是人類在演奏樂器或演唱的時候，最重要的元素。就如同，同樣的一個曲譜，不同演奏者會有不同的解讀和表現方式，而就算是同一首曲子同一個演奏者，他的每一次表演都是不同的，都是獨一無二的。而情感的共鳴，是對于接受音樂欣賞音樂的作為觀眾的我們來說，最珍貴的部分。

Kevin Yu （大提琴家） ： 我曾看過AI演奏大提琴，也見過機器人演奏大提琴。我認為它們目前只能以某種方式演奏。然而每把大提琴都有些許不同，每場演出也各不相同，每位演奏者也不同。因此，我認為AI還沒有能力做到古典音樂演奏中我們所需要的某些方面，比如即興演奏及表達。

我可以演奏巴赫大提琴組曲的第一種方式是，我可以拉的很寬廣，很慢，很深沉；或是帶有更多動感的，更空靈的聲音，那樣就更有流暢感，更輕盈的聲音。

我敢說我很長時間不會失業。

2. 版權音樂和口水歌將受沖擊

我想了想，我會買高價票去看朗朗或者王羽佳的演奏會，但我估計不會買票去聽機器人彈鋼琴。那么問題來了，AI音樂，如果以現在的能力來看，它沖擊的是什么市場呢？Meta Music and copyrights團隊的技術負責人Huang Hao告訴我們，版權庫音樂和口水歌市場將會是受到沖擊的市場蛋糕。

Hao Huang （Meta音樂及版權負責人） ： 我覺得會替代一個專門的市場叫Stock music 或者叫Production music，就是專門有這些公司提供Royalty-free的音樂，然后你跟他付訂閱費，或者是付版權使用費，然后你可以用他們的歌做任何事情。

這個market 大概有個幾個billion （幾十億美元） 這個樣子，就這部分的market我覺得完全可以被AI取代。它相對于AI音樂，既沒有質量上的優勢，又沒有在發現新音樂上的優勢，AI音樂能夠讓你很輕易的就是拿一個prompt，就輸入幾句話能夠生成想要的歌，這個優勢是完全沒法去打敗它的。

第二階段我覺得做口水歌的這些網紅歌手可能就沒了。其實在國內抖音上面幾乎被這種非常低質量的口水歌完全占據了，這些歌你拿來做視頻是非常有意思，因為它的節奏一般都很歡快，然后它的旋律實際上是大眾都已經熟知的那些和旋。我覺得這些網紅歌、口水歌可能會很快的被替代掉。

那什么是沒法或者說很難去替代呢？就是很強的音樂人，比如說周杰倫，Taylor Swift、Billie Eilish這種，Coplay這些我覺得都很難 （被替代） 。所以非常有創意的這些音樂，我覺得還是有它存在的價值，但是可以看得到其實對音樂人，對整個市場，我覺得還是有很大的擠壓的。

因為音樂是一個非常頭部的市場，可能就是頂級的音樂人，占了可能99%點幾的份額，剩下的都是一大堆的這種long tail （長尾） 的一些音樂人，那我覺得其實對這些長尾音樂人可能是一個很大的挑戰。

對于音樂創作者和演奏者來說，音樂的功能性和商品性也許慢慢會被AI替代，但音樂的精神共鳴層面永遠處于個人。

Ziki D （Party Sucks及Dminished 5th樂隊主唱） ： 音樂就相當于是更高級的一個交流語言，所以它沒有辦法像一個商品一樣，或者是什么東西把它生成出來。它更多的是兩方面，一方面是音樂人自己，他有一個表達的訴求，這部分是AI百分之百沒有取代的可能性的。但另一方面如果你把它作為一個商品來講的話，那我覺得AI做的已經相當好了，它已經在一個非常好的道路上，它在慢慢的向前走，我覺得是非常有可能取代很多商業音樂的。

陳茜： 那音樂人的訴求是什么？

Ziki D： 音樂人的訴求更多的是自己的一種發泄與表達，因為他是像我說的建立在可能語言之上的一種表達方式，你可以不止跟人類交流，可以跟你心里的各種各樣的不一樣的生靈和一些你心里創造的生物在交流的那種感覺，所以就是很抽象的很不一樣的表達方式。

那我們現在清楚了在音樂創作上和市場沖擊上，AI音樂技術的邊界。而在立法上，大公司們以及政策制定者們也正在行動，而這將更加規范AI音樂的未來發展。

四、訴訟、立法、零樣本訓練與AI音樂的未來

在2024年7月12日，美國參議院的三位國會議員提出了一個針對AI版權的新法案COPIED Act，全稱是The Content Origin Protection and Integrity from Edited and Deepfaked Media Act，直譯過來是“內容來源保護和完整性防止編輯和深度偽造媒體法案”。

這個法案的目的，主要是制定完善的規則來標記、驗證和檢測生成式AI產品，包括文字、圖片、音頻和視頻，提升生成內容的透明度防止被非法亂用以及保護公眾的個人數據和隱私。同時保護記者、音樂人、演員和其他藝術、商業群體的利益，并保留對非法使用數據訓練AI大模型的法律追究權益。

比如說，法案規定，任何商業生成式AI產品必須讓用戶知道這是AI生成的，比如說ChatGPT生成的廣告文案或社交媒體帖子，一旦是商用范疇，就必須要明確標注是由AI生成，并且禁止任何人故意移除或篡改AI生成的標注信息。

另外這個法案重要的一點是給出了明確的賠償機制，明確禁止AI廠商在未經明確、知情同意的情況下，使用具有受版權保護作品的數字內容來訓練AI大模型和算法。如果侵犯便需要進行賠償。

這個法案一出，是受到了各種工會、唱片協會、新聞聯盟等等組織的大聲叫好。

所以，我們在開頭提到的Suno被三大唱片公司起訴的官司可能會根據這個最新的法案來宣判指導，我們也會為大家繼續關注這方面的法律進展。

但毫無疑問的是，技術和法律的關系，有時候，總是很模糊，經常是上有政策下有對策。

比如說，我最近學習到，AI音頻上還有一個技術被稱為“零樣本訓練” （Zero-shot learning） 。

在學術上的解釋是：訓練AI模型來識別和分類對象或概念，而無需事先見過這些類別或概念的任何示例。

簡單一點來說，就是把“數據”和“大模型的學習方式”給解耦合，比如說你告訴大模型我要生成一個跟某位歌手很像的聲音，或者是一段這個樂器音色很像的曲子，那么通過“零樣本訓練”，大模型雖然沒有見過或者通過特定樣本訓練，但它也可以模仿進行輸出。

“零樣本訓練”目前在音樂生成上還沒有被廣泛應用，但在語音合成上已經很成熟了，所以我們可以預見，以后如果用戶拿著幾秒鐘的音頻文件作為例子，大模型就可以迅速復制例子音色，這樣的技術對產權保護更難監管。

突然想到，前段時間OpenAI在發布產品GPT-4o的時候，語音的音色被認為很像電影《Her》的配音演員斯嘉麗·約翰遜。而約翰遜爆料說，之前OpenAI CEO Sam Altman確實找過她希望用她的聲音給4o配音，但她拒絕了。

但4o出來的語音模式，有一說一，確實很像寡姐在Her中的聲音。

在GPT4o發布之后，約翰遜大為震驚和惱怒，雖然沒有正式去OpenAI提起訴訟，但已經組織好了律師團隊來準備下一步的法律動作。OpenAI這邊是否認了使用約翰遜的聲音作為訓練樣本，而是使用的另外一位配音演員。

我也不知道OpenAI是否使用了零樣本訓練的技術，但我相信，隨著各種生成式AI技術和產品能力的提升，法律、商業以及社會都需要一些新的共識。

五、新的共識與不完美的人類

但我想，不變的，依然是人類對音樂的需要，無論是聽眾還是演奏者，無論是大師還是我這樣主要為了自嗨的業余小白。

人類的創作是充滿不確定性的，有激進，有感性，有隨心所欲，有噴薄而出的情感，有為了追求完美的一萬小時定律，也有為了追求與眾不同的鋌而走險。

人類是會犯錯的，但正是因為有這些錯誤，才讓完美更加難能可貴。而當完美唾手可得，那藝術也不再是眾人的信仰了。

AI的能力會持續進步，但人類的音樂追求也會持續進步。頂級的創造力，將不會被替代。

本文來自微信公眾號： 硅谷101 ，作者：陳茜