短短幾年,音樂(lè)人工智能已成為熱門。作曲、伴奏、即興創(chuàng)作……人工智能在各種場(chǎng)合展示的“才華”令人大開眼界。在剛剛過(guò)去的2021年,世界音樂(lè)人工智能大會(huì)、全球人工智能技術(shù)大會(huì)、2021中國(guó)音樂(lè)科技應(yīng)用論壇等各種學(xué)術(shù)活動(dòng)上,音樂(lè)人工智能也成為被提及最多、大家討論最熱烈的話題之一。
未來(lái)的音樂(lè)會(huì)變成什么樣?音樂(lè)人工智能會(huì)代替人類的藝術(shù)創(chuàng)造嗎?它會(huì)為人類的創(chuàng)造力插上翅膀,還是成為終結(jié)者?
個(gè)案
AI少女學(xué)音樂(lè)
“小冰學(xué)習(xí)能力超強(qiáng)”
2020年的畢業(yè)季,上海音樂(lè)學(xué)院迎來(lái)一位“特殊”的畢業(yè)生——人工智能少女小冰。小冰不僅順利畢業(yè),還被授予音樂(lè)工程系2020屆“榮譽(yù)畢業(yè)生”稱號(hào)。
談及進(jìn)軍音樂(lè)內(nèi)容創(chuàng)作,前微軟(亞洲)互聯(lián)網(wǎng)工程院副院長(zhǎng)、現(xiàn)任小冰公司首席執(zhí)行官李笛告訴北京青年報(bào)記者,不同于此前的詩(shī)歌創(chuàng)作、視覺(jué)創(chuàng)作、演唱,音樂(lè)創(chuàng)作對(duì)人工智能小冰來(lái)說(shuō)難度更大,“音樂(lè)是流媒體,對(duì)作品的流暢度要求很高。此前小冰在音樂(lè)創(chuàng)作中的能力主要是內(nèi)容的生成,比如演唱,這一次小冰學(xué)習(xí)的作詞、作曲和編曲其實(shí)更難。”
如何讓人工智能學(xué)會(huì)音樂(lè)創(chuàng)作呢?小冰團(tuán)隊(duì)與上海音樂(lè)學(xué)院老師告訴北青報(bào)記者,讓人工智能小冰開始音樂(lè)創(chuàng)作的學(xué)習(xí)過(guò)程分三步:
首先,基于小冰已有的音樂(lè)創(chuàng)作模型,團(tuán)隊(duì)把端口給到上海音樂(lè)學(xué)院的老師,讓老師去聽(tīng)小冰創(chuàng)作的海量音樂(lè)作品,并給出系統(tǒng)性的點(diǎn)評(píng)。
其次,老師也教會(huì)團(tuán)隊(duì)程序員基本的樂(lè)理知識(shí),包括編曲技巧等,用于優(yōu)化小冰的創(chuàng)作模型。
最后,小冰不斷學(xué)習(xí),不斷交作業(yè),老師不斷給反饋。無(wú)論“模型”“作業(yè)”還是“反饋”,都是一個(gè)不斷迭代的過(guò)程,如此循環(huán)往復(fù)……
當(dāng)小冰達(dá)到和人類同學(xué)相似的水平,且趨于穩(wěn)定,她就畢業(yè)了。
在上海音樂(lè)學(xué)院學(xué)習(xí)期間,小冰接受了來(lái)自音工系主任于陽(yáng)教授和陳世哲老師的“指導(dǎo)”。談及教學(xué)模式,陳世哲老師說(shuō),教學(xué)生學(xué)習(xí)音樂(lè)創(chuàng)作和教授人工智能有相似之處:“傳統(tǒng)教學(xué)方式,我們會(huì)讓學(xué)生學(xué)習(xí)經(jīng)典的作品、然后臨摹,接下來(lái)老師批改、學(xué)生再反饋。人工智能和普通學(xué)生的學(xué)習(xí)方式并沒(méi)有太多差異,我們同樣也是給小冰準(zhǔn)備了一些數(shù)據(jù),小冰學(xué)習(xí)之后進(jìn)行創(chuàng)作,老師再來(lái)進(jìn)行評(píng)估,來(lái)指出哪里有問(wèn)題,繼續(xù)去修改,一起來(lái)完成。”
當(dāng)然也有不同。陳世哲評(píng)價(jià)說(shuō)“小冰是個(gè)學(xué)習(xí)能力超強(qiáng)的學(xué)生”,“教學(xué)過(guò)程中最大的不同是,小冰的迭代速度是人類完全不可能企及的,比如說(shuō)一個(gè)學(xué)生學(xué)習(xí)、臨摹一首曲子、寫出作業(yè)、老師修改,這個(gè)過(guò)程至少要一周時(shí)間,但是在對(duì)小冰的教學(xué)中,我們一口氣放過(guò)去幾百首甚至更多曲子。”
陳世哲老師介紹,判定學(xué)生能否順利通過(guò)畢業(yè)的考核大體有三條水平線,“最高級(jí)創(chuàng)作線是頂尖的流行歌曲,譬如可以拿到格萊美獎(jiǎng)、最佳金曲獎(jiǎng)的水平;中間線是創(chuàng)作水準(zhǔn)不錯(cuò)的普通流行歌曲;基本線是創(chuàng)作廣告、電視劇、紀(jì)錄片配樂(lè)等。經(jīng)過(guò)半年的學(xué)習(xí),我們認(rèn)為小冰已經(jīng)達(dá)到基本線普通、簡(jiǎn)單歌曲的創(chuàng)作能力,不斷接近中間線的創(chuàng)作標(biāo)準(zhǔn),所以我們給了她榮譽(yù)畢業(yè)生的稱號(hào)。實(shí)際上她的水準(zhǔn)已經(jīng)很接近中間線,我們也期待小冰繼續(xù)按照研究生的標(biāo)準(zhǔn)來(lái)入學(xué)。”
李笛表示,“對(duì)于音樂(lè)產(chǎn)業(yè)化,人工智能可以在不需要人力參與的情況下,用穩(wěn)定的質(zhì)量、極低的成本、高并發(fā)地生產(chǎn)內(nèi)容,并供應(yīng)出去,未來(lái)在視頻、影視配樂(lè)等產(chǎn)業(yè)的落地都有很大的空間。”
揭秘
音樂(lè)人工智能
3秒創(chuàng)作完整歌曲
人工智能的算法進(jìn)入到藝術(shù)創(chuàng)作當(dāng)中,對(duì)傳統(tǒng)音樂(lè)的創(chuàng)作產(chǎn)生了巨大的影響。2019年,華為公司利用Mate20Pro中的AI,對(duì)奧地利作曲家舒伯特未完成的《第八交響曲》剩余曲譜進(jìn)行了譜寫,并在倫敦的一場(chǎng)音樂(lè)會(huì)上進(jìn)行了公演。與舒伯特的未完稿不同,貝多芬的《第十交響曲》幾乎沒(méi)有任何曲譜,由于病情惡化,貝多芬只畫了這部作品的幾張草圖就溘然離世。創(chuàng)意人工智能初創(chuàng)公司Playform的一群科學(xué)家和音樂(lè)學(xué)家完成了貝多芬未竟的事業(yè),他們經(jīng)過(guò)兩年多的努力,不僅讓人工智能學(xué)習(xí)了貝多芬的全部作品,還教會(huì)了它貝多芬的創(chuàng)作過(guò)程。2021年10月,這臺(tái)人工智能幫助貝多芬續(xù)寫了《第十交響曲》,并在德國(guó)波恩舉行首演,吸引了世界的目光。
“像人類的學(xué)習(xí)一樣,人工智能也是通過(guò)語(yǔ)料庫(kù)學(xué)習(xí)海量的內(nèi)容,然后‘創(chuàng)作’新的作品。”面對(duì)人工智能超強(qiáng)的學(xué)習(xí)能力,中央音樂(lè)學(xué)院音樂(lè)人工智能與音樂(lè)信息科技系主任、教授李小兵忍不住感慨,“實(shí)在是太強(qiáng)了!”2021年,由李小兵作為首席專家申報(bào)的《音樂(lè)與人工智能協(xié)同創(chuàng)新發(fā)展理論研究》入選2021年度國(guó)家社科基金藝術(shù)學(xué)重大項(xiàng)目。該課題從音樂(lè)學(xué)、腦科學(xué)、人工智能、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域入手展開跨學(xué)科研究,以“音樂(lè)創(chuàng)作與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂(lè)呈現(xiàn)與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂(lè)接受與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂(lè)人工智能哲學(xué)——美學(xué)”為四個(gè)子課題,圍繞人、音樂(lè)、人工智能三者的相互關(guān)系,對(duì)音樂(lè)與人工智能協(xié)同發(fā)展中的問(wèn)題進(jìn)行深入全面的研究。
隨著研究的深入,音樂(lè)人工智能在效率上不斷精進(jìn)。李小兵透露,目前人工智能最快3秒就可以創(chuàng)作出一首歌曲。“原來(lái)最快是23秒,現(xiàn)在已經(jīng)縮短到3秒了,3秒不僅是作曲,還包括演唱、伴奏、合成,也就是說(shuō)出來(lái)就是一首完整的作品了。”
李小兵和他的團(tuán)隊(duì)將人類創(chuàng)作的歌曲和人工智能創(chuàng)作的兒童歌曲放在一起,邀請(qǐng)志愿者做過(guò)盲測(cè),很難分辨出哪首是人工智能創(chuàng)作的。與人類的思維不同,李小兵用“盲盒”來(lái)形容人工智能,“音樂(lè)人工智能創(chuàng)作的東西有些與人類相同,有些卻不太一樣,甚至?xí)屓祟拷Y(jié)舌。”
觀點(diǎn)
“音樂(lè)魅力在于演奏家的二度創(chuàng)作”
“人工智能和藝術(shù)的結(jié)合最難的一塊實(shí)際上就是音樂(lè)。”上海音樂(lè)學(xué)院音樂(lè)工程系主任、作曲家于陽(yáng)對(duì)北青報(bào)記者說(shuō),“有章可循的容易實(shí)現(xiàn),但音樂(lè)是時(shí)間的藝術(shù),聽(tīng)覺(jué)上給人的感受變化無(wú)窮,有太多不確定性。受限于技術(shù)水準(zhǔn)、數(shù)據(jù)等因素,現(xiàn)在的音樂(lè)人工智能還處于初級(jí)階段,需要進(jìn)一步探索和研究。”
李小兵也認(rèn)為,與文本、語(yǔ)言相比,音樂(lè)的維度要多很多,有音高、節(jié)奏、強(qiáng)弱、情感等,也要復(fù)雜得多,因此音樂(lè)人工智能需要更大的模型和算力,也要最頂尖的科學(xué)家和藝術(shù)家攜手。盡管人工智能作曲可以通過(guò)學(xué)習(xí)海量的作品,模仿作曲家的創(chuàng)作通過(guò)圖靈測(cè)試,在演奏方面也可以做到精準(zhǔn)無(wú)誤,但業(yè)內(nèi)人士普遍認(rèn)為,就情感來(lái)說(shuō),這些作品與人類創(chuàng)作的作品還是有很大區(qū)別的。
“這就是音樂(lè)的魅力所在。一首鋼琴曲,十個(gè)演奏家彈出來(lái)是十種完全不同的感受,這里面就有演奏家的二度創(chuàng)作。這種感受的不同是機(jī)器取代不了的。”于陽(yáng)說(shuō)。
盡管不能代替人類最核心的創(chuàng)造力,但目前人工智能已經(jīng)可以輔助人類做很多事情,尤其是大量重復(fù)性、基礎(chǔ)性的工作。
“20年前,我們都是在五線譜上寫東西,現(xiàn)在大部分作曲家都是用電腦軟件創(chuàng)作了,這實(shí)際上就是人工智能的一種形式。”身為作曲家的于陽(yáng)表示,寫作完成后,軟件還能自動(dòng)生成演奏,作曲家可以隨時(shí)在上面修改、調(diào)整,“人工智能大大提高了創(chuàng)作效率。”
李小兵也認(rèn)為,“如果要?jiǎng)?chuàng)作高水平的音樂(lè),如電影配樂(lè)或是一線的、能打榜的流行歌曲,人工智能還有很長(zhǎng)的路要走,但一些背景音樂(lè),人工智能的創(chuàng)作已經(jīng)能夠符合人們的欣賞需求。”
隨著音樂(lè)人工智能的深入發(fā)展,未來(lái)的音樂(lè)會(huì)有翻天覆地的變化。在李小兵看來(lái),未來(lái)音樂(lè)可能不止3D音樂(lè)、機(jī)器人主持、交互多媒體、人工智能伴奏、虛擬現(xiàn)實(shí)、機(jī)器人指揮、機(jī)器人演奏、機(jī)器人演唱等,更有可能會(huì)出現(xiàn)新形態(tài),“就像照相機(jī)出現(xiàn)以后,迫使美術(shù)界發(fā)生了特別大的改變,出現(xiàn)了一批照相機(jī)不能代替的大藝術(shù)家,隨著音樂(lè)人工智能研究的深入,未來(lái)的音樂(lè)創(chuàng)作更加彌足珍貴,也一定會(huì)誕生讓人意想不到的新的音樂(lè)形態(tài)。”記者 田婉婷 張知依
潮流檔案
AI通過(guò)自身強(qiáng)大的數(shù)字處理能力兼顧歌曲從制作到演唱的全流程,實(shí)現(xiàn)化繁為簡(jiǎn),在短時(shí)間內(nèi)完成音樂(lè)作品創(chuàng)作。通過(guò)算法學(xué)習(xí)和“實(shí)戰(zhàn)”訓(xùn)練來(lái)學(xué)習(xí)如何寫歌,非音樂(lè)工作者也可以借助這種技術(shù)創(chuàng)作出屬于自己獨(dú)一無(wú)二的曲子。
行業(yè)布局
科技巨頭投資各有重點(diǎn)
資本早就意識(shí)到了音樂(lè)人工智能的商業(yè)價(jià)值,人工智能科技巨頭都在積極布局:早在2016年,字節(jié)跳動(dòng)就成立了AI Lab,對(duì)AI進(jìn)行深入研究;網(wǎng)易云音樂(lè)在2020年戰(zhàn)略投資了AI音樂(lè)公司AIVA,重點(diǎn)放在了AI輔助音樂(lè)創(chuàng)作領(lǐng)域;騰訊AI Lab推出了AI數(shù)字人“艾靈”,可以通過(guò)用戶提供的關(guān)鍵詞自動(dòng)生成歌詞并演唱;字節(jié)跳動(dòng)開發(fā)的基于Tacotron聲學(xué)模型和WaveRNN神經(jīng)網(wǎng)絡(luò)聲碼器的中文歌聲合成(SVS)系統(tǒng)——ByteSing、微軟研究院發(fā)布的AI音樂(lè)開源項(xiàng)目Muzic等都在試圖證明人工智能可以完成音樂(lè)的整個(gè)生產(chǎn)過(guò)程。
學(xué)科儲(chǔ)備
首批音樂(lè)人工智能博士今年畢業(yè)
各大高校也在迅速推進(jìn)音樂(lè)人工智能的研究和應(yīng)用。中央音樂(lè)學(xué)院、上海音樂(lè)學(xué)院、四川音樂(lè)學(xué)院等高校紛紛開設(shè)音樂(lè)人工智能專業(yè)。2022年7月,中央音樂(lè)學(xué)院首批音樂(lè)人工智能的博士就要畢業(yè)了,他們成為了各大互聯(lián)網(wǎng)公司爭(zhēng)搶的人才。“因?yàn)樯鐣?huì)對(duì)音樂(lè)人工智能的人才需求量巨大,現(xiàn)在大的互聯(lián)網(wǎng)公司用的大部分都是從聲學(xué)專業(yè)轉(zhuǎn)過(guò)來(lái)的,可能不是專門學(xué)習(xí)音樂(lè)人工智能專業(yè)的,所以說(shuō)目前我們這個(gè)專業(yè)的博士畢業(yè)生非常搶手。”李小兵說(shuō)。
“通常情況下,搞音樂(lè)的人不懂科技,搞科技的人不懂音樂(lè),音樂(lè)人工智能是個(gè)交叉領(lǐng)域,我們現(xiàn)在做的事情就是把這兩方面結(jié)合起來(lái)。”于陽(yáng)透露,上海音樂(lè)學(xué)院的人工智能博士采取雙導(dǎo)師制,音樂(lè)和技術(shù)的導(dǎo)師各一名。“音樂(lè)人工智能未來(lái)可期,現(xiàn)在要跨出這一步很重要。但目前人才缺口還是很大的。”
大事記
2019年
深圳交響樂(lè)團(tuán)演奏了全球首部AI交響變奏曲《我和我的祖國(guó)》,這也是該曲目的世界首演。
2020年7月9日
由微軟小冰、小米小愛(ài)、百度小度、Bilibili泠鳶四位人工智能機(jī)器人合唱的主題曲《智聯(lián)家園》亮相 2020年世界人工智能大會(huì)開幕式。
2021年10月9日
人工智能續(xù)寫的貝多芬《第十交響曲》在德國(guó)發(fā)布,引發(fā)世界關(guān)注。