啟功先生說(shuō)，唐詩(shī)都是嚷出來(lái)的。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：國(guó)際域名空間、網(wǎng)絡(luò)空間、營(yíng)銷(xiāo)軟件、網(wǎng)站建設(shè)、西夏網(wǎng)站維護(hù)、網(wǎng)站推廣。但大唐盛世的風(fēng)流才子們，坐在一起嚷嚷，這畫(huà)風(fēng)顯然十分違和。所以更準(zhǔn)確地說(shuō)，唐詩(shī)是唱出來(lái)的。
王之渙與高適、王昌齡共飲，最后聽(tīng)歌女唱《涼州詞》的故事家喻戶曉;李白的《戰(zhàn)城南》《將進(jìn)酒》等都是直接化用漢樂(lè)府;劉禹錫的《竹枝詞》直接就是南方山野民歌。
這些詩(shī)人都用邏輯告訴我們，唐詩(shī)是有曲的，能唱的。那么問(wèn)題來(lái)了，1300多年過(guò)去了，這些唐曲今安在?
最近華為Mate 20 Pro研發(fā)團(tuán)隊(duì)和上海音樂(lè)學(xué)院趙維平教授等研究人員合作，完成了一次嘗試：通過(guò)AI技術(shù)和華為Mate 20 Pro提供的終端AI算力，聯(lián)手“再現(xiàn)”了唐詩(shī)背后消失的音符，讓唐曲在耳邊回響。
這里想為大家講解一下這道“唐味大菜”的做法。或許很多朋友都曾有這樣的疑問(wèn)：AI聽(tīng)起來(lái)很厲害，實(shí)際到底能干嘛?
答案呢，也許就在《春江花月夜》的某個(gè)韻腳里。
唐音在哪里?
夏天到了，喜歡古音律的小伙伴們準(zhǔn)備出門(mén)尋找食材。通常來(lái)說(shuō)他們會(huì)發(fā)現(xiàn)，唐代音律簡(jiǎn)直比松茸還難采。
中國(guó)一直是個(gè)注重音律，且善于記載音律的國(guó)度。新石器時(shí)代出土的編鐘，其實(shí)就是對(duì)當(dāng)時(shí)古人所感知音律的“石制內(nèi)存”。而早在《管子》中，就已經(jīng)有了對(duì)“宮商”概念的記載和準(zhǔn)確描述。
歷朝歷代關(guān)于音律的記載并不少。但唯獨(dú)到了唐朝，這個(gè)繁盛的朝代或許是因?yàn)榘菪蕴珡?qiáng)，不喜歡一板一眼記錄音律這種事。最終唐代音韻變成了一個(gè)“文獻(xiàn)黑洞”。隋有“劉焯律”，五代有“王樸律”，唐代應(yīng)用特定音律的制度卻少有記載，幾乎只能從民間音樂(lè)、西域中亞音樂(lè)中搜尋一星半點(diǎn)盛唐的影子。
還有一種可能，就是從中古時(shí)期的文獻(xiàn)里尋找唐音。由于缺乏直接文獻(xiàn)記載，學(xué)術(shù)界往往只能依靠古曲譜來(lái)恢復(fù)唐音?！敖郧俾煽甲C各代律制的研究頗有成效。但目前尚無(wú)傳世的唐代琴譜，只有南朝的梁丘明所傳之《碣石調(diào)·幽蘭》譜系唐人所抄，可算唐譜。這是目前唯一唐代實(shí)際用律的佐證?！?/p>
這個(gè)《碣石調(diào)·幽蘭》可就厲害了，它不僅是目前唯一存世的唐代曲譜實(shí)物，并且還是唯一存世的古曲文字譜。
之所以《碣石調(diào)·幽蘭》是唯一的文字譜，并非因?yàn)槠渌抛V都被毀棄，而是因?yàn)樽灾型硖浦螅议_(kāi)始通用減字譜來(lái)記錄琴曲。
所謂減字譜，形式上看像是由漢字減少筆畫(huà)后組合而成的復(fù)合字。沒(méi)有古琴基礎(chǔ)的人來(lái)看，基本就是一張張?zhí)鞎?shū)。這種譜式的基本邏輯，是把一個(gè)字塊分為上下兩大部分。上半部表示左手指法及徽位，下半部表示弦次及右手指法。說(shuō)白了，減字譜是把彈琴的手法用漢字來(lái)表示，這種譜只能記指法動(dòng)作和弦序、徽位，而沒(méi)有像歐洲樂(lè)譜一樣記錄節(jié)拍和節(jié)奏。所以即使是有音樂(lè)基礎(chǔ)的人也很難把握其音樂(lè)走向。
相傳，減字譜是由唐代曹柔發(fā)明的，但是也有很多其他傳說(shuō)，甚至有人將減字譜的專(zhuān)利歸于大名鼎鼎的曹植。明代袁均哲據(jù)南宋田芝翁《太古遺音》輯《太音大全集》中的“字譜”篇，記述了古琴譜的發(fā)展過(guò)程：“制譜始于雍門(mén)周、張敷，因而別譜不行于后代。趙耶利出譜兩帙，名參古今，尋者易知。先賢制作，意取周備，然其文極繁，動(dòng)越兩行，未成一句。后曹柔作減字法，尤為易曉也。”
但由于文獻(xiàn)年代甚早，這種“音樂(lè)密碼”的真正發(fā)明家已經(jīng)難考。而始于唐，興于宋，至明代開(kāi)始出現(xiàn)大量整理譜集的減字譜，也就客觀上成為了保存唐音唐曲的希望。想要“重現(xiàn)”唐曲，減字譜和古琴曲也就成為了最合適的原材料。
食材找到了，下一步，是把它放在AI里燉煮一會(huì)。
把“減字譜”放到AI湯汁里，煮成酸甜可口的“規(guī)則”
找到了好的食材，想要開(kāi)始烹飪卻并不容易。想要用減字譜為底料“重構(gòu)唐曲”，第一步是必須讓AI能夠自動(dòng)識(shí)別減字譜。
目前來(lái)看，相傳屬于唐代的減字譜數(shù)量并不多。但是這一時(shí)期的琴譜，普遍還沒(méi)有形成宋代以后相對(duì)統(tǒng)一的減字規(guī)律。各琴家可能使用不同的減字規(guī)則，最終形成了各種不同的減字體系。雖然這個(gè)時(shí)期的指法相對(duì)簡(jiǎn)單，但命名方式不統(tǒng)一，敘述格式復(fù)雜，給AI留下了不少難題。
在趙維平教授等研究人員的幫助下，華為Mate 20 Pro的研發(fā)團(tuán)隊(duì)，必須抽絲剝繭般完成用AI識(shí)別古譜的任務(wù)。總體來(lái)說(shuō)，AI識(shí)別減字譜，總共分三步：
1、圖像預(yù)處理。減字譜大多屬于影印本，圖像模糊，并且注釋與曲譜常常雜糅交錯(cuò)，AI很難識(shí)別清晰。這個(gè)步驟中，需要技術(shù)團(tuán)隊(duì)調(diào)用華為手機(jī)上HiAI Engine的文檔檢測(cè)、文檔矯正、圖像和文字超分辨率增強(qiáng)等AI能力，保證手機(jī)可以清晰地識(shí)別每一張古譜并快速地完成古譜文檔的采集和數(shù)字化。而對(duì)研發(fā)團(tuán)隊(duì)來(lái)說(shuō)，這是個(gè)可以“偷懶”的任務(wù)，因?yàn)槿A為手機(jī)包括Mate 20 Pro中內(nèi)置有HiAI Engine，直接調(diào)用開(kāi)放的相應(yīng)AI能力接口，便可用它來(lái)拍攝減字譜達(dá)到事半功倍的效果。
2、訓(xùn)練減字譜的譜符檢測(cè)和識(shí)別模型，構(gòu)建編解碼規(guī)則與字符庫(kù)。團(tuán)隊(duì)的最終目標(biāo)，是通過(guò)對(duì)減字譜進(jìn)行特征提取，直接轉(zhuǎn)換成簡(jiǎn)譜。然而在轉(zhuǎn)化規(guī)則層面，團(tuán)隊(duì)將要面臨一個(gè)全新的問(wèn)題：過(guò)往的AI文字識(shí)別，主要是通過(guò)OCR識(shí)別+自然語(yǔ)言理解。但是減字譜不是文字，不能使用通用的OCR識(shí)別，因此團(tuán)隊(duì)專(zhuān)門(mén)訓(xùn)練了針對(duì)減字譜符的檢測(cè)和識(shí)別AI模型。最終通過(guò)構(gòu)建基于減字譜的編解碼規(guī)則，研發(fā)團(tuán)隊(duì)成功完成了這個(gè)所有流程中的大挑戰(zhàn)。
3、基于AI技術(shù)，建立減字譜的翻譯程序。最后，利用訓(xùn)練好的AI模型，研發(fā)團(tuán)隊(duì)得以將大量減字譜快速地轉(zhuǎn)換為現(xiàn)代簡(jiǎn)譜。至此，減字譜的AI識(shí)別與翻譯工作算告一段落。
把“模型”，翻炒成大唐風(fēng)味的“音樂(lè)”
這個(gè)年頭，成熟的AI應(yīng)該自己會(huì)作曲。
雖然聽(tīng)起來(lái)這完全是難為AI們，但這確實(shí)是“重構(gòu)唐曲”的必經(jīng)之路。在得到唐曲曲譜的大量數(shù)字化樣本后，開(kāi)啟在云端進(jìn)行大量訓(xùn)練，最終得到了一個(gè)能理解唐音唐曲編譯規(guī)則的深度學(xué)習(xí)模型。
之后，研發(fā)團(tuán)隊(duì)將訓(xùn)練好的模型遷移到華為Mate 20 Pro上，僅僅利用端側(cè)AI的算力，來(lái)完成本地推理，也就是AI編曲工作。
事實(shí)上，AI編曲和作曲近兩年已經(jīng)成為了業(yè)界的熱點(diǎn)。自2017年，美國(guó)流行歌手 Taryn Southern 發(fā)表了名為《I am AI》的AI編曲作品后，相關(guān)的算法模型可謂層出不窮。
比如，OpenAI 發(fā)布了 MuseNet。這個(gè)模型AI從幾十萬(wàn)個(gè) MIDI 檔案中學(xué)習(xí)，理解了合聲、節(jié)奏和風(fēng)格等元素，最終可以使用不同樂(lè)器不同曲風(fēng)自己作曲。
而在中國(guó)科技界，用AI作曲的代表產(chǎn)品之一就是華為Mate 20 Pro。
所謂AI編曲和作曲，本質(zhì)上是運(yùn)行一個(gè)復(fù)雜的AI模型，來(lái)對(duì)不同的音樂(lè)、樂(lè)器、節(jié)奏、樂(lè)理等規(guī)則進(jìn)行學(xué)習(xí)和反向輸出。這類(lèi)任務(wù)，恰好可以證明華為Mate 20 Pro的端側(cè)AI算力。
而通過(guò)對(duì)古譜中音樂(lè)的分析和理解，一段屬于大唐的音樂(lè)就被AI“吟唱”了出來(lái)。
在視頻中我們可以看到，被聞一多先生譽(yù)為“以孤篇壓倒全唐”的《春江花月夜》，最終以歌者的聲音和古譜中“再現(xiàn)”的唐曲，一起出現(xiàn)在耳畔。
一部手機(jī)，一整間AI廚房
這里插一段題外話。用AI“重構(gòu)唐曲”的流程跑下來(lái)，我們或許可以發(fā)現(xiàn)這樣一個(gè)問(wèn)題：
與一般的AI開(kāi)發(fā)不同，華為手機(jī)的這次AI跨界實(shí)驗(yàn)，基本是依靠華為Mate 20 Pro的本地環(huán)境來(lái)進(jìn)行的。
這當(dāng)然一方面是對(duì)HUAWEI HiAI開(kāi)放能力平臺(tái)的檢驗(yàn)，其中HiAI Foundation的麒麟980提供AI模型推理算力，HiAI Engine提供了各種可直接調(diào)用的AI能力API，HIAI Services提供語(yǔ)音助手和語(yǔ)音識(shí)別服務(wù)，同時(shí)或許也能看到這樣一個(gè)趨勢(shì)：越來(lái)越多的復(fù)雜AI任務(wù)，將在終端產(chǎn)品中部署和應(yīng)用。在“重構(gòu)唐曲”的案例里，我們可以看到這樣幾個(gè)趨勢(shì)：
1、華為手機(jī)上的HiAI Engine已經(jīng)開(kāi)放了大量AI能力，比如語(yǔ)音識(shí)別、文字識(shí)別、語(yǔ)義理解等等，這些能力可以讓AI應(yīng)用更簡(jiǎn)單快速地被開(kāi)發(fā)出來(lái)，成為開(kāi)發(fā)者的助力，未來(lái)還會(huì)有更多的AI能力開(kāi)放出來(lái)。
2、基于隱私保護(hù)的需要，應(yīng)用中涉及的用戶數(shù)據(jù)更應(yīng)該留在本地?！爸貥?gòu)唐曲”的案例中，最終需要研發(fā)人員完成一段朗誦。雖然一般意義上來(lái)說(shuō)聲音并不屬于隱私數(shù)據(jù)，但其最好還是留在本地，避免上傳云端帶來(lái)不必要的麻煩，因此會(huì)有越來(lái)越多的AI模型會(huì)部署在端側(cè)。
3、端側(cè)AI模型加速，需要保證實(shí)時(shí)性體驗(yàn)。試想一下，如果我們歌唱了一段唐詩(shī)，但是配樂(lè)版本卻遲遲無(wú)法呈現(xiàn)，就會(huì)導(dǎo)致體驗(yàn)不佳。為保證實(shí)時(shí)性體驗(yàn)，移動(dòng)端AI模型加速也是必不可少的，HIAI Foundation提供的NPU算力可支撐AI模型在移動(dòng)端高效運(yùn)算。
這三大趨勢(shì)，并不僅僅表現(xiàn)于“重構(gòu)唐曲”的案例中，隨著越來(lái)越多的移動(dòng)端更加智慧化，HUAWEI HiAI開(kāi)放能力平臺(tái)將賦能更多AI場(chǎng)景，助力開(kāi)發(fā)者快速開(kāi)發(fā)和部署AI應(yīng)用。
味道，還在形外
最后，或許我們有必要聊一聊，“重構(gòu)唐曲”這件事，在引起大家無(wú)盡的“盛唐遐思”之外，還有哪些實(shí)際用處。
整個(gè)“重構(gòu)唐曲”項(xiàng)目，給學(xué)術(shù)界留下了快速的減字譜識(shí)別和轉(zhuǎn)換系統(tǒng)，以及直觀的古曲研究應(yīng)用。接下來(lái)，這些AI應(yīng)用將長(zhǎng)期供相關(guān)領(lǐng)域的研究者使用。
推而廣之，還有大量學(xué)術(shù)應(yīng)用亟待類(lèi)似技術(shù)的落地。減字譜識(shí)別帶來(lái)的“非文字符號(hào)識(shí)別”，也可以應(yīng)用于少數(shù)民族文獻(xiàn)、金石文獻(xiàn)，以及特殊文獻(xiàn)的識(shí)別和翻譯中。比如將蘇州碼子轉(zhuǎn)換為財(cái)經(jīng)金融資料等等。而文獻(xiàn)識(shí)別-語(yǔ)音生成的技術(shù)邏輯，則可以在“重構(gòu)唐曲”之外，作用于現(xiàn)歷代語(yǔ)音、音韻和音樂(lè)。
目前這個(gè)階段，大多數(shù)終端用戶都認(rèn)為AI和聲音的結(jié)合，只能做語(yǔ)音識(shí)別和語(yǔ)義理解。然而從“重構(gòu)唐曲”的案例中看，識(shí)別古譜、推理旋律、“再現(xiàn)”消失的音樂(lè)——還有更多AI與聲音的潛力等待挖掘。
歸根結(jié)底，華為Mate 20 Pro研發(fā)團(tuán)隊(duì)是在做這么一件事：把AI和那些天馬行空的奇妙想法聯(lián)系在一起。無(wú)論是熱帶雨林里，故紙堆中，還是生活里的點(diǎn)點(diǎn)滴滴，AI都能完成一些令人意想不到的任務(wù)。
所謂拋磚引玉，亦可拋唐曲而引眾聲。AI需要由萬(wàn)千聰明的頭腦去開(kāi)發(fā)，億萬(wàn)有趣的靈魂去享受。
“重構(gòu)唐曲”這道菜的背后，移動(dòng)AI的真味在于：每個(gè)人，每件事，都可以關(guān)乎AI。
重慶分公司
重慶分公司
