在電腦屏幕上，手指往上一劃，播放出來(lái)的聲音尾音揚(yáng)起，似少年般俏皮清亮起來(lái)；手指往下一掃，尾音變成降調(diào)，聲音也瞬間沉穩(wěn)了……這只是智能語(yǔ)音領(lǐng)域里一個(gè)簡(jiǎn)單的小技術(shù)。
一個(gè)人無(wú)聊時(shí)，和人工智能設(shè)備聊聊天，它聽(tīng)得懂，還會(huì)回答你“無(wú)理取鬧”的問(wèn)題，這是智能語(yǔ)音在發(fā)揮作用；用微信說(shuō)一段話，先轉(zhuǎn)換成文字再發(fā)送給對(duì)方，這種禮貌靠智能語(yǔ)音就能輕松實(shí)現(xiàn)。當(dāng)然，如果你能邀請(qǐng)海綿寶寶錄上300句話，智能語(yǔ)音就能模擬出它的音色、語(yǔ)速，每天陪你聊天，這也是智能語(yǔ)音的研究領(lǐng)域。
聲音，在智能加持下，愈發(fā)迷人。而這背后，是一群研究人員默默讀聲、辨聲、擬聲。楊明祺是其中的一位，他所在的猿輔導(dǎo)人工智能實(shí)驗(yàn)室研究團(tuán)隊(duì)，剛剛斬獲了2021年聲學(xué)、語(yǔ)音和信號(hào)處理國(guó)際會(huì)議(ICASSP2021)的信號(hào)處理挑戰(zhàn)旗艦任務(wù)——多說(shuō)話人多風(fēng)格音色克隆大賽(M2VoC)子賽道第一名。這表明，我國(guó)在智能語(yǔ)音的部分關(guān)鍵核心技術(shù)和應(yīng)用上取得了重要進(jìn)展。
聲聲入耳
今年1月29日，還有不到一周就是小年兒了，楊明祺和同事守在電腦前，點(diǎn)下發(fā)送鍵，正式提交了2021年聲學(xué)、語(yǔ)音和信號(hào)處理國(guó)際會(huì)議(ICASSP2021)的信號(hào)處理挑戰(zhàn)旗艦任務(wù)——多說(shuō)話人多風(fēng)格音色克隆大賽(M2VoC)的參賽作品——一段語(yǔ)音合成音頻。
當(dāng)天，楊明祺給在承德老家的父母打了個(gè)電話：不回家過(guò)年了。一方面是響應(yīng)防疫要求，另一方面也因?yàn)楣ぷ髅Α?ldquo;家人都理解，也支持。”他頓了一下，自己加了一句解釋?zhuān)?ldquo;我努力的方向是能模擬出有溫度的聲音，讓家人的聲音變得可以隨身攜帶。遇到類(lèi)似情況，可能就會(huì)給更多人帶去溫暖。”
楊明祺和人對(duì)話時(shí)，有著自己特有的“職業(yè)病”——會(huì)貼心地將專(zhuān)業(yè)術(shù)語(yǔ)翻譯成白話：“語(yǔ)音合成（TTS）簡(jiǎn)單地說(shuō)，就是輸一個(gè)文本給電腦，然后它產(chǎn)生一個(gè)語(yǔ)音。在日常生活中，我們經(jīng)常會(huì)驚嘆于手機(jī)的語(yǔ)音助手、智能機(jī)器人能夠‘說(shuō)出’非常逼真、自然的話，幾乎可以以假亂真。但這種令人驚嘆的能力其實(shí)是通過(guò)單一說(shuō)話人的大量語(yǔ)音數(shù)據(jù)集‘訓(xùn)練’而成的。我們此次參賽，是要挑戰(zhàn)多說(shuō)話人和多風(fēng)格的語(yǔ)音合成，特別是在可利用資源極少的情況下，盡可能讓語(yǔ)音的質(zhì)量、發(fā)音準(zhǔn)確率、和目標(biāo)說(shuō)話人的相似度這幾個(gè)方面都令人滿意。”
作為國(guó)際語(yǔ)音領(lǐng)域?yàn)閿?shù)不多的頂級(jí)會(huì)議，M2VoC挑戰(zhàn)賽為參賽者提供了一個(gè)通用的數(shù)據(jù)集以及一個(gè)公平的測(cè)試平臺(tái)。參賽者需要做的，是利用大賽提供的聲音樣本和平臺(tái)，研究并完成語(yǔ)音克隆任務(wù)，包含少樣本賽道和極少樣本賽道兩個(gè)任務(wù)。楊明祺團(tuán)隊(duì)參加的是極少樣本賽道中的子賽道，他解釋說(shuō)：“在比賽中，主辦方會(huì)提供3個(gè)具有不同講話風(fēng)格的目標(biāo)說(shuō)話人，每個(gè)說(shuō)話人有5個(gè)語(yǔ)音數(shù)據(jù)樣本。我們要做的，就是對(duì)這3個(gè)目標(biāo)說(shuō)話人的聲音進(jìn)行克隆，形成音頻，用于最終測(cè)試。在最終測(cè)試環(huán)節(jié)，主辦方會(huì)對(duì)收集到的語(yǔ)音合成系統(tǒng)進(jìn)行評(píng)估，系統(tǒng)轉(zhuǎn)化的語(yǔ)音與樣本相似度越高，發(fā)音越準(zhǔn)確，得分就越高。”
如果將這場(chǎng)比賽描述得再刺激一點(diǎn)兒，就是楊明祺和團(tuán)隊(duì)其他4名同事要從主辦方提供的僅有的5句樣本中，抓取到盡可能多的聲音特色，再原汁原味地“復(fù)刻”它。而正常情況下，拷貝一個(gè)聲音，大約需要有300句語(yǔ)音樣本進(jìn)行校驗(yàn)、建模和測(cè)試。“一般來(lái)說(shuō)，正常數(shù)量的樣本是300句、半個(gè)小時(shí)左右的語(yǔ)音，而少樣本只有100句，我們挑戰(zhàn)的極少樣本僅有5句。”
如此苛刻的條件，楊明祺和團(tuán)隊(duì)的備賽時(shí)間卻只用了1周左右。他還沒(méi)解釋?zhuān)拖刃χu(mài)了個(gè)關(guān)子：“因?yàn)橛型庠?rdquo;
與來(lái)自科研院所、高校的參賽隊(duì)伍不同，楊明祺和團(tuán)隊(duì)在比賽期間并不能全身心投入研究，他們還有很多日常工作需要完成，但正是工作中點(diǎn)滴積累的經(jīng)驗(yàn)幫了大忙。“這次參賽算是我們研究團(tuán)隊(duì)的一次檢驗(yàn)考，備賽的大部分模塊使用的都是日常工作中小組共同設(shè)計(jì)完成的產(chǎn)品，這些‘養(yǎng)熟’的模型就是最佳外援。”
聰者聽(tīng)于無(wú)聲，明者見(jiàn)于無(wú)形。幕后的努力，往往是研究人員鮮少提及的，因?yàn)樵谒麄冄劾镞@是一件再普通不過(guò)的事兒。在追問(wèn)下，楊明祺說(shuō)，“養(yǎng)熟”一個(gè)模型，背后需要積累的數(shù)據(jù)樣本是幾十人到上百人的聲音解讀。“時(shí)間越長(zhǎng)越好，這樣抓取的聲音特征就越準(zhǔn)確。”他打了個(gè)比方，先讓100個(gè)人說(shuō)上足夠時(shí)長(zhǎng)的話，來(lái)養(yǎng)成一個(gè)模型，當(dāng)模型足夠成熟，可以快速準(zhǔn)確抓取和識(shí)別不同聲音樣本特征了，再加入主辦方提供的5句樣本，“讓模型帶著特定的樣本‘訓(xùn)練’，合成音頻，可以在保證機(jī)器‘發(fā)音’標(biāo)準(zhǔn)的基礎(chǔ)上，讓克隆出的聲音音色更接近說(shuō)話人的本聲。”
大賽的真人審核時(shí)間持續(xù)了大約半個(gè)月。這期間，所有參賽隊(duì)伍提交的音頻會(huì)被打亂，由普通人聽(tīng)完后進(jìn)行評(píng)分。“這種將文本轉(zhuǎn)換成自然語(yǔ)音的一類(lèi)技術(shù)，是智能語(yǔ)音領(lǐng)域的前沿技術(shù)，在語(yǔ)音助手、信息播報(bào)、有聲讀物等方面具有重要的應(yīng)用價(jià)值。而且最終都是要服務(wù)人的，所以人耳當(dāng)裁判最公平。”楊明祺說(shuō)，平時(shí)團(tuán)隊(duì)在養(yǎng)成模型的過(guò)程中，也會(huì)請(qǐng)?jiān)S多人來(lái)當(dāng)檢驗(yàn)官，“他們不需要在聽(tīng)力上有任何特長(zhǎng)，甚至越普通越好。如果隨便一個(gè)人都能認(rèn)可我們模擬的聲音，我們的目的就達(dá)到了。”
在一次次塑造聲音的過(guò)程中，楊明祺等人發(fā)現(xiàn)，語(yǔ)音合成中的韻律信息至關(guān)重要。“韻律把控得好，可以讓語(yǔ)音合成效果更加流暢、自然、有節(jié)奏感，也算是團(tuán)隊(duì)的秘密武器。”楊明祺耐心解釋說(shuō)，畢竟聲音是有感情的，讀音是否準(zhǔn)確、聲音是否流暢，千人千感，聽(tīng)得舒服，是一個(gè)產(chǎn)品是否過(guò)關(guān)的關(guān)鍵。
最終，楊明祺和同事們從極少樣本子賽道的20多支隊(duì)伍中脫穎而出，斬獲冠軍。
“聲”臨其境
聽(tīng)上去絕對(duì)炫酷、科技感滿分的智能語(yǔ)音領(lǐng)域，楊明祺選擇入行的理由卻是：這行夠傳統(tǒng)。他解釋說(shuō)，自己本科和研究生專(zhuān)業(yè)研究方向是信號(hào)處理，臨畢業(yè)時(shí)，他才決定“轉(zhuǎn)專(zhuān)業(yè)”。理由給得更是簡(jiǎn)單且真誠(chéng)——AlphaGo（阿爾法圍棋）人工智能機(jī)器人在人機(jī)對(duì)決中獲勝的消息，讓很多人都希望投身人工智能領(lǐng)域研究。2019年，楊明祺畢業(yè)找工作時(shí)就是奔著這個(gè)方向去的。
“當(dāng)時(shí)，人工智能領(lǐng)域的研究主要包括智能語(yǔ)音、圖像識(shí)別、自然語(yǔ)言處理幾個(gè)方向，后兩種備受追捧。而智能語(yǔ)音的研究門(mén)檻較高，從事的人也比較少，而且使用的算法、技術(shù)都是十幾年甚至幾十年積累起來(lái)的，不會(huì)像其他領(lǐng)域一樣頻繁迭代。”他俏皮地總結(jié)，這也算是個(gè)“偷懶”的選擇。
真正入行，靠的也是最傳統(tǒng)的方式——公司有師父帶，課本是網(wǎng)上的各種研究論文。“我們會(huì)給論文作者發(fā)郵件，討論一些問(wèn)題，絕大部分都收到了回復(fù)。有些論文的作者是企業(yè)工程師，在不涉及商業(yè)機(jī)密的前提下，他們會(huì)盡自己所能伸出援助之手。這些無(wú)聲的幫助，讓我們覺(jué)得特別溫暖。”如今，楊明祺也會(huì)收到各種郵件，只要是學(xué)術(shù)研討類(lèi)的，他也會(huì)無(wú)聲地傳遞自己的溫暖。
楊明祺清楚地記得，自己接到的第一份作業(yè)——給聲碼器加速。“簡(jiǎn)單來(lái)說(shuō)，我們做的語(yǔ)音合成，就是兩個(gè)過(guò)程。第一個(gè)過(guò)程是分析聲音，標(biāo)注特征，形成文本。第二個(gè)過(guò)程是用聲碼器，按需輸出，生成新的聲音。”他用手比劃著解釋?zhuān)Ｇ闆r下，聲碼器翻譯一段話要從頭到尾進(jìn)行運(yùn)算，相當(dāng)于電路中的“串聯(lián)”，這種方法耗時(shí)較長(zhǎng)。由他設(shè)計(jì)改進(jìn)后，把一段話分解成幾段，同時(shí)并行運(yùn)算，最后合成，相當(dāng)于“并聯(lián)”，節(jié)省了運(yùn)算時(shí)間，“雖然是個(gè)小改動(dòng)，但是研發(fā)效率提高了，獲得了團(tuán)隊(duì)內(nèi)部一致好評(píng)。”
其實(shí)試想一下，最簡(jiǎn)單的TTS，就是讀文本，曾經(jīng)有官方發(fā)布過(guò)數(shù)據(jù)，目前漢字的總數(shù)已經(jīng)超過(guò)了8萬(wàn)個(gè)，而常用的只有3500字。如果找人將這3500個(gè)字都念一遍，然后拼字組句，也可以實(shí)現(xiàn)“智能輸出”。不過(guò)現(xiàn)實(shí)生活中，每種聲音都有自己的“脾氣”，而這些也成了研發(fā)人員需要攻克的難題，其中最令楊明祺頭疼的是識(shí)字。幫助機(jī)器識(shí)字，需要研發(fā)人員將每一句話翻譯成機(jī)器能夠看懂的語(yǔ)言。最常用的方法就是把所有字都轉(zhuǎn)換成漢語(yǔ)拼音。這背后花費(fèi)的精力，是楊明祺等研發(fā)人員鮮少提及的。
多音字，是他們面對(duì)的頭號(hào)難題。“一開(kāi)始真沒(méi)有想到，一段話會(huì)有那么多的多音字。”楊明祺說(shuō)，一次合成音頻時(shí)直接就露了怯。第一批音頻出來(lái)之后，陰陽(yáng)怪調(diào)，仔細(xì)一聽(tīng)發(fā)現(xiàn)是多音字惹了簍子。他舉例，最簡(jiǎn)單的“一”字就有好多個(gè)音：一個(gè)人，讀二聲；一只碗，讀四聲；一二三四，讀一聲。
類(lèi)似的例子，在日常講話時(shí)習(xí)以為常，但在嚴(yán)格按規(guī)章辦事的程序世界，這就成了一件棘手的事兒。楊明祺等人最初設(shè)計(jì)的程序，只是簡(jiǎn)單按字典標(biāo)注的漢語(yǔ)拼音給每個(gè)字注音，后來(lái)考慮到多音字問(wèn)題，團(tuán)隊(duì)開(kāi)始給程序增寫(xiě)規(guī)矩。攻關(guān)過(guò)程中，一遍遍重復(fù)聽(tīng)音頻、摳字音，讓楊明祺對(duì)聲音格外敏感。其他團(tuán)隊(duì)成員沒(méi)意識(shí)到的小問(wèn)題，都成了他特別關(guān)注的點(diǎn)，甚至細(xì)到“口語(yǔ)需要的變音”。他解釋說(shuō)：“比如‘你好’這個(gè)詞，按照標(biāo)準(zhǔn)拼音，這兩個(gè)字都是三聲，但更多時(shí)候我們會(huì)自然而然地把‘你’字讀成二聲。”
還有標(biāo)點(diǎn)符號(hào)的處理，數(shù)字、字母的處理，這些都需要用各種細(xì)致的規(guī)范來(lái)完成。當(dāng)然，還包括分詞斷句的技術(shù)。解決辦法，在他的描述下也變得很簡(jiǎn)單：不斷試錯(cuò)，嘗試了各種辦法，反復(fù)調(diào)整模型，直到效果被人耳認(rèn)可。
“我們希望合成的語(yǔ)音不僅準(zhǔn)確，還能實(shí)現(xiàn)讓人‘聲’臨其境的感覺(jué)。”楊明祺說(shuō)，除了成人用戶，合成語(yǔ)音在智慧教育方面的應(yīng)用也越來(lái)越廣泛，面向正在成長(zhǎng)階段的兒童和學(xué)生，如果讀錯(cuò)音會(huì)對(duì)他們產(chǎn)生誤導(dǎo)，所以團(tuán)隊(duì)對(duì)發(fā)音的正確率摳得特別嚴(yán)。
“聲”而有用
如今，和楊明祺并肩作戰(zhàn)的研發(fā)同事有二三十人。而5年前，這個(gè)團(tuán)隊(duì)才只有4個(gè)人。夏龍是元老，現(xiàn)在是猿輔導(dǎo)人工智能語(yǔ)音實(shí)驗(yàn)室負(fù)責(zé)人。他回憶，2016年他從廣告推薦小組離開(kāi)，開(kāi)始“零起點(diǎn)”攻堅(jiān)智能語(yǔ)音研發(fā)。
“4個(gè)人沒(méi)有一個(gè)是智能語(yǔ)音專(zhuān)業(yè)的，突然轉(zhuǎn)到語(yǔ)音組，能做什么、怎么做，大家都有點(diǎn)兒蒙。”夏龍很坦誠(chéng)地說(shuō)，開(kāi)始多少帶著點(diǎn)兒不情愿，但團(tuán)隊(duì)已經(jīng)建起來(lái)了，只能硬著頭皮往上沖，“我開(kāi)始帶著大家天天啃論文，進(jìn)行頭腦風(fēng)暴……學(xué)著學(xué)著，發(fā)現(xiàn)智能語(yǔ)音還挺好玩兒的。”
建組半年后，第一個(gè)任務(wù)來(lái)了——研發(fā)一個(gè)古詩(shī)詞背誦檢測(cè)系統(tǒng)。而這個(gè)創(chuàng)意來(lái)自同事的一次抱怨：“孩子背古詩(shī)，家長(zhǎng)得守在邊上監(jiān)督，逐字逐句地檢查。要是有個(gè)工具能自動(dòng)檢查就好了，給家長(zhǎng)老師都減減負(fù)。”
聽(tīng)者有心。夏龍決定用這個(gè)應(yīng)用場(chǎng)景，檢驗(yàn)一下半年的學(xué)習(xí)成果。
第一步是教電腦“背詩(shī)”，這是個(gè)大工程。中小學(xué)語(yǔ)文課本涉及的所有古詩(shī)詞背誦篇目，首先要找到專(zhuān)業(yè)的語(yǔ)文教師一首一首地準(zhǔn)確朗讀出來(lái)，并逐字標(biāo)注正確的拼音，再由夏龍團(tuán)隊(duì)將每一個(gè)拼音轉(zhuǎn)化成代碼語(yǔ)言。
在研發(fā)過(guò)程中，為了檢查電腦學(xué)會(huì)的篇目是否準(zhǔn)確，夏龍和同事還會(huì)時(shí)常扮演一下學(xué)生的角色，幫助機(jī)器進(jìn)行自測(cè)。“背誦詩(shī)詞的時(shí)候，我們每發(fā)出一個(gè)字的讀音，就會(huì)被系統(tǒng)自動(dòng)識(shí)別，并和它已經(jīng)記住的字音進(jìn)行比對(duì)，如果出現(xiàn)字音錯(cuò)誤、漏讀等問(wèn)題，顯示器上會(huì)實(shí)時(shí)將錯(cuò)誤的地方標(biāo)紅。”夏龍打趣說(shuō)，上學(xué)時(shí)候都沒(méi)這么認(rèn)真背過(guò)課文，真的是學(xué)了不少知識(shí)。“比如李白的《將進(jìn)酒》，‘將’字一直以為是讀jiāng，后來(lái)被系統(tǒng)糾錯(cuò)了，原來(lái)正確的應(yīng)該念qiāng。”
一個(gè)月后，夏龍團(tuán)隊(duì)研發(fā)的第一款智能語(yǔ)音產(chǎn)品順利投入應(yīng)用。之后一年，團(tuán)隊(duì)根據(jù)用戶反饋情況，對(duì)產(chǎn)品進(jìn)行了迭代升級(jí)，詩(shī)詞背誦檢測(cè)準(zhǔn)確率不斷提高。夏龍笑言：“我們團(tuán)隊(duì)的詩(shī)詞水平直線上升。”
人工智能語(yǔ)音實(shí)驗(yàn)室的陣容也不斷擴(kuò)大。如今，團(tuán)隊(duì)成員有30人，平均年齡28歲左右，每個(gè)人都有各自擅長(zhǎng)的研究領(lǐng)域，讀聲辨聲變得更專(zhuān)業(yè)。
最令夏龍自豪的是，每逢中高考語(yǔ)文考試前一天，古詩(shī)詞背誦檢測(cè)系統(tǒng)的用戶需求尤為明顯，“我們得加機(jī)器才能完成龐大的運(yùn)算量。”
這種“聲”而有用，還體現(xiàn)在很多地方。楊明祺舉例說(shuō)，以前如果找國(guó)外的教師來(lái)錄制英語(yǔ)聽(tīng)力素材，由于時(shí)差等原因，一來(lái)一回，制作周期需要一周左右。如果后期有修改，反反復(fù)復(fù)的時(shí)間會(huì)更長(zhǎng)。但現(xiàn)在通過(guò)智能語(yǔ)音模型，一段大約3分鐘的文本，幾秒鐘時(shí)間就可以實(shí)現(xiàn)語(yǔ)音轉(zhuǎn)換，而且保證原汁原味。
楊明祺給自己設(shè)定了今年的研究方向——為聲音賦情。他說(shuō)，想比較完整地合成一種個(gè)性化的聲音，至少需要300句話、半個(gè)小時(shí)以上的聲音樣本，才能讓電腦學(xué)會(huì)，以后看到任何文本，都能自然而然地用這個(gè)聲音讀出來(lái)。這個(gè)過(guò)程并不是簡(jiǎn)單地找樣本、建模型、跑數(shù)據(jù)就可以出成果的。
“比如有些場(chǎng)景需要聲音情感飽滿度高一點(diǎn)，有的時(shí)候希望用一個(gè)小男孩清脆一點(diǎn)的聲音，有的時(shí)候希望要一個(gè)溫柔一點(diǎn)的語(yǔ)氣。而每一個(gè)需求，都需要幕后有匹配的人去錄制聲音樣本。以目前業(yè)界現(xiàn)有的技術(shù)，對(duì)聲音情緒進(jìn)行調(diào)整，基本需要逐字去操作，工程非常繁瑣。”楊明祺說(shuō)，我們希望可以最終實(shí)現(xiàn)“一鍵調(diào)節(jié)”，甚至連高興、悲傷的等級(jí)都可以設(shè)定，不過(guò)辨別聲音里的情緒，給這些看不見(jiàn)摸不著的感覺(jué)下指標(biāo)，難度可想而知。“這是我們努力的方向。”
每天雖然面對(duì)著冷冰冰的電腦，研發(fā)人員的心卻比誰(shuí)都細(xì)致、柔軟。夏龍說(shuō)：“如果眼光放長(zhǎng)遠(yuǎn)一些，隨著人工智能和其他前沿技術(shù)的進(jìn)步，可能會(huì)給社會(huì)帶來(lái)更多積極影響。”可預(yù)見(jiàn)的未來(lái)，有情感的聲音能夠被進(jìn)一步應(yīng)用到教育、醫(yī)療等行業(yè)和領(lǐng)域中，可以服務(wù)配音合成、智能出題、智能客服諸多應(yīng)用場(chǎng)景，不斷刷新行業(yè)效率。
人工智能技術(shù)還可以打破地域資源的限制，讓農(nóng)村地區(qū)的孩子也可以享受和城市孩子一樣的教學(xué)，和“外教”交流，學(xué)習(xí)純正的發(fā)音。楊明祺說(shuō)：“我們可以通過(guò)語(yǔ)音合成、智能語(yǔ)音評(píng)測(cè)技術(shù)，開(kāi)發(fā)語(yǔ)言教學(xué)系統(tǒng)，構(gòu)建標(biāo)準(zhǔn)化的語(yǔ)音教學(xué)環(huán)境，幫助解決農(nóng)村等邊遠(yuǎn)地區(qū)的學(xué)科因師資力量短缺而難以開(kāi)展的問(wèn)題。”
夏龍說(shuō)，讓機(jī)器學(xué)會(huì)特定聲音，需要花費(fèi)大量的時(shí)間，其中需要工程師做大量的“標(biāo)注”工作，幫機(jī)器完成學(xué)習(xí)。他和團(tuán)隊(duì)正在探索和努力的方向，是要用盡可能少的人力、物力成本，加快機(jī)器學(xué)會(huì)發(fā)聲的進(jìn)度，讓聲音更智能。
關(guān)鍵詞： 先聲奪人
