為什麼 AI 歌手會唱錯中文歌詞?原因與解法
長、樂、行這類多音字,常讓 AI 歌手唱錯。我們用 Google 的 Lyria 3.5 實測的結果、為什麼標上拼音沒有用,以及真正有效的同音字與假名替換法。
霓歌團隊 · 發布
用中文寫一首關於長大的歌,AI 歌手可能會把「長大」(zhǎng dà)唱成 cháng dà,而這根本不是一個詞。寫一首關於音樂的歌,「音樂」(yīn yuè)也可能被唱成 yīn lè。聽的人一下就聽出來,整首歌就毀在一個音節上。
這篇文章說明為什麼會這樣、我們在 2026 年 10 月測試 Google 的 Lyria 3.5 模型時量到了什麼,以及對中文和日文都有效的解法:改的是這個詞交給模型的寫法,而不是幫它加註讀音。
問題出在哪:一個字,好幾種讀音
很多漢字是多音字,放在不同的詞裡,讀音就不一樣:
| 字 | 在這個詞裡 | 讀作 | 但通常讀作 | 例如 |
|---|---|---|---|---|
| 長 | 長大 | zhǎng | cháng | 很長 |
| 樂 | 音樂 | yuè | lè | 快樂 |
| 行 | 銀行 | háng | xíng | 不行 |
| 重 | 重新 | chóng | zhòng | 重要 |
| 朝 | 朝著 | cháo | zhāo | 朝陽 |
| 調 | 調皮 | tiáo | diào | 聲調 |
真人歌手知道這個詞該怎麼讀。歌唱模型卻得依照它學到的東西,替每個字挑一個讀音;當正確的讀音剛好是比較少見的那一個,它往往會選常見的那個。
日文的漢字也有同樣的問題,一個漢字常常有好幾種讀法。在我們的測試裡,「生の声」(現場的聲音,nama no koe)的「生」被讀成 sei,「二人の間」(我們兩人之間,futari no aida)的「間」被讀成 ma。
我們量到了什麼
2026 年 10 月,我們用含有這些詞的原創歌詞,請 Lyria 3.5 生成測試歌曲,把人聲分離出來,再交給語音辨識和兩個自動讀音評分器檢查。先說幾個誠實的但書:樣本數不多,而且我們拿沒有歧義的文字餵給評分器時,它們自己也有大約 30% 的時候跟預期的讀音對不上。所以請把這些數字當成趨勢,而不是定論。
中文,照平常寫:這些容易唱錯的詞,只有大約三分之一照預期的讀音唱出來(在評分器能判斷的詞裡佔 36%)。
中文,加上拼音標註:在括號裡標出讀音,像是 長(zhǎng)大,完全沒有幫助。模型遵守了「不要唱出這些標註」的指示,然後就直接忽略它們:「長大」還是唱成 cháng dà。
中文,換成同音字:把容易出錯的字換成另一個同音、而且只有一種讀音的字,例如「長大」改成「掌大」(「掌」永遠讀 zhǎng),照預期讀音唱出來的比例就提高到大約三分之二(67%)。「音樂」「銀行」「朝著」和「調皮」進步最多。但這不是保證:重新測試時,四次演唱裡還是有兩次把「掌大」聽成 cháng。
日文,改寫成假名:把容易讀錯的詞從漢字改成假名(なまの声、ふたりのあいだ),錯誤率就降到 6–10%,接近英文的水準,而且沒有任何一個測試詞被讀錯。在日文上,加讀音標註一樣沒有用。
粵語:要求 Lyria 唱粵語時,它確實會唱粵語,而不是華語:嘅、唔、佢 這些只有粵語才有的字都唱得出來。至於聲調準不準,需要母語者親耳聽,自動測試取代不了。
自己動手修正
這些技巧適用於任何用文字輸入歌詞的 AI 音樂工具:
- 找出有風險的詞:留意上表裡的字,以及任何「你要的讀音不是這個字最常見讀音」的詞。
- 換成沒有歧義的同音字:挑一個同音、而且只有一種讀音的字:長大 → 掌大、音樂 → 音月、銀行 → 銀航、重新 → 蟲新、朝著 → 潮著、調皮 → 條皮。模型只需要聲音,替代字本身是什麼意思並不重要。
- 日文就改寫成假名:生の声 → なまの声,間 → あいだ。
- 原本的歌詞留著顯示用:替換過的版本只給模型看。字幕、歌詞影片和歌曲說明,都用你原本寫的歌詞。
- 聽聽看成果:替換能提高唱對的機率,但不保證這一次一定唱對。生成兩個版本,留下唱對的那一個。
霓歌怎麼幫你做
霓歌的讀音檢查會在你花音符(點數)之前,自動幫你做完這些步驟。它會標出含有容易唸錯的字的歌詞行,建議模型能唱對的同音字或假名寫法,每個建議都可以接受或修改;你做過的替換會記下來,下次做歌時繼續用。歌曲頁上顯示的,永遠是你原本寫的歌詞。
如果查字典也判斷不出正確的讀音,讀音檢查會直接告訴你這個讀音是猜的,而不是默默替換,所以就算猜錯,也不會讓歌變得更糟。
用你自己的中文或日文歌詞試試看。新帳號送免費音符,夠你做好幾首歌。
關於這次測試
這是霓歌對 Google Lyria 3.5 做的內部基準測試,於 2026 年 10 月 22 日進行,並在讀音檢查上線後,於 10 月 23 日追加測試。歌詞是為這次測試寫的。辨識前先用 Demucs 分離人聲;華語讀音由 CTC 音素比對和拼音比對來評分,日文則用假名辨識。錯誤率是辨識出的人聲的字元錯誤率(英文參考值:5%)。