AI の歌声が中国語の歌詞を読み間違える理由と直し方
长・乐・行 のように読みが複数ある字は、AI の歌声がよく読み間違えます。Google の Lyria 3.5 で測った結果、ピンインを添えても効かない理由、効果があった同音字とかなへの置き換えを紹介します。
NeonSong チーム · 公開
「大人になる」をテーマに中国語で歌を書くと、AI の歌声は 长大（「成長する」、zhǎng dà）を cháng dà と歌ってしまうことがあります。中国語にはない言葉です。音楽について書けば、音乐（「音楽」、yīn yuè）が yīn lè と聞こえるかもしれません。聴き手はすぐに気づき、たった 1 音節で曲が台なしになります。
この記事では、なぜそうなるのか、2026 年 10 月に Google の Lyria 3.5 モデルを試したときに何を測ったのか、そして中国語にも日本語にも効く直し方を説明します。ポイントは、読みを注記することではなく、モデルに渡す言葉の書き方を変えることです。
原因：1 つの字に、いくつもの読み
中国語には、どの言葉の中で使われるかによって読みが変わる字がたくさんあります（多音字、duōyīnzì）。下の表では、中国語の簡体字をそのまま載せ、括弧に意味を添えています。
| 字 | この言葉では | 読み | ふだんの読み | 例 |
|---|---|---|---|---|
| 长（長） | 长大（成長する） | zhǎng | cháng | 很长（とても長い） |
| 乐（楽） | 音乐（音楽） | yuè | lè | 快乐（楽しい） |
| 行 | 银行（銀行） | háng | xíng | 不行（だめだ） |
| 重 | 重新（もう一度） | chóng | zhòng | 重要（重要な） |
| 朝 | 朝着（〜に向かって） | cháo | zhāo | 朝阳（朝日） |
| 调（調） | 调皮（いたずらな） | tiáo | diào | 声调（声調） |
人間の歌手なら、その言葉に必要な読みを知っています。歌声を生成するモデルは、学習した内容をもとに字ごとに読みを選ばなければならず、正しい読みのほうが少数派だと、よく多数派の読みを選んでしまいます。
日本語の漢字にも同じ問題があります。1 つの漢字に読み方がいくつもあるからです。私たちのテストでは、「生の声」の 生 が「なま」ではなく「せい」と、「二人の間」の 間 が「あいだ」ではなく「ま」と読まれました。
測ってわかったこと
2026 年 10 月、これらの言葉を含むオリジナルの歌詞で Lyria 3.5 にテスト曲を作らせ、ボーカルを分離してから、音声認識と 2 種類の自動発音判定にかけました。先に正直な注意点を書いておきます。サンプルは少なく、判定器そのものも、読みが 1 つに決まるテキストを与えたときに約 30% の割合で想定の読みと食い違いました。数字は結論ではなく、傾向として読んでください。
中国語をふつうに書いた場合：読み間違えやすい言葉が意図した読みで歌われたのは、およそ 3 分の 1 でした（判定器が判定できた言葉のうち 36%）。
中国語にピンインを添えた場合：长(zhǎng)大 のように括弧で読みを添えても、効果はありませんでした。モデルは「この注記は歌わない」という指示には従い、注記をそのまま無視しました。长大 は相変わらず cháng dà でした。
中国語を同音字に置き換えた場合：読み間違えやすい字を、同じ音で読みが 1 つしかない別の字に置き換える（长大 を 掌大 にする。掌 は常に zhǎng）と、意図した読みで歌われた割合は約 3 分の 2（67%）に上がりました。特に改善したのは 音乐、银行、朝着、调皮 です。ただし保証にはなりません。再テストでは、4 テイク中 2 テイクで 掌大 がまだ cháng と聞こえました。
日本語をかなで書いた場合：読み間違えやすい言葉を漢字ではなくかなで書く（なまの声、ふたりのあいだ）と、エラー率は 6〜10% まで下がって英語に近い水準になり、テスト用の言葉は 1 つも読み間違えられませんでした。日本語でも、括弧で読みを添える方法は効きませんでした。
広東語の場合：広東語で歌うよう指示すると、Lyria は普通話（標準中国語）ではなく、きちんと広東語で歌います。嘅、唔、佢 のような広東語にしかない言葉も歌われました。声調がどこまで正確かは、ネイティブの耳で確かめる必要があり、自動テストでは代わりになりません。
自分で直す方法
歌詞をテキストで入力する AI 音楽ツールなら、どれでも使えるコツです。
- 読み間違えやすい言葉を探す：上の表にある字と、使いたい読みがその字のいちばん一般的な読みではない言葉に注意します。
- 読みが 1 つしかない同音字に置き換える：同じ音で、読みが 1 つだけの字を選びます。长大 → 掌大、音乐 → 音月、银行 → 银航、重新 → 虫新、朝着 → 潮着、调皮 → 条皮。モデルに必要なのは音だけなので、置き換えた字の意味は関係ありません。
- 日本語はかなで書く：生の声 → なまの声、間 → あいだ。
- 表示用には元の歌詞を残す：置き換えた版はモデルに渡すためだけのものです。字幕、歌詞動画、曲の説明には、元の歌詞を使いましょう。
- できた曲を聴いて確かめる：置き換えで正しく歌われる確率は上がりますが、そのテイクがうまくいく保証はありません。2 つのバージョンを作り、正しく歌えている方を残しましょう。
NeonSong なら自動で
NeonSong の読みチェックは、音符（クレジット）を使う前に、この手順を自動で行います。読み間違えられそうな字を含む行を見つけ、モデルが正しく歌える同音字やかなの表記を提案し、提案ごとに採用するか変更するかを選べます。置き換えた内容は、次に作る曲のために記憶されます。曲のページには、いつでもあなたが書いたとおりの歌詞が表示されます。
辞書から正しい読みを判断できない場合、読みチェックは黙って置き換えず、その読みが推測であることを示します。そのため、推測が外れて曲が悪くなることはありません。
あなたの日本語や中国語の歌詞で試してみる。新規アカウントには、数曲作れる無料の音符をプレゼントしています。
テストについて
Google の Lyria 3.5 を対象にした NeonSong の社内ベンチマークです。2026 年 10 月 22 日に実施し、読みチェックの公開後、10 月 23 日に追加テストを行いました。歌詞はテストのために書き下ろしたものです。認識の前に Demucs でボーカルを分離し、中国語の発音は CTC による音素比較とピンインの照合で、日本語はかな認識で判定しました。エラー率は、認識したボーカルの文字誤り率です（英語の基準値：5%）。