「AI美空ひばり」はどのようにつくられたか
2019年9月29日に放映されたNHKスペシャル「NHKスペシャル AIでよみがえる美空ひばり」で初公開された“AI美空ひばり”。
その新曲「あれから」をプロデュースしたのは、生前最後のシングル曲「川の流れのように」の作詞を手掛けた秋元康。 肝心の歌声は、深層学習技術(ディープラーニング)を用いた「VOCALOID: AI」を開発したヤマハが担当。 4K・3Dの等身大のホログラム映像上では天童よしみが振り付け、衣装は後に晩年の美空ひばりのトレードマークともなった「不死鳥」コスチュームを手掛けた森英恵が担当した。
VOCALOID(ボーカロイド)と言えば初音ミクで知られる音声合成技術だ。VOCALOID: AIはAIを活用したその一種で、ディープラーニング(深層学習)によって歌手独特の癖やニュアンスを含んだ歌声を加える。メインのAIのほかに、音色、ビブラート、音程、タイミングの4つの機能に特化したAIが配置されている。
目標となる歌手の歌声を収集し、そこに含まれる音色や歌いまわしといった特徴を抽出する。今回のプロジェクトでは、ヤマハの第一開発研究部が美空ひばり本人の歌や話し声の音源をデータとして使用して、ボーカルパートとセリフパートを作成した。「この楽譜の文脈を与えたらどう歌うか」というのを想定して歌う点がこのAIの最大の特徴であるという。
開発者のインタビューによると、 異なる音源による音質のばらつきを信号処理技術によって前処理を行ったり、音源分離の技術を用いて歌声の音源に混じった 伴奏音を取り除いたり、ボーカロイドの開発過程で培った歌声のための信号処理技術だけでなく、高度なレベルの複数の技術が要求されたという。
【関連記事】
Source : 国内 – Yahoo!ニュース