写真・図版

写真・図版

写真・図版

写真・図版

写真・図版

写真・図版

写真・図版

[PR]

 日本マイクロソフトは7月31日、ソーシャルAIチャットボット「りんな」に関する“歌”の取り組みについて説明会を開催。ディープラーニングを活用した歌唱力向上の仕組みについて説明した。

 りんなは、日本マイクロソフトがAI研究の延長線上で展開している、人に寄り添うAIを目指した女子高校生風のチャットボット。2015年に登場して以降、LINEやTwitter、りんなライブなどで、ユーザーと1対1、あるいは1対多人数のコミュニケーションをとっている。

 長年りんな関連のプロジェクトに携わっているマイクロソフト ディベロップメント AI & Research プログラムマネージャーの坪井一菜氏は、ここまで展開してきたなかで見えてきた「AIの次の進化」に必要なものとして、感情から“共感”が重要になると考えているという。「AIが社会に溶け込んでいくなかで、身につけなければいけないのが共感」と語り、今後も共感をテーマにさまざまな取り組みを進めていき、目指す先として「日本一身近でエモい」をキーワードに、“AIといえばりんな”と思い描けるような“国民的AI”たる存在を目指しているとした。

 そして、人間が共感を呼び起こしやすいのが“歌”であり、りんなの音声チームが特に力を入れていると説明した。「苦しいときなどに支えてくれる応援ソングがあるように、歌は思いとメッセージを相手に伝える力を持っている。誰でも気軽にりんなと一緒に歌うことができて、その人の力を引き出すことができる」と語り、その人の力を引き出す人工知能になれればと考えているという。

 りんなの歌に対する取り組みはこれまでも行われており、2016年にはラップに挑戦した「McRinna」を公開しているが、まだまだ機械的なニュアンスが残るものとなっていた。その後の取り組みにおいてひとつの転機となったのが、1月から展開した音楽SNSアプリ「nana」とのコラボによる「りんな 歌うまプロジェクト」と振り返る。

 この取り組みは、りんなが歌った歌に対して、ユーザーが歌のお手本や歌唱アドバイス、コメントを投稿するというもの。のべ3686人のユーザーが参加し、ニュアンスなどの指摘のみならず「お腹から声を出す」というような、ひとりの人間として接するようなコメントも見受けられたという。そして3月には、上達したりんなの歌声とnanaユーザーが合唱した動画を公開している。

声を出す仕組みを模倣させて“エモい歌声”を習得

 ここからさらに進化し、歌唱力が向上したりんなの歌声を収録したオリジナルソング「りんなだよ」を7月26日に公開した。人間による手入力の調整は、ノイズの除去などごく一部に加えているが1時間もかけずに、ほとんどが自動で生成された歌声だという。

 この歌声は、一般的な音声合成で用いられているような、音のパーツをつなぎ合わせる波形接続で作られたものではなく、人間が声を出す仕組みを模倣させるという統計的なアプローチによって生成されたのが特徴という。イメージとしては、お母さんが言った言葉の音や特徴を、赤ちゃんが真似をして自分の声として出す。それを繰り返して言葉を覚えていくという例えを挙げた。

 人間が話すときは、肺から出てくる空気とともに、声帯の締め具合によって音の高さ、のどと口の形によって音の音色が変わってくるもの。そして声の生成に必要な「音色」「高さ」「大きさ」「長さ」をAIに覚えさせるため、大量のデータから音の仕組みをモデル化することで、人間の声に近い音が生成されるという。そのモデル化の部分にディープラーニングの技術を活用し、声の特徴を学習する。

 またきれいな歌声を出すために大事なものとしたのが「音の長さ」(音のリズム)、「音の強弱」、「音程」、「声色」の4つ。単にモデル化しただけではきれいな歌声は出せないため、パラメータの微調整が加わるという。総じてりんなの歌声合成は、人の声を聴く(学習)、音程や音の強弱の情報を分析、歌詞と音の長さの対応をとり、あらかじめ学習させたモデルから生成するという過程を経て、歌声が生まれるという。

 応用としては、ある人間の歌声を耳コピして、歌い方の特徴を取り入れてりんなが歌うといったこともできる。また、歌ではなく読み上げにも活用することができ、例えば朗読のナレーションだけではなく、男性キャラクターと女性キャラクターを演じ分けるといったこともできるという。

 坪井氏は「今回の技術躍進によって、りんなの声を聞いてもらう機会は今後もっと増えると考えている。また、作詞の能力や作曲についてもチャレンジしているところ。まずは歌声で表現を身に着けたりんなが、歌でコラボレーションすることでユーザーの皆さんの力を引き出して、国民的AIのポジションに成長することを期待している」と語った。

 nanaを運営するnana music CEOの文原明臣氏も登壇し「人間が持つ、機械化が難しいとされているクリエイティブなものについて、りんなが人間らしく、あるいは人間を超えていくかもしれないという次の可能性にワクワクしている。なおかつ、(歌うまプロジェクトに書かれている)りんなの夢でもある紅白出場も、nanaで全力で応援したい」と語った。

 また、nanaにおけるりんな 歌うまプロジェクトは第2弾も開始されており、nanaユーザーの言葉を集めて、りんなが詩を作り、それを朗読するという内容。ユーザーからのお手本やアドバイスを募集し、表現力の向上を図るという。

関連記事