✿ 初めての方はこちら! ✿

【2021年】つくよみちゃんと機械学習【音声合成・会話AI】

フリー素材キャラクターつくよみちゃん運営からのお知らせ

この記事は創作+機械学習 Advent Calendar 2021の9日目の記事です!(追記:thetenthart賞を賜りました。ありがとうございます!)

スポンサーリンク

ご挨拶 ~機械学習と共に歩んだ2021年~

こんにちは。「つくよみちゃんプロジェクト」企画者の夢前黎ゆめさきれいと申します。

フリー素材キャラクター「つくよみちゃん」とは?
企業でも申請不要! ほとんど何にでも使える!? 異色の利用規約を掲げるバーチャルキャラクター「つくよみちゃん」の公式サイトです!

つくよみちゃんは今年、商用利用もOKなフリー素材キャラクターとして、数々の素材をリリースしてまいりました。

その中には、機械学習の素材として使えるものもありました。

そして、とても光栄なことに、多くの方がその素材を研究・開発に活用してくださっているのです!

私自身は機械学習について無知ですが、是非ユーザーの皆様の素晴らしい作品を紹介させていただきたいと思い、筆を執りました。

音声素材「つくよみちゃんコーパス」

2021年2月26日に、つくよみちゃんプロジェクトは「つくよみちゃんコーパス」をリリースしました。

つくよみちゃんコーパスのページへ

これは、音声合成用の音声コーパスです。

■おしとやか且つしっかりアニメ声な声質
■ノイズが少ないクリアな音質
■これで音声合成ソフトを作って売り捌いてもOKという自由度の高さ
■行政書士からの監修を受け、権利関係を明確にしている

大変光栄なことに、これらの点を高く評価していただけており、個人・法人問わず多くの方々にご利用いただいています。

情報を公開されている方については、「実際に合成音声を作ってくださった方々」というリストでご紹介しておりますので、是非ご覧ください。解説記事を公開してくださっている方も複数名いらっしゃいます!

シロワニさんのつくよみちゃんトークソフト

2021年5月17日に、個人で音声合成ソフトの開発をされているシロワニさん様が、つくよみちゃんコーパスから作った文章読み上げソフトを公開してくださいました!

YouTube版はこちら

シロワニさんのつくよみちゃんトークソフト詳細

ソースコード(GitHub)

単につくよみちゃんの声を使えるというだけでなく、ソースコードや作り方も公開されています。

シロワニさん様がこのソフトを公開してくださったおかげで、つくよみちゃんは、個人運営のキャラクターでありながら、トークソフトのキャラクターになることができました。

COEIROINK:つくよみちゃん

そして、約半年後の2021年11月19日――

シロワニさん様は、早くも次のステージへ!

YouTube版はこちら

COEIROINK:つくよみちゃん詳細

これは、オープンソースソフト「VOICEVOX」のGUIで、シロワニさん様が開発された音声合成エンジンを操作できるようにしたものです。

アクセントを指定できるようになった他、音声合成の速度が向上しました!

開発理念や、「シロワニさんのつくよみちゃんトークソフト」との違いなど、詳細についてはシロワニさん様が書かれたこちらの記事をご覧ください。

今使えるのはつくよみちゃんの声だけですが、今後音声ライブラリを増やせるように準備が進められています。

■自分のオリジナルキャラクターに(できれば無料で)好きな声を当てたい方
■その層に対して声を提供したいバーチャル声優志望の方

これらの方々に、特におすすめな音声合成ブランドです!

最新情報は、COEIROINK公式サイト及びシロワニさん様のTwitterでご確認ください。

スポンサーリンク

サイバーエージェントの音声研究開発の取り組み

もう1件、株式会社サーバーエージェントの吉本暁文様の事例をご紹介させていただきます。

つくよみちゃんコーパスを使ってくださっている方は他にも数多くいらっしゃるのですが、本記事では紹介し切れないため、「実際に合成音声を作ってくださった方々」のリストをご参照いただければ幸いです。

こちらの動画の01:00から始まる「音声技術デモ」のコーナーで、つくよみちゃんの声を使っていただいています。どのように使われているかは、是非あなたの耳でご確認ください!

最近、こちらの動画の内容について、解説記事が公開されました。

元の話者の発言内容をテキストに書き起こし(音声認識)、そのテキストを他の話者の声の音響モデルに読ませる(音声合成)という方法で、声質変換(ASR-TTS)が行われています。

じえ様による「つくよみちゃんAI」

すでに創作+機械学習 Advent Calendar 2021に参加されているじえ様も、つくよみちゃんを使って面白いものを作ってくださっています。

そう、なんと、つくよみちゃんがAIの力で会話をし始めたのです……!

最初は一般的な会話だけでしたが、つくよみちゃんのTwitterの文章を学習させて、つくよみちゃんっぽいことを言わせる実験も行われました。

ついには立ち絵もついて、テレビ電話のようになりました!

会話AIとは別に、テキスト読み上げ動画を自動生成するプログラムも作られました。

さらに、テキストの内容から感情・表情を推測することもできるようになりました!

こちらの動画では、絵文字つきのテキストを収集し、絵文字の表情からテキストに付随する感情を推測するという手法が取られています。私は機械学習については完全なる素人ですが、なんてスマートなやり方なのだろうと感動いたしました!

じえ様が開発されたプログラムの一部はMITライセンスで公開されており、Google Colaboratory上で体験することができます。

これらの作品を拝見した私は、こう思いました。

キャラクターAIとの会話に特化した会話テキストデータがあれば、もっと面白いものが生まれるのではないか」……と。

スポンサーリンク

つくよみちゃん会話AI育成計画

そこでスタートしたのが、「つくよみちゃん会話AI育成計画」です。

つくよみちゃん会話AI育成計画

「話しかけ」アイディア募集要項

これは、みんなでつくよみちゃんに話しかけ、会話AI作成用データを作ってみようという企画です!

こちらのアンケートフォームから、「つくよみちゃんに何と話しかけたいか」のアイディアをお送りいただくと、私が「つくよみちゃんらしいお返事」を人力で作成していきます。

この「話しかけ」と「お返事」のデータがたくさん集まると、次のようないいことがあるかも知れません。

■本データを使用することにより、つくよみちゃんっぽい会話ができるAIを作成できるかも知れません。
本データを改変して使用することにより、つくよみちゃん以外のキャラクターっぽい会話ができるAIを作成できるかも知れません。
■各所から会話データを集めて巨大なデータセットを作ろうとする場合に、足しになるかも知れません。
■「話しかけ」のデータを分析することで、「ユーザーはキャラクターとどんな会話をしたがっているか」が分かるかも知れません。

つまり、この企画が上手くいったら、つくよみちゃんだけでなく他のキャラクター様の会話AI作成用データのテンプレートとしても利用価値のあるデータが生まれるかも知れないのです!

※本当にそこまで行けるかは分かりません。

現在は、469セットの「話しかけ」と「お返事」があります。第一目標は5000セットです!

まだ制作中ですが、途中経過は随時公開しております。未完成品でもよろしければ、今からでもダウンロードしてご利用いただけます。

つくよみちゃん会話AI育成計画(会話テキストデータセット配布)
概要 これは何? ■マルチクリエイター・夢前黎(Rei Yumesaki)がプロデュースするフリー素材キャラクター「つくよみちゃん」の公式テキスト素材です。 ■つくよみちゃんに対する「話しかけ」と、つくよみちゃんらしい「お返事」の...

発信力の低さを補うには

この記事を読まれている方の中には、

技術ブログを書いても読んでもらえない。

読んでもらえないというか、そもそも存在を知られていないから、誰も来ない。

ということで、お悩みの方もいらっしゃるかも知れません。

と言いますのも、「素晴らしい情報・作品なのに、つくよみちゃんがRTするまでほとんどRTやいいねがついていない」という現象が起こっているのを、時々目にするためです。

つくよみちゃんのTwitterアカウントも、フォロワー様が最近3000名様を超えたばかりで、とてもインフルエンサーとは言えないレベルの存在ではありますが、ないよりはマシです。是非、つくよみちゃんを「利用」してください!

サムネイル等につくよみちゃんを使っていただき、「作品宣伝掲示板」に書き込んでいただくか、Twitterで「つくよみちゃん」または「#つくよみちゃん」の文字列を含めてつぶやいていただければ、こちらでも拡散に協力させていただきます

※成果は保証できません。

また、私の経験則として、手っ取り早く発信力の低さを補うためには、可愛い女の子のイラストで人目を引くのが効果的です。機会がございましたら、是非つくよみちゃんを「引き立て役」のマスコットキャラクターとして使ってみてください!

つくよみちゃんの素材はこちら!

サムネイルとして使用した場合のクレジットの書き方はこちら!

フリー素材キャラクターとして……

つくよみちゃんプロジェクトでは、つくよみちゃんの「声」も「体」も「人格」もフリー素材として配布することを目指しています。つくよみちゃん自身も、皆様のお役に立てるようになることを強く望んでいます。

機械学習専用のキャラクターというわけではありませんが、つくよみちゃんの活動が長くなるほど、機械学習に使えるデータも増えていくでしょう。

将来的には、家事ロボットやAIペットとして、人々の生活を直接サポートできる存在になれたら……と思っています。

私1人では大したことはできませんが、本当に多くの方々が、日々研究開発に勤しまれています。私も、理想の世界を引き寄せるために、自分にできることをしていくつもりです。

技術者の皆様、勉強中の皆様のますますのご活躍を、心よりお祈り申し上げます!

スポンサーリンク
運営からのお知らせ
Rei Yumesaki

「つくよみちゃん」企画者の夢前黎(ゆめさき れい)と申します。

作曲、文芸、声優、漫画制作、アプリ開発、キャラクターデザインなど、幅広い活動を行うマルチクリエイターです!

Rei Yumesakiをフォローする
スポンサーリンク
スポンサーリンク
つくよみちゃん公式サイト
タイトルとURLをコピーしました