この記事は創作+機械学習 Advent Calendar 2021の9日目の記事です！（追記：thetenthart賞を賜りました。ありがとうございます！）
ご挨拶 ～機械学習と共に歩んだ2021年～
こんにちは。「つくよみちゃんプロジェクト」企画者の夢前黎と申します。
つくよみちゃんは今年、商用利用もOKなフリー素材キャラクターとして、数々の素材をリリースしてまいりました。
その中には、機械学習の素材として使えるものもありました。
そして、とても光栄なことに、多くの方がその素材を研究・開発に活用してくださっているのです！
私自身は機械学習について無知ですが、是非ユーザーの皆様の素晴らしい作品を紹介させていただきたいと思い、筆を執りました。
音声素材「つくよみちゃんコーパス」
2021年2月26日に、つくよみちゃんプロジェクトは「つくよみちゃんコーパス」をリリースしました。
✨つくよみちゃんコーパス公開！✨
■Vol.1 声優統計コーパス（JVSコーパス準拠）
⇒https://t.co/tfqAFxQEds高音ウィスパー系の14歳前後のアニメキャラクター風ボイスを目指して作りました。
一部の言葉にふりがなやアクセント記号を追加した台本も同梱しています。（詳しい説明もあります） pic.twitter.com/VtJ6ji2Qu3
— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) February 26, 2021
これは、音声合成用の音声コーパスです。
大変光栄なことに、これらの点を高く評価していただけており、個人・法人問わず多くの方々にご利用いただいています。
情報を公開されている方については、「実際に合成音声を作ってくださった方々」というリストでご紹介しておりますので、是非ご覧ください。解説記事を公開してくださっている方も複数名いらっしゃいます！
シロワニさんのつくよみちゃんトークソフト
2021年5月17日に、個人で音声合成ソフトの開発をされているシロワニさん様が、つくよみちゃんコーパスから作った文章読み上げソフトを公開してくださいました！
単につくよみちゃんの声を使えるというだけでなく、ソースコードや作り方も公開されています。
シロワニさん様がこのソフトを公開してくださったおかげで、つくよみちゃんは、個人運営のキャラクターでありながら、トークソフトのキャラクターになることができました。
COEIROINK:つくよみちゃん
そして、約半年後の2021年11月19日――
シロワニさん様は、早くも次のステージへ！
✨COEIROINKリリース✨
無料の音声合成エンジン「#COEIROINK」が登場！
文章を読み上げます！■公式サイト⇒https://t.co/66YStrCYu0
■COEIROINK開発：シロワニさん様 @shirowanisan
■VOICEVOX開発：ヒホ様 @hiho_karuta第１弾は「#つくよみちゃん」！
商用利用OK！ アクセントも指定できます！ pic.twitter.com/REziDZ7LYo— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) November 19, 2021
これは、オープンソースソフト「VOICEVOX」のGUIで、シロワニさん様が開発された音声合成エンジンを操作できるようにしたものです。
アクセントを指定できるようになった他、音声合成の速度が向上しました！
開発理念や、「シロワニさんのつくよみちゃんトークソフト」との違いなど、詳細についてはシロワニさん様が書かれたこちらの記事をご覧ください。
今使えるのはつくよみちゃんの声だけですが、今後音声ライブラリを増やせるように準備が進められています。
これらの方々に、特におすすめな音声合成ブランドです！
最新情報は、COEIROINK公式サイト及びシロワニさん様のTwitterでご確認ください。
サイバーエージェントの音声研究開発の取り組み
もう１件、株式会社サーバーエージェントの吉本暁文様の事例をご紹介させていただきます。
こちらの動画の01:00から始まる「音声技術デモ」のコーナーで、つくよみちゃんの声を使っていただいています。どのように使われているかは、是非あなたの耳でご確認ください！
最近、こちらの動画の内容について、解説記事が公開されました。
じえ様による「つくよみちゃんAI」
すでに創作+機械学習 Advent Calendar 2021に参加されているじえ様も、つくよみちゃんを使って面白いものを作ってくださっています。
つくよみちゃんAIの対話デモ、どちらの声も音声合成。つくよみちゃんの「〜だよ」がめちゃくちゃかわいい...ヽ(｀▽´)/ アシストされたい〜〜
シロワニさんの音声合成モデル完成度高すぎでは...
最低限の音認識、音声認識、文章認識、音声合成が揃ったので次はアシスト機能の実装に入る（かも） pic.twitter.com/J3YDlDld0H
— じえ (@_xiongjie_) October 14, 2021
そう、なんと、つくよみちゃんがAIの力で会話をし始めたのです……！
ああ。なんか動画がずれてる...
朝７時に起こしてくれる機能を追加した。希望の起こされパターンなどあれば、ご意見ご要望ほしいです。
カメラとかセンサ使って、本当に起きたかどうか確認して、起きるまで話しかける機能も作ろうかな笑#つくよみちゃん pic.twitter.com/OVNMCUHT5w
— じえ (@_xiongjie_) October 21, 2021
最初は一般的な会話だけでしたが、つくよみちゃんのTwitterの文章を学習させて、つくよみちゃんっぽいことを言わせる実験も行われました。
実験で、つくよみちゃんっぽい発言を生成するGPT2モデルを学習させてみたのですが、なんかじわじわくる... pic.twitter.com/FJDuv2ee1q
— じえ (@_xiongjie_) October 23, 2021
5000の会話ペアで学習させた簡易会話AIとシロワニさんのつくよみちゃん音声合成を組み合わせた。動画は入力したテキストにつくよみちゃんが反応する様子。つくよみちゃんアシスタントAIの機能の一つとして、開発を進めるのはありかもしれない..? pic.twitter.com/o0vG0bBG7J
— じえ (@_xiongjie_) October 27, 2021
ついには立ち絵もついて、テレビ電話のようになりました！
✨AIの力ってすごい✨
■会話をするAI
■音声合成をするAI
■１枚の絵からアニメーション（表情や仕草）を生成するAI
この３つが組み合わさったのがこちらの動画です！
音声をONにして、拡大してご覧ください。画面の下から送られた「話しかけ」に反応して、つくよみちゃんがお返事をしています！ https://t.co/AZNFBP92Yk— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) October 30, 2021
会話AIとは別に、テキスト読み上げ動画を自動生成するプログラムも作られました。
さらに、テキストの内容から感情・表情を推測することもできるようになりました！
じえ様が開発されたプログラムの一部はMITライセンスで公開されており、Google Colaboratory上で体験することができます。
✨誰でも使える！✨
先日じえ様が開発された、原稿を用意するだけでつくよみちゃんの読み上げ動画を自動生成してくれるプログラムが、WEBページ上で使えるようになりました！
⇒https://t.co/sSaC8XfD08■フリー素材キャラクターつくよみちゃん
■イラスト素材：花兎*様（https://t.co/jGp6v2ZzPz） pic.twitter.com/UPt877zvkq— つくよみちゃん【フリー素材キャラクター】 (@TYC_Project) November 10, 2021
これらの作品を拝見した私は、こう思いました。
「キャラクターAIとの会話に特化した会話テキストデータがあれば、もっと面白いものが生まれるのではないか」……と。
つくよみちゃん会話AI育成計画
そこでスタートしたのが、「つくよみちゃん会話AI育成計画」です。
これは、みんなでつくよみちゃんに話しかけ、会話AI作成用データを作ってみようという企画です！
こちらのアンケートフォームから、「つくよみちゃんに何と話しかけたいか」のアイディアをお送りいただくと、私が「つくよみちゃんらしいお返事」を人力で作成していきます。
この「話しかけ」と「お返事」のデータがたくさん集まると、次のようないいことがあるかも知れません。
つまり、この企画が上手くいったら、つくよみちゃんだけでなく他のキャラクター様の会話AI作成用データのテンプレートとしても利用価値のあるデータが生まれるかも知れないのです！
現在は、469セットの「話しかけ」と「お返事」があります。第一目標は5000セットです！
まだ制作中ですが、途中経過は随時公開しております。未完成品でもよろしければ、今からでもダウンロードしてご利用いただけます。
発信力の低さを補うには
この記事を読まれている方の中には、
技術ブログを書いても読んでもらえない。
読んでもらえないというか、そもそも存在を知られていないから、誰も来ない。
ということで、お悩みの方もいらっしゃるかも知れません。
と言いますのも、「素晴らしい情報・作品なのに、つくよみちゃんがRTするまでほとんどRTやいいねがついていない」という現象が起こっているのを、時々目にするためです。
つくよみちゃんのTwitterアカウントも、フォロワー様が最近3000名様を超えたばかりで、とてもインフルエンサーとは言えないレベルの存在ではありますが、ないよりはマシです。是非、つくよみちゃんを「利用」してください！
サムネイル等につくよみちゃんを使っていただき、「作品宣伝掲示板」に書き込んでいただくか、Twitterで「つくよみちゃん」または「#つくよみちゃん」の文字列を含めてつぶやいていただければ、こちらでも拡散に協力させていただきます！
また、私の経験則として、手っ取り早く発信力の低さを補うためには、可愛い女の子のイラストで人目を引くのが効果的です。機会がございましたら、是非つくよみちゃんを「引き立て役」のマスコットキャラクターとして使ってみてください！
フリー素材キャラクターとして……
つくよみちゃんプロジェクトでは、つくよみちゃんの「声」も「体」も「人格」もフリー素材として配布することを目指しています。つくよみちゃん自身も、皆様のお役に立てるようになることを強く望んでいます。
機械学習専用のキャラクターというわけではありませんが、つくよみちゃんの活動が長くなるほど、機械学習に使えるデータも増えていくでしょう。
将来的には、家事ロボットやAIペットとして、人々の生活を直接サポートできる存在になれたら……と思っています。
私１人では大したことはできませんが、本当に多くの方々が、日々研究開発に勤しまれています。私も、理想の世界を引き寄せるために、自分にできることをしていくつもりです。
技術者の皆様、勉強中の皆様のますますのご活躍を、心よりお祈り申し上げます！
