このページでは、実際につくよみちゃんコーパスから合成音声を作ってくださった方をご紹介いたします。(企画者が把握している情報のみ)
実際に合成音声を作ってくださった方々
■シロワニさん様:
①つくよみちゃんが合成音声で喋る動画 (35秒の動画)
②他の合成音声キャラクターと会話をしている動画(30秒の動画/立ち絵は別キャラ)
③シロワニさんのつくよみちゃんトークソフト(Google Colabで動作)
④つくよみちゃんトークソフトの作り方(解説記事)
⑤つくよみちゃんトークソフトのv.1.1.0へのアップデート(解説記事)
⑥2021年6月に発表された最新の音声合成手法「VITS」を試す(解説記事)
⑦COEIROINK:つくよみちゃん(テキスト読み上げソフトウェア/リンク集に解説記事あり)
■npaka様:
NVIDIA/tacotron2 で日本語の音声合成を試す(解説記事シリーズ)
■おみや様:
ご自分専用のボイスチェンジャー(1分の動画)
■にるる様:
npaka様の記事を参考に作ったつくよみちゃんの合成音声(5秒の動画)
■こたの͏ᶴ᳝ᵀᴼᴹᴼᴷᴼᵀᴬᶴ᳝͏≪.O様:
①『箱庭の街のなかで』(合成音声による動画作品/18:30~19:20にモブキャラとして登場)
②『【E:D】自家製音声合成実戦試験/表面着陸初体験【ソフトウェアトーク実況】【つくよみちゃん】』(合成音声による動画作品)
■ヒホ(ヒロシバ)様:
キャラ声(アニメ声)への声質変換テスト(20秒の動画)
■株式会社サーバーエージェント 吉本暁文様:
①サイバーエージェントの音声研究開発の取り組み | CA BASE NEXT(01:00~音声技術デモ)
②現在開発中の最新の音声技術の紹介(解説記事)
■ミルヒちゃん様:
ニューラルネットで音声合成(4秒の動画)
■took様:
FastSpeech2でつくよみちゃんを合成しました(3秒の音声)
■山本りゅういち / Ryuichi Yamamoto様:
Tacotron 2 + Parallel WaveGANでのテスト(5文の読み上げ/詳細はこちら)
■Sueoka-PPC様:
AI_Subcommander(PCゲーム『Elite Dangerous』専用の読み上げソフト)
■霜島はるか様:
はじめての音声変換(GAN)(8秒の動画)
■ハン様(大学院生、AI Engineer):
①ESPnet TTS(Text-to-speech) model fine-tuned with Tsukuyomichan and jvs001 corpus. (Google Colaboratory Demo)(入力した文章を読み上げ/使い方/ハン様のWEBサイト)
②簡単に作れるTTSモデル:ESPnetを用いたつくよみちゃんTTSモデル作成(解説記事)
■黒猫大福様:
①つくよみちゃんコーパスVol.1を「TALQu PRO」でTALQu化(25秒の動画)
②黒猫大福式つくよみちゃんTALQu(TALQu専用音響モデル配布)
■かんばやし様(ESPnet開発者):
①TSUKUYOMI-CHAN RECIPE(学習スクリプト)
②ESPnet2-TTS realtime demonstration(Google Colabで動作)
③生成された音声のサンプル(14秒の音声)
■完全無欠天才美少女様:
①ぼくの声をつくよみちゃんボイスに変換1(5秒の動画)
②ぼくの声をつくよみちゃんボイスに変換2(6秒の動画)
③機械学習で女の子の声になろう(解説記事)
④声質変換テスト(変換前 & 変換先は非学習データ)(1分の動画)
■天王洲アイル様:
①VITSによる声質変換(48秒の動画)
②リアルタイムで自分の好きな声に変換できるボイスチェンジャー「MMVC」でつくよみちゃんの声に変換したサンプル
■のほしお様:
ESPnetで音声合成(2分の動画)
■zassou様:
①VITSでボイスチェンジャ―実装(1分の動画)
②VITSで文章読み上げ(19秒の動画)
③【機械学習】VITSでアニメ声へ変換できるボイスチェンジャー&読み上げ器を作った話(解説記事)
■城宮 斜塔様:
①約4900エポック学習(4秒の音声)
②約9900エポック学習(4秒の音声)
■杪夏 安祥様:
クッキー☆ファンAI LAB(ボイスチェンジャー&テキスト読み上げWEBアプリ/声優名「TKYM」として搭載)
■Project Beatrice様:
①AIによる話し声の声質変換(36秒の動画)
②AIによる歌声の声質変換(20秒の動画)
③ボイチェンの改良を進めた(50秒の動画)
④つくよみちゃん→ずんだもんの声質変換(23秒の動画)
⑤Beatrice つくよみちゃんエディション(声質変換ソフト)
■のうのう様:
韓国語の音声を日本語に変換(7秒の動画)※詳細
■Cloned Body様:
tacotron2とtalking-head-animeで動いて喋るつくよみちゃん(3秒の動画)
■みーちゃ様:
MMVCで音声合成(声質変換ではない)(7秒の動画)
■HRdrone様:
①Tacotron2とHiFi-GANを使用した音声合成のテスト(3秒の動画)
②入力したテキストを合成音声に変換(31秒の動画)
■wok!様:
①VITSの実験 ESPnetを使ってファインチューニング(1分の動画)
②MMVCのクライアントをso-vits-svcも使えるようにしてみた(1分の動画)
③VC Client リアルタイムボイスチェンジャーつくよみちゃん(声質変換ソフト)
■Yちゃん様:
SHAREVOX(テキスト読み上げソフトウェア)
■見夢様(礼文華太郎様):
2032年の友人(ESPNet2とTransformerを用いた2分の動画/Live2D Creative Awards 2022 インタラクティブ作品賞)
■IrunaBara様:
①つくよみちゃんコーパスとつくよみちゃんUTAU音源の声質をDiff-SVCで学習した歌声声質変換デモ(28秒の動画)
②つくよみちゃんDIFF-SVC(Diff-SVCライブラリ配布/話声と歌声の声質変換デモあり)
■オリトイツキ様:
①ストリーミング生成対応の声質変換(2分の動画)
②HiFi-GANのfinetuneを回してみた(2分の動画)
■Koemake Project様(株式会社Scimit様):
①開発中のリアルタイムAI音声変換のテスト(5秒の動画)
②今回は少し長めに話してみました(18秒の動画)
③電々メイちゃん紹介(15秒の動画)
④Koemake RVC Player つくよみちゃんモデル(声質変換ソフト)
■Alithm様:
sovits-svc 3 によるつくよみちゃんへの音声変換(1分の動画)
■経済的生活日誌様:
①【丁寧解説】SO-VITS-SVC-v4をWindowsに導入しローカルで音声学習&合成する方法(解説記事)
②従来の50倍速!「RVC」音声AIモデルをWebUIから学習を行い作成する方法 Windows用(解説記事)
③革新的!音声モデル「VALL-E-X」WebUIをWindowsで動かす方法解説 実演付き(解説記事)
■inrash様:
①so-vits-svcとつくよみちゃんで学習したデータで音読さんの音声を声質変換(3秒の動画)
②so-vits-svc4.0とつくよみちゃんで学習したデータで音読さんの音声を声質変換(8秒の動画)
■yasyune様:
①Retrieval-based-Voice-Conversion(RVC)で声質変換(11秒の動画)
②RVCで黄琴まひろさんとつくよみちゃんを5:5でモデルマージ(14秒の動画)
■quadrant様:
①so-vits-svc 4.0で「Synthesizer V 小春六花」の歌声をつくよみちゃんの声質に変換(ボーカル曲のカバー動画/歌1/歌2/歌3/歌4/歌5)
②上記の声質変換の手順(解説記事)
■syoyo様:
①ESPNet2 で日本語 TTS(Text-to-speech)するメモ(解説記事)
②ESPNet2 TTS でつくよみちゃんが語ってくれる Streamlit app 作ったよ(1分の動画)
③ESPnet2 + TTS GUI using Streamlit(Streamlitアプリ)
④ESPnet2 TTS Streamlit GUI で autoplay とテキスト入力領域拡張したよ(36秒の動画)
⑤VALL-E X + つくよみちゃん(9秒の動画)
■TylorShine様:
distilhubert-ft-japanese-50k("音声から話者によらない音声の要素を抽出する機能"部分の追加学習データ)
■nadare様:
①VoRASの開発状況(→VoRASとは?)
②VoRASの開発をいったん中止するので、音声のデモを供養します(1分の動画)
■ゆうすけ様(Hen&Ai株式会社様):
①ボイメク(テキスト読み上げWEBアプリ/ゆうすけ様による告知)
②Hen&Ai株式会社音声合成サンプル音声(日本語、英語、中国語数秒ずつ)
③自社の音声合成エンジンによる音声合成事例1/事例2(日本語、英語)
④MUGENボイスβ(テキスト読み上げWEBアプリ)
■つくよみちゃんで音声合成様:
①Bert-VITS2で正しく喋れる学習データ数の下限を探す(検証動画)
②Bert-VITS2の事前学習モデルを作る(検証動画)
■offtoung様:
①ez-chat-llm(GitHub/テキスト読み上げ機能つき会話AIソフトウェア/Pythonから簡単に利用できる音声合成ライブラリ ezttsを含む)
②ローカルAIと会話するソフト ez-chat-llm を作りました(4分の動画)
③ローカル環境で音声・立ち絵付きのAIと会話できるソフトウェア ez-chat-llm を作りました。(解説記事)
■Parakeet株式会社様:
Paravo:つくよみちゃん(旧ParakeetVC)(声質変換ソフト)
■よしかい様:
①Style-Bert-VITS2でつくよみちゃんコーパスを学習させ音声合成(13秒の動画)
②Style-Bert-VITS2で英語を喋るつくよみちゃん(9秒の動画)
③Style-Bert-VITS2でjvnv-F1のモデルとマージしたつくよみちゃん(17秒の動画)
④Style-Bert-VITS2でモデルをマージすることで声質はそのままに抑揚等を変えられるか検証(15秒の動画)
⑤つくよみちゃんコーパスで学習して感情豊かな音声合成[TTS]をしてみる by Style-Bert-VITS2(解説記事)
⑥GPT-SoVITSを検証 1個の音声ファイルでゼロショットTTSを試す(25秒の動画)
⑦Style-Bert-VITS2でつくよみちゃんの音声合成モデルに九州そら ささやき 感情100の音声合成モデルをマージ(8秒の動画)/声質を0-1の間で0.2ずつ変化(16秒の動画)
⑧GPT-SoVITS ゼロショットTTSで日本語→中国語、英語(35秒の動画)
⑨GPT-SoVITSのファインチューニング(Few Shot TTS)の検証(25秒の動画)
■july1997様:
Vall-E-X を FineTuning(5秒の動画)
■ようさん様:
①StyleBertVITS2で学習を行ったモデルを公開(5秒の動画)
②つくよみちゃんコーパス 学習モデル for StyleBertVITS2(音響モデル配布)
③つくよみちゃんコーパスのみでBertVITS2の事前学習モデルを作ってみた(4秒の動画)
④つくよみちゃんコーパスのみで200k step学習したもの(3秒の動画)
⑤StyleBertVITS2向けの事前学習モデル ver1(音響モデル配布)
⑥Style-Bert-VITS2の事前学習モデルを独自データで作成する(解説記事)
⑦StyleBertVITS2向けの事前学習モデル ver2(音響モデル配布/追加学習の実例)
⑧StableTTSでつくよみちゃんコーパスを使ってfine tuingをする(解説記事)
■松xR様:
GPT-SoVITS2 Zero-shotは7秒の音声を与えるだけでここまでできる(10秒の動画)
■スタアキメラ様:
Ubuntu 22.04 CPUのみの仮想マシンでGPT-SoVITSの日本語、動きました(1分の動画)
■まらお様:
Style-Bert-VITS2 ver 2.0(29秒の動画)
■まろっく【Malloc Free】様:
「つくよみちゃんコーパス」を学習させたStyle-Bert-VITS2でテキストtoスピーチしてみた(35秒の動画)
■あざい るぅか様:
GPT-SoVITS 5秒の見本で声色生成 無料の日本語対応 音声AI をLinuxのCPUだけで遊ぶ方法(21分の動画)
■NTTグループ様:
①リアルタイムで“別人の声色や話し方”に変換 NTTグループが新技術公開(日本テレNEWS/音声なし)
②生成AIがリアルタイムで声や話し方変換 カスハラ対策にも活用か(テレ朝news/音声あり)
③NTTコミュニケーション科学基礎研究所「オープンハウス2024」展示(15秒の動画)
■rinna株式会社様:
Koemotion オリジナルボイスサンプル(音声合成モデル作成のサンプルとしての利用)