✿ 初めての方はこちら! ✿

つくよみちゃんコーパスを使って合成音声を作ってくださった方々

つくよみちゃんコーパス Vol.1 声優統計コーパス(JVSコーパス準拠)

このページでは、実際につくよみちゃんコーパスから合成音声を作ってくださった方をご紹介いたします。(企画者が把握している情報のみ)

スポンサーリンク

実際に合成音声を作ってくださった方々

■シロワニさん様
つくよみちゃんが合成音声で喋る動画 (35秒の動画)
他の合成音声キャラクターと会話をしている動画(30秒の動画/立ち絵は別キャラ)
シロワニさんのつくよみちゃんトークソフト(Google Colabで動作)
つくよみちゃんトークソフトの作り方(解説記事)
つくよみちゃんトークソフトのv.1.1.0へのアップデート(解説記事)
2021年6月に発表された最新の音声合成手法「VITS」を試す(解説記事)
COEIROINK:つくよみちゃん(テキスト読み上げソフトウェア/リンク集に解説記事あり)

■npaka様
NVIDIA/tacotron2 で日本語の音声合成を試す(解説記事シリーズ)

■おみや様
ご自分専用のボイスチェンジャー(1分の動画)

■にるる様
npaka様の記事を参考に作ったつくよみちゃんの合成音声(5秒の動画)

■こたの͏ᶴ᳝ᵀᴼᴹᴼᴷᴼᵀᴬᶴ᳝͏≪.O様:
『箱庭の街のなかで』(合成音声による動画作品/18:30~19:20にモブキャラとして登場)
②『【E:D】自家製音声合成実戦試験/表面着陸初体験【ソフトウェアトーク実況】【つくよみちゃん】(合成音声による動画作品)

■ヒホ(ヒロシバ)様:
キャラ声(アニメ声)への声質変換テスト(20秒の動画)

株式会社サーバーエージェント 吉本暁文様:
サイバーエージェントの音声研究開発の取り組み | CA BASE NEXT(01:00~音声技術デモ)
現在開発中の最新の音声技術の紹介(解説記事)

■ミルヒちゃん様
ニューラルネットで音声合成(4秒の動画)

■took様
FastSpeech2でつくよみちゃんを合成しました(3秒の音声)

■山本りゅういち / Ryuichi Yamamoto様
Tacotron 2 + Parallel WaveGANでのテスト(5文の読み上げ/詳細はこちら

■Sueoka-PPC様
AI_Subcommander(PCゲーム『Elite Dangerous』専用の読み上げソフト)

■霜島はるか様
はじめての音声変換(GAN)(8秒の動画)

■ハン様(大学院生、AI Engineer)
ESPnet TTS(Text-to-speech) model fine-tuned with Tsukuyomichan and jvs001 corpus. (Google Colaboratory Demo)(入力した文章を読み上げ/使い方/ハン様のWEBサイト
簡単に作れるTTSモデル:ESPnetを用いたつくよみちゃんTTSモデル作成(解説記事)

■黒猫大福様
つくよみちゃんコーパスVol.1を「TALQu PRO」でTALQu化(25秒の動画)
黒猫大福式つくよみちゃんTALQu(TALQu専用音響モデル配布)

■かんばやし様(ESPnet開発者)
TSUKUYOMI-CHAN RECIPE(学習スクリプト)
ESPnet2-TTS realtime demonstration(Google Colabで動作)
生成された音声のサンプル(14秒の音声)

■完全無欠天才美少女様
ぼくの声をつくよみちゃんボイスに変換1(5秒の動画)
ぼくの声をつくよみちゃんボイスに変換2(6秒の動画)
機械学習で女の子の声になろう(解説記事)
声質変換テスト(変換前 & 変換先は非学習データ)(1分の動画)

■天王洲アイル様:
VITSによる声質変換(48秒の動画)
②リアルタイムで自分の好きな声に変換できるボイスチェンジャー「MMVC」でつくよみちゃんの声に変換したサンプル

※以降、特筆すべき事項がない限りは、MMVCによる声質変換の事例は取り上げません。(件数が多くなりすぎるため)

■のほしお様:
ESPnetで音声合成(2分の動画)

■zassou様:
VITSでボイスチェンジャ―実装(1分の動画)
VITSで文章読み上げ(19秒の動画)
【機械学習】VITSでアニメ声へ変換できるボイスチェンジャー&読み上げ器を作った話(解説記事)

■城宮 斜塔様:
約4900エポック学習(4秒の音声)
約9900エポック学習(4秒の音声)

■杪夏 安祥様:
クッキー☆ファンAI LAB(ボイスチェンジャー&テキスト読み上げWEBアプリ/声優名「TKYM」として搭載)

■Project Beatrice様:
AIによる話し声の声質変換(36秒の動画)
AIによる歌声の声質変換(20秒の動画)
ボイチェンの改良を進めた(50秒の動画)
つくよみちゃん→ずんだもんの声質変換(23秒の動画)
Beatrice つくよみちゃんエディション(声質変換ソフト)

■のうのう様:
韓国語の音声を日本語に変換(7秒の動画)※詳細

■Cloned Body様:
tacotron2とtalking-head-animeで動いて喋るつくよみちゃん(3秒の動画)

■みーちゃ様:
MMVCで音声合成(声質変換ではない)(7秒の動画)

■HRdrone様:
Tacotron2とHiFi-GANを使用した音声合成のテスト(3秒の動画)
入力したテキストを合成音声に変換(31秒の動画)

■wok!様:
VITSの実験 ESPnetを使ってファインチューニング(1分の動画)
MMVCのクライアントをso-vits-svcも使えるようにしてみた(1分の動画)
VC Client リアルタイムボイスチェンジャーつくよみちゃん(声質変換ソフト)

■Yちゃん様:
SHAREVOX(テキスト読み上げソフトウェア)

■見夢様(礼文華太郎様):
2032年の友人(ESPNet2とTransformerを用いた2分の動画/Live2D Creative Awards 2022 インタラクティブ作品賞)

■IrunaBara様:
つくよみちゃんコーパスとつくよみちゃんUTAU音源の声質をDiff-SVCで学習した歌声声質変換デモ(28秒の動画)
つくよみちゃんDIFF-SVC(Diff-SVCライブラリ配布/話声と歌声の声質変換デモあり)

■オリトイツキ様:
ストリーミング生成対応の声質変換(2分の動画)
HiFi-GANのfinetuneを回してみた(2分の動画)

■Koemake Project様(株式会社Scimit様):
開発中のリアルタイムAI音声変換のテスト(5秒の動画)
今回は少し長めに話してみました(18秒の動画)
電々メイちゃん紹介(15秒の動画)
Koemake RVC Player(声質変換ソフト)

■Alithm様:
sovits-svc 3 によるつくよみちゃんへの音声変換(1分の動画)

■経済的生活日誌様:
【丁寧解説】SO-VITS-SVC-v4をWindowsに導入しローカルで音声学習&合成する方法(解説記事)
従来の50倍速!「RVC」音声AIモデルをWebUIから学習を行い作成する方法 Windows用(解説記事)
革新的!音声モデル「VALL-E-X」WebUIをWindowsで動かす方法解説 実演付き(解説記事)

■inrash様:
so-vits-svcとつくよみちゃんで学習したデータで音読さんの音声を声質変換(3秒の動画)
so-vits-svc4.0とつくよみちゃんで学習したデータで音読さんの音声を声質変換(8秒の動画)

 ■yasyune様:
Retrieval-based-Voice-Conversion(RVC)で声質変換(11秒の動画)
RVCで黄琴まひろさんとつくよみちゃんを5:5でモデルマージ(14秒の動画)

■quadrant様:
so-vits-svc 4.0で「Synthesizer V 小春六花」の歌声をつくよみちゃんの声質に変換(ボーカル曲のカバー動画/歌1歌2歌3歌4歌5
上記の声質変換の手順(解説記事)

【追記】Synthesizer Vの使用許諾契約書に改定があり(2023年5月14日時点のアーカイブ2023年9月29日時点のアーカイブ)、 「(14)合成音声を、歌声合成や音声合成モデル、アルゴリズム、アプリケーション、または歌声や音声を生成するデータドリブンのワークフローの入力として使用する行為」という禁止事項が追加されました。本件に限らず、各素材・ツールの最新の利用規約をご確認ください。
※以降、特筆すべき事項がない限りは、so-vits-svc及びRVC(Retrieval-based-Voice-Conversion)による声質変換の事例は取り上げません。(件数が多くなりすぎるため)

■syoyo様:
ESPNet2 で日本語 TTS(Text-to-speech)するメモ(解説記事)
ESPNet2 TTS でつくよみちゃんが語ってくれる Streamlit app 作ったよ(1分の動画)
ESPnet2 + TTS GUI using Streamlit(Streamlitアプリ)
ESPnet2 TTS Streamlit GUI で autoplay とテキスト入力領域拡張したよ(36秒の動画)
VALL-E X + つくよみちゃん(9秒の動画)

■TylorShine様:
distilhubert-ft-japanese-50k("音声から話者によらない音声の要素を抽出する機能"部分の追加学習データ)

■nadare様:
VoRASの開発状況(→VoRASとは?
VoRASの開発をいったん中止するので、音声のデモを供養します(1分の動画)

■ゆうすけ様(Hen&Ai株式会社様)
ボイメク(テキスト読み上げWEBアプリ/ゆうすけ様による告知

■つくよみちゃんで音声合成様
Bert-VITS2で正しく喋れる学習データ数の下限を探す(検証動画)
Bert-VITS2事前学習モデルを作る(検証動画)

■offtoung様
ez-chat-llm(GitHub/テキスト読み上げ機能つき会話AIソフトウェア/Pythonから簡単に利用できる音声合成ライブラリ ezttsを含む
ローカルAIと会話するソフト ez-chat-llm を作りました(4分の動画)
ローカル環境で音声・立ち絵付きのAIと会話できるソフトウェア ez-chat-llm を作りました。(解説記事)

■よしかい様
Style-Bert-VITS2でつくよみちゃんコーパスを学習させ音声合成(13秒の動画)
Style-Bert-VITS2で英語を喋るつくよみちゃん(9秒の動画)
Style-Bert-VITS2でjvnv-F1のモデルとマージしたつくよみちゃん(17秒の動画)
Style-Bert-VITS2でモデルをマージすることで声質はそのままに抑揚等を変えられるか検証(15秒の動画)
つくよみちゃんコーパスで学習して感情豊かな音声合成[TTS]をしてみる by Style-Bert-VITS2(解説記事)
GPT-SoVITSを検証 1個の音声ファイルでゼロショットTTSを試す(25秒の動画)
Style-Bert-VITS2でつくよみちゃんの音声合成モデルに九州そら ささやき 感情100の音声合成モデルをマージ(8秒の動画)声質を0-1の間で0.2ずつ変化(16秒の動画)
GPT-SoVITS ゼロショットTTSで日本語→中国語、英語(35秒の動画)
GPT-SoVITSのファインチューニング(Few Shot TTS)の検証(25秒の動画)

■july1997様
Vall-E-X を FineTuning(5秒の動画)

■ようさん様
StyleBertVITS2で学習を行ったモデルを公開(5秒の動画)
つくよみちゃんコーパス 学習モデル for StyleBertVITS2(音響モデル配布)
つくよみちゃんコーパスのみでBertVITS2の事前学習モデルを作ってみた(4秒の動画)
つくよみちゃんコーパスのみで200k step学習したもの(3秒の動画)
StyleBertVITS2向けの事前学習モデル ver1(音響モデル配布)
Style-Bert-VITS2の事前学習モデルを独自データで作成する(解説記事)
StyleBertVITS2向けの事前学習モデル ver2(音響モデル配布/追加学習の実例

■松xR様
GPT-SoVITS2 Zero-shotは7秒音声を与えるだけでここまでできる(10秒の動画)

■スタアキメラ様
Ubuntu 22.04 CPUのみ仮想マシンでGPT-SoVITS日本語、動きました(1分の動画)

■まらお様
Style-Bert-VITS2 ver 2.0(29秒の動画)

■まろっく【Malloc Free】様
「つくよみちゃんコーパス」を学習させたStyle-Bert-VITS2でテキストtoスピーチしてみた(35秒の動画)

■あざい るぅか様
GPT-SoVITS 5秒の見本で声色生成 無料の日本語対応 音声AI をLinuxのCPUだけで遊ぶ方法(21分の動画)

スポンサーリンク
Rei Yumesaki

「つくよみちゃんプロジェクト」企画者の夢前黎(ゆめさき れい)と申します。

作曲、文芸、声優、漫画制作、アプリ開発、キャラクターデザインなど、幅広い活動を行うマルチクリエイターです!

Rei Yumesakiをフォローする
スポンサーリンク
スポンサーリンク
つくよみちゃん公式サイト
タイトルとURLをコピーしました