v.1.2.0へのアップデートに関して つくよみちゃんトークソフトのv.1.2.0をリリースしました。下記のリンクより体験することができます。 https://shirowanisan.com/tyc-talksoft デモ音声はこちらです。 「シロワニさんのつくよみちゃんトークソフト」をバー…
今回やったこと 最新の音声合成手法「VITS」を用いて日本語音声合成を試してみました。 VITSとは VITSは2021年6月に発表された音声合成の手法です。論文はこちら。 [2106.06103] Conditional Variational Autoencoder with Adversarial Learning for End-to-…
v.1.1.0へのアップデートに関して つくよみちゃんトークソフトのv.1.1.0をリリースしました。下記のリンクより体験することができます。 https://shirowanisan.com/tyc-talksoft デモ音声はこちらです。 「シロワニさんのつくよみちゃんトークソフト」をバー…
はじめに 私はアニメ風なトークソフトの実現を目指し、いくつか自作しました。そのときに感じた、音声データの良し悪しに関して記述しようと思います。ここで話すトークソフトはディープニューラルネットワーク型（Tacotron2など）を想定して話しているので…
はじめに 先日公開した「シロワニさんのつくよみちゃんトークソフト」の作り方を記述します。 「シロワニさんのつくよみちゃんトークソフト」に関してはこちら。 shirowanisan.com こちらの作り方は、初回公開時（version.1.0.0）のものとなります。今後、違…
自作トークソフトの公開 このたび、自作AIトークソフトを公開してみようと思い、「つくよみちゃんプロジェクト」企画者の夢前黎様にご協力いただき、ついに公開することができました。 以下のページで公開しているので、みなさんよろしくお願いします。 http…
はじめに 以下で紹介した美少女合成音声の音質改善方法について記述にしようと思います。 shirowanisan.com ノイズに関して イヤホンで聞かないとわかりにくいかもしれませんが、上記の記事で紹介した音声は、後ろで「キンキーン」というノイズが入っていま…
更新日時：2021/03/10 はじめに AI作成や機械学習を行なっていて、著作権周りがややこしすぎると感じたため、自分なりにまとめてみようと思いました。色々な人の参考になれば幸いですが、読み進める前に以下の注意事項を必ず読んでください。 筆者は法律の専…
はじめに pythonでwavファイルのサンプリング周波数を変換する方法を記述します。 必要なライブラリ 使うライブラリは「librosa」と「PySoundFile」なのでインストールします。 この記事は以下のバージョンでの実装を記述しています。 $ pip install librosa…
はじめに 近年の音声合成は以下のような構造をとることが多いです。 今まで私は主に音響モデル部分を中心に記事を書いてきました。 しかし意外と重要なのがこのテキスト処理部分です。今回はテキスト処理についてまとめていきます。 テキスト処理ライブラリp…
はじめに 以下のような、アニメ風の合成音声を自作する方法を記述します。 「今日はいい天気ですね。」 使った技術 今回はTacotron2という技術を使いました。Tacotron2に関しては以下で説明しています。 Tacotron2による音声合成を体験する - シロワニさんの…
はじめに NVIDIA社が公開しているTacotron2は英語モデルです。 そのため、今回は自分でTacotron2の日本語モデルを作ってみようと思いました。 そこで、前回は日本語のデータセットを準備し、0からTacotron2の学習を行ってみたのですが、データセット 、また…
はじめに NVIDIA社が公開しているTacotron2は英語モデルです。 そのため、今回は自分でTacotron2の日本語モデルを作ってみようと思いました。 ちなみに、先に言ってしまうと今回の設定は上手く行きませんでした。上手くいったパターンは以下の「Tacotron2を…
はじめに pythonでwavファイルのサンプリングビット数（量子化ビット数）を変換します。 簡単にできるかと思いきや、調べてもあまり見つからなかったので自分でもまとめておきます。 やり方 PySoundFileライブラリで実現できるようなので、インストールしま…
Tacotron2とは Tacotron2に関しては以下の記事で説明しています。 shirowanisan.com 目的 NVIDIA/tacotron2ソースコードの説明に従いモデルを作成し、NVIDIA提供モデルと同じモデルが作れるのかを明らかにする。 Tacotron2のクオリティに必要な学習数を明ら…
目次 UbuntuのインストールからGPUで機械学習をするまでに必要なことを記述します。流れは以下となっています。 WindowsでUbuntuインストールUSBメディアを作成 Ubuntuのインストール・初期設定 機械学習のためのGPUドライバ・CUDA・cuDNNの設定 pyenvによる…
Tacotron2とは Tacotron2はGoogle社が提案した「テキストから音声に変換するアルゴリズム」です。 論文発表は2017年。しかし、2020年11月現在でも、その生成音声は最高水準の品質です。 下記にその生成音声を載せておきます。肉声と違いがわからないかもしれ…