2009年10月16日

ResamplerとSTRAIGHT

http://nwp8861.blog92.fc2.com/blog-entry-118.html

耳ロボP様がこちらの記事で触れていらっしゃいますが、
ResamplerやWavToolの処理をSTRAIGHTに投げられないかという話です。
結論としてはwavtoolとresamplerを分離しないなら可能です。つまり可能です。
ただ個人的にはやや実装するのは辛いかなと思っています。
実時間解析APIが使用可能になれば容易に実装できるようになるので、UTAUインターフェースに対応させるのならばそれを待つのが楽です。

STRAIGHTの合成を使用する際にネックになる部分が
・メモリ使用量が膨大
・解析に時間が非常にかかる
・合成に時間がかかる
の三点で、二点目がUTAUの動作を真似る際に厳しい点です。

 UTAUでは音程等を変えたWaveファイルを生成→クロスフェードで合成の順で、一度Waveファイルを生成する形になっています。これがSTRAIGHTを導入する際に非常にネックでして、Waveファイルを生成してしまうと再び解析するのにかなりの時間が必要になります。frqファイルを生成する手間と同じ以上の時間がSTRAIGHTの解析にもかかります。毎回それを行うことになるのでちょっと非現実的です。
 なので、wavtoolとresamplerの動作を肩代わりする場合どちらか片方だけ、ということは不可能に近いです。もちろん時間かけるのなら問題はないのですが、実際問題それでは作業にならないと思います。
 ということでもしSTRAIGHTを使ってUTAUインターフェースから合成可能な形を取るとするなら、あらかじめ音源セットに含まれるWaveファイルをSTRAIGHTで解析済みである、かつ、wavtoolとresamplerの動作を見た目だけ肩代わりして実際はその二つの機能は分割しない、ような形では実装可能かと思います。
 ただbatからの実行なのでオーバーラップにモーフィングを使用したいとなると、その部分のデータをキャッシュする必要があります。STRAIGHT音声データのビットレートは80Mbpsです、うわぁ。

 基本的には生成されたbatファイルが言うとおりにあーだこーだやればいいので出来なくはないと思うのですが、いかんせん僕自身がUTAUに慣れていないのでこればっかりは…やっぱり一時的にキャッシュにするのが一番辛いんじゃないかなぁ。読み込んで一気に合成する形がSTRAIGHTでは自然ですし。
 実のところv.Connectの開発を始めた時にUTAUコアの代わりとして実装するか少し悩みましたが、batファイル読んでもあんまりよく分からなかったのでVOCALOID的な動作になっています。僕自身がVOCALOIDユーザーなのが非常に大きいかも。
posted by HAL at 14:25| Comment(2) | 音声合成 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
はじめまして.
京都で合唱をしております,KWといいます.

2006年07月31日の記事のことに関して,お尋ね(お願い?)したいことがあり,ここにコメントさせていただきました.(違う場所で申し訳ありません.もうかなり昔の記事に対するものなので...)

詳しくはメールでお伝えしたいと思うので,上記のアドレスにメールをいただけませんでしょうか?(FreeAdressなのは,単なる迷惑メール対策です.)

厚かましいお願い申し訳ありません.よろしくお願いいたします.
Posted by KW at 2009年10月28日 17:26
合唱の日記ですね!
と言うわけでメール出しました。よろしくお願いします。
Posted by HAL at 2009年10月28日 21:09
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。