歌声を混ぜるインタフェース 「v.morish」

実行画面

v.morishは，2名の歌手の歌声を「声質」「歌い回し」に分離し，それらをリアルタイムで 混ぜ合わせることができるインタフェースです．たとえ楽曲の再生中であっても 自由に歌唱を操作できることが本インタフェースの特長です．

【緊急】ニコニコ動画や記事による紹介に関して(9月21日, 26日更新)

2008年9月20日にニコニコ動画へ投稿されたv.morishの動画は，関係者によるものではありません． これに伴い，我々のほうから正式に紹介動画及び解説動画をニコニコ動画へアップロードすることに決定しました． 動画は現在作成しているので，もう少しお待ちください．
9月26日追記
デモ1にタイトルやテロップを加えた紹介(＋簡単な解説)動画をニコニコ動画へ投稿しました．こちらからどうぞ． 同じ内容のムービーを本ページのデモコーナーにも追加しております．

v.morishのデモビデオ・音源

v.morishが備えている機能を紹介します．詳しくはデモをご覧ください．
  • デモ1は，プロ歌手と初音ミクの歌声を 混ぜ合わせて作り出した歌声です．左図の左下が人間(再生1回目)，右上が初音ミクで合成した歌声(再生2回目)です． 3回目は初音ミクの声質のまま，人間の歌い回しへ， 4回目は初音ミクから声質， 歌い回しの順で段階的に人間へ変化する様子を示しています．
  • デモ2は，時系列編集機能を用いてプロ歌手2名の歌声を混ぜ合わせる例です． 声質・歌い回しの比率を示す時系列を編集し， その時系列に基づいて再生する機能を用いて歌唱を操作する様子を示しています．
  • デモ3は，一般的に認知されている楽曲で，プロ歌手と初音ミクとの歌唱を 混ぜ合わせた音源です．さて，どのように聴こえるでしょうか？
    JASRAC許諾マーク
    JASRAC許諾第J080615584号
  • デモ4は，ニコニコ動画へ投稿したものと同一のものです． デモ1にタイトルやテロップを加えております．

歌唱を混ぜるための基礎技術STRAIGHTについて

　STRAIGHTは，音声を分析・変換・合成するための方式です． 元音声に匹敵する品質の音声が合成できることが大きな特長です． STRAIGHTを応用することで，歌声から声質・歌い回しを抽出し，得られた声質・歌い回しから歌唱を合成することができます． また，2歌手の特徴から中間的な特徴を作り出す「歌唱モーフィング」により，歌声を混ぜ合わせることができるようになりました． しかしながら，現在のSTRAIGHTでは，これらの処理を実時間で完了させることができません．
　そこで，v.morishは，様々な比率で混ぜ合わせた歌唱の波形を事前に用意し，フレーム単位で接続することで擬似的に操作できるようにしました． デモムービーではところどころノイズが入ったり変化に違和感があったりと感じることがありますが， これは波形接続とPCスペックの問題です． 計算速度に関する課題は，下記に示すライブラリを用いることで解決できる見通しです． 鼻声になっていたり音質が悪いのは，STRAIGHTとモーフィング技術の問題です． こちらは今後の研究で改善していきます．

v.morishの目的

　v.morishは，歌唱モーフィングを用いた歌唱表現の転写や声質変換を目的として設計されています． 歌唱モーフィングにより，歌唱表現を録音した自分の歌声に転写することが可能になります． 録音された歌声の加工という意味では，MelodyneやAuto-Tuneを連想する人も多いのではないでしょうか． 自分で歌った声を録音し「○○風な歌い方に」「声質をワイルドに」というボタンを押すだけで 歌唱特徴が転写できてしまう，そんな技術を作り出したいと思います．

アプリケーション開発者の皆様へ

　STRAIGHTに基づく音声分析・合成を容易に行うことができる C言語のライブラリを2008年中に配布する見込みです． STRAIGHTの技術的な資料も配布しようと考えています． ライブラリやSTRAIGHTに関する最新の情報はこちらに掲示します．

その他

v.morishは，CrestMuse Projectより支援を受け， 開発されました．
ご質問やお問い合わせは，森勢将雅(関西学院大学) morise [at] kwansei.ac.jpまでお願い致します．