|
|
|
|
iFP |
|
|
|
|
|
◇演奏表情テンプレートを利用した拍打型演奏インタフェース (3/3)
|
|
|
|
|
|
1 2 3 |
|
|
|
|
|
◆ビジュアライゼーション
Fig.7 演奏表情の表示例
iFPでは，演奏表情をビジュアライゼーションとして表示している．この例では上の列から
1)テンポ，
2)音量，
3)拍内表情レベルの操作項目の平均値，
4)発音時刻のdeviation，
5)継続時間のdeviation，
6)音量差の値
を表示しており，
濃い赤色の球体が演奏として実際に出力された演奏表情を表示したもので，薄い水色の球体は以降の演奏表情を先行表示したものである（先行表示を行う球体は，その拍が現在演奏中の拍の2拍先になった時点から薄く表示され，その拍の演奏が近づくにつれて少しずつ濃くなっていく）．薄いピンク色の球体はこれらから補間した現在の演奏表情である．また，拍打による操作を行う場合，拍打レベルの2つの操作項目については，白い球体が拍打によって与えられた値を表示する．
ビジュアライゼーションは，演奏と一体化したものとして実装しており，使用者が演奏表情テンプレートの演奏意図を把握し，自身とのインタラクションを図ることを可能とした．
Fig.8 2次元表示の例（横軸：テンポ／縦軸：音量）
Fig.9 ショパン「Op.64 No.2 Waltz」(3〜4小節)
Fig.8は，音大ピアノ科卒の2名によるショパンのOp.64 No.2の3小節目から4小節（Fig.9）を，自走モード（ユーザが拍打による操作を行わずに演奏が進行するモード）で，シーケンサとして再生したテンポと音量の軌跡である．数字は，演奏箇所ごとに対応している．演奏者の演奏表情の違いにより軌跡が大きく異なっていることが見てとれる．
Fig.8では，テンポと音量を2次元にまとめて表示している．これにより，出力された演奏の軌跡のビジュアライゼーションを行い，その概形から演奏表情の特徴を見てとることが可能となる．この軌跡は，出力された演奏の履歴と以降の演奏の予想とから，ベジェ曲線で補間したものである．
Fig.10 3次元表示の例
iFPでは，演奏表情を3次元で表示することも可能である．この例では，テンポ／音量／拍内表情レベルの操作項目の平均値の3つをマッピングしている，
◆生理指標を用いた評価
Fig.11 音楽聴取，演奏システム使用時の脳内活動の計測
NIRSを用いて前頭前野背側部(Fz)部の脳血流を観測した結果．一般に，没頭・集中時に，Fz部におけるoxyヘモグロビン(図中：赤線表示)が減少すると言われている．上図は，iFPの操作に慣れた音楽経験者が，「星に願いを」を，a)聞き流した場合，b)弾いているつもりで音楽を聴いた場合，c)iFPを用いて プレイ（演奏モデルあり，指揮インタフェースの利用）した場合，の計測結果である．d)は，単に手振りをした際の計測結果である．気持ち良さの内観と一致する結果が得られている．
|
|
|
iFP < (3/3) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
◇資料 |
|
|
|
|
|
|
|
|
◆論文
研究に関する論文，研究会発表の一覧です．
◆sfp
sfpのサンプル版sfpSSEがダウンロード可能です．
（iFPのサブセット）
「星に願いを」の「演奏表情あり」／「演奏表情なし」の弾きくらべが可能です．
◆iFP
iFPのサンプル版がダウンロード可能です．
ショパンの「Op.64 No.2 waltz」の2演奏事例のモーフィング，および演奏表情のビジュアライゼーションが可能です．
|
|
|
|
|
|
|
|
|
