コンテンツクリエーション＆デザイングループ

本研究グループではデザイン支援における Directability の探求と，
 Interaction を趣旨としたメディアコンテンツ，アプリケーション開発に取り 組んでいます．

■指一本による演奏インタフェース　iFP


「予感研究所」＠日本科学未来館
（2006/5/3-7）
オーケストラの指揮者のように腕を振ったり身体を動かしたりして，演奏を行います．腕の振りの検出には電子楽器「テルミン」の静電容量センサーが使われています．腕を振る早さや大きさで演奏のテンポや強さを調節でき，実際に演奏しているのは有名なピアニストの曲でも，まるで自分が楽器を奏でているような気分になります．楽器が弾けない人も演奏表現の世界を味わってみてください．
 [ >> 詳細 ] [ ダウンロード ]

■フレーズ表現と複数旋律音楽のための
　演奏表情付けシステム jPop-E

jPop-E GUI

「良い」「かっこいい」「情緒豊かな」演奏をするには、楽器を弾く技術だけではなく、音楽の構造（フレーズ）に合わせた音量・テンポの表現のコントロールが欠かせません。jPop-Eでは、それらの制御を、画面のスライダを動かすことで行います。ピアノ曲や合奏曲など複数の声部からなる楽曲に対しては、声部ごとに演奏表情をつけることができます。音量・テンポのコントロールに関するフレーズ表現をじっくり考えるのに最適で、ユーザの演奏デザイン支援、音楽(演奏)教育への応用が期待されています。
[ >> 詳細 ] [ 担当：橋田 ]

■Crossing Colorful Communications (C.C.C.)

c3pic

C.C.C.は，音によるコミュニケーションから，色彩豊かな映像を生成することで，参加者間の交流を促進させることを目的としたコンテンツです．この体験を通して，参加者間の交友関係に進展があれば，作者としては幸いです．
[紹介movie] [担当：小岩]

■身体動作入力を用いたインタラクションシステムの構築

従来の入力インタフェースはキーボード、マウス、ゲームパッドのように手先の動きを用いてきた。しかし、Wii(任天堂)の登場により仮想空間内でのユーザの動きを捉えることが可能となり、身体全体を動かすことで直感的な表現を行い、能動的な参加が見込まれている。そこでWiiリモコンを用いたジェスチャ学習・認識インタフェースの開発を本研究の目的とし、システムを利用しあアプリケーション開発を現在行っている。

「Wiiリモコンを用いたジェスチャ認識のためのユーザインタフェースの構築」(橋本)
「Wiiリモコンを用いた共創インタラクション」(白井)

  • Max/MSP/Jitterによる認識アプリケーションの作成
  • ジェスチャ認識のためのHMMの検討
  • Max/MSP/Jitterによるグラフィック・効果音制作

■AR環境で動作する戦略型カードゲーム

市販ゲームやAR系ゲームにおいては，学習機構によるCPUの戦略獲得は実現されておらず，CPUの人間らしさというリアリティの検討がなされていない．本研究では，戦略型カードゲームを題材として，戦略学習に適した学習手法の検討を行った上で，人間らしい戦略の獲得を目指す．さらに，プレイヤがAR環境において操作することができるようなシステム構成にすることで，ゲームへの感情移入の向上を図る．
[担当：藤井・中川・猪目]

■桜華乱舞

桜華乱舞は，風で桜が舞い踊る日本の春をモチーフにしたインタラクティブアートである．日本らしさをテーマに，日本舞踊でよく使われる扇子をユーザインタフェースに用いて， 日本の国花である桜を操る．また，扇子を複数用いて，それらの動きの同期に対するエフェクトを盛り込む．そうすることによって，多人数で舞踊のコラボレーションを促すことになる．
 [ >> 詳細 ] [ 担当：小岩 ]

■動きの緩急をコントローラとするインタラクティブゲーム
　「風林火山」


ゲーム画面

ビデオフレーム間差分によってプレイヤの動きの緩急と方向をとらえ，その情報に基づいて動作する複合現実空間プレイヤ投影型のスパイ風ゲームである．「風林火山」はプレイヤが敵に気付かれないようにゆっくりと敵に近づいた時に攻撃が可能である．逆に，大きく（速く）動いて，気付かれてしまった場合，敵に追尾され，攻撃を受ける．シンプルなコンセプトを実現したゲームであるが，実際に動き回ってゲームに参加することによる緊張感・臨場感はことのほか高いと考えられる． 　
 [ >> 詳細 ] [ 担当：藤井 ]

■Pos-IA

インタラクティブアート作成における生産性の向上，エンジニア以外の表現者がインタラクティブアートの領域に関する参入という意味で最も中核となる技術はオーサリングツールの開発と言っても過言ではない．このような理由により本研究の目的を, 高度なプログラ ミング技術を有し ていない表現者のためのインタラクティブアートの制作・実施環境のシステム開発とする．システム名をPOS-IA (Produce Operate System for Interactive Art) として、高度なプログラム技術を有していない表現者の意図を最大限に汲み取れるシステム開発を目指した. Max/MSP/jitter の システムの拡張性とQuartz Composer の映像作品を簡単に制作, 修正できるといった点を考えこの二つのアプリケーションを用いた. インタフェースはMax/ MSP/Jitter によって, 直感的な操作が行えるよう実装を行った. 今後はシステム処理速度向上とインターフェイスの改良を行う。
 [ 担当：白井 ]

これまでの成果・発表資料など

受賞
  • ACE2007 デモンストレーション賞
    　　　小岩亮太： Crossing Colorful Communications
  • IVRC2006（個人部門） 未来観客賞受賞
    　　　小岩亮太： Crossing Colorful Communications
学会発表
  1. EC2006（ポスター発表）　2006/09/15-17，日本科学未来館（東京）
    • 白井克明：影とのインタラクティブシステム「景封歩影」
    • 橋田光代：複数旋律音楽のための演奏支援インタフェース iPop-E
  2. インタラクティブ東京2006（デモ展示）　2006/09/15-17，日本科学未来館（東京）
    • 福岡浩行：演奏インタフェース　iFP 2

ほか

  

最新情報

  • 2007/9/12-14 New!
    ACII 2007 デモ発表
    （橋田，jPop-E）
  • 2008/8/25-29 Coming!
     ICMPC-Rencon
    演奏表情付けコンテスト

研究テーマ

  • Crossing Colorful Communications（小岩）
  • 景封歩影（白井）
  • 風林火山（藤井）
  • Aqua（小岩）
  • 桜華乱舞（小岩）
  • Wii を用いたジェスチャ認識ゲーム（白井・橋本）
  • AR環境で動作する戦略型カードゲーム（藤井・中川・猪目）
  • ジェスチャ認識システム・センサ［〜2002］
  • 演奏表情付けシステム
  • TFP/sfp/iFP
  • Win iFP （福岡）
  • sfp
  • jPop-E（橋田）
  • itopul（伊藤）
  • 音楽解釈システム MIS (英語)
  • 認知モデル
  • ゲームキャラクタの感情モデル（藤井）
  • 複数旋律音楽のための演奏表現モデル Pop-E（橋田）
  • 音楽グループの聴取モデル（橋田）
  • データベース
  • 演奏表情 deviation DB
    正規化した演奏に対する，情緒を含んだ演奏のずれ情報が記述されたデータベースです．4Ru で deviation 情報の可視化，演奏，他のファイル形式への変換ができます．
  • CrestMusePEDB
    （音楽演奏表情DB）
     名演奏家らの演奏からdeviation情報を抽出，推定される音楽構造と合わせて演奏の"意図"をデータベース化するプロジェクトです．

関連プロジェクト

グループメンバー

  • 橋田光代（PD）
  • 伊藤洋介（M2）
  • 小岩亮太（M2）
  • 白井克明（M2）
  • 藤井叙人（M1）
  • 橋本裕輔（B4）
  • 猪目博也（B3）
  • 中川悟（B3）

 
   

　

Contact