研究トピックス
CG関係
研究室紹介ビデオ
　 □モーションキャプチャを用いたピアノ演奏動作のCG表現
　 □情報統合システム Virtual-Kobe Sanda Campus
　 □仮想空間におけるヒューマンモーションの特徴強調と合成
　 □任意光源色下のIBRを用いたVR空間におけるオブジェクトの色変換
　 □異方性透過特性の計測と織布の質感表現
　 □GPUを用いたリアルタイムCGによる質感表現
音楽関係
　 □ベイジアンネットワークを用いたコード・ヴォイシング推定システム
　 □アーティストの個性を表す音楽的特徴の抽出と転写
脳・心理関係
　 □主観・客観年齢推定システムの提案                画像をクリックするとご覧いただけます↑
　 □音声を用いた主観年齢システム     この映像をご覧頂くにはapple社 Quick Time が必要です.
　 □音楽と映像のインタラクション          ダウンロードページはこちらをクリックして下さい.
　 □脳活動計測におけるCM挿入タイミングが心的状態に及ぼす影響 　
　 □ゲーム場面の構成要素と心的状態の関連性−プロ野球における球場観戦とテレビ観戦の比較− 　
　 □fMRIによる色聴現象の脳機能解析
　 □形状・色彩のイメージ分析によるマークデザイン支援
□仏像の顔における曲線の特徴分析　
　
　 モーションキャプチャを用いたピアノ演奏動作のCG表現


画像をクリックすると動画をご覧いただけます
(Windows Media Playerが必要)		 　
back to top ↑
　 情報統合システム Virtual-Kobe Sanda Campus


画像をクリックすると動画をご覧いただけます
(Windows Media Playerが必要)		 仮想空間と現実世界との一体感をだすためには，さまざまなインタラクションが必要です．また現実世界の情報を仮想空間内に反映させることにより有意義でエンターテイメント性の高いコンテンツを作成することが出来ます．本研究では，仮想空間で様々な情報を統合・表示させるシステム・V-KSCの開発を行っています．これは，3DＣＧで作られた仮想の神戸三田キャンパスをエージェントが案内してくれるシステムです．実時間に合わせた空の表示や，理工学部の玄関が閉まっていればVKSC内の玄関も閉まるというような実世界とVKSCオブジェクトのリンクが可能になります．また北村・川端研究室と共同でWeb情報統合・音声対話の研究も行っています．

国際会議発表：Kitamura, Y., Nagata, N., Ueno, M., & Nagamune, M. (2005). Toward Web Information Integration on 3D Virtual Space. In F. Kishino et al. (Eds.), ICEC2005, Lecture Notes in Computer Science 3711. 445-455, Springer-Verlag.

back to top ↑
　 仮想空間におけるヒューマンモーションの特徴強調と合成


画像をクリックすると動画をご覧いただけます
(Windows Media Playerが必要)		 3DCG 作成において，CG キャラクタを動作させるためにモーションキャプチャが利用されています．しかしキャプチャ環境に制約があり，時間やコストがかかる場合があります．そこで，取得したモーションデータを再利用し，編集や合成によって多様なモーションを生成する試みが行われています．本研究では、少数の基本モーションデータから多様なモーションデータを生成することを目的に，性別・年齢層といった属性ごとに得られる動作特徴を様々に強調するモーション生成手法を提案しています．今回の実験では、大学生・高齢者・幼児のそれぞれ男女計30の歩行データを用い、主成分分析によって、それぞれの動作特徴を抽出しました．その抽出結果を利用し、それぞれの動作特徴を自由に強調することが可能になりました．また，モーションデータを容易に編集できるエディタの開発を行っており、モーションデータを自然にループやコネクトさせたり、周期的なモーションの1周期分のモーションを抽出する機能などを作成しました．
back to top ↑
　 任意光源色下のIBRを用いたVR空間におけるオブジェクトの色変換
VR空間において，オブジェクトの色に光源色を反映させるためには，一般にはオブジェクトのスペクトル特性が既知でなければならないという点があります．しかしVR空間の物体表面にスペクトル特性を与えるのは情報量が膨大になるため現実的ではありません．そこで，本研究では分光特性が未知の物体に対して，光源色の変化を物体色に反映させる手法であるillumination color free-Image Based Rendering (icf-IBR）を利用し，VR空間内のオブジェクトの色変換を行います．icf-IBRにはデジタルカメラの感度特性と光源の分光分布が必要なため，デジタルカメラの分光感度特性の測定を行い，任意の時刻の空の色と太陽の分光分布をシミュレーションで算出をしました．この二つの情報を用いてVR空間のオブジェクトのテクスチャ画像の色変換を行います．これによりVR空間の景観画像のリアリティを高めることができます．
画像クリックで拡大
back to top ↑
　 異方性透過特性の計測と織布の質感表現


画像をクリックすると動画をご覧いただけます
(Windows Media Playerが必要)		 CG技術はコンピュータの発達に伴い、よりリアルな表現ができるようになりました．しかし、現状の3DCG制作においてリアルな質感表現へ近づけていくのは、クリエイタによる手作業であり、大きな手間や時間がかかってしまいます．本研究では，布素材に固有の光沢や質感を忠実に再現する技術の１つとして，織布の異方性透過散乱特性に着目し，異方性透過散乱分布関数（BTDF:Bidirectional Transmittance Distribution Function）を計測し，分布関数に基づき3DCG表現を行います．またBTDFの近似モデルを提案し，近似結果と計測値の比較を行い，その妥当性を示します．最終的にはカーテンをアニメーション化し，多様な布素材を様々な照明条件下で動かしたときの質感をリアルに表現するアニメーションカタログを制作することを目指しています（デジタルファッション株式会社との共同研究）．
back to top ↑
　 GPUを用いたリアルタイムCGによる質感表現

CGの描画にはオフラインとオンラインの２つがあります。映画等のオフラインレンダリングはより高品質，高精細な表現を追求し，ゲーム等オンラインレンダリングはリアルタイムかつインタラクティブな表現の実現をめざしてきました．近年のオフラインCGにおけるレンダリング技術の向上にともない，その技術のオンラインCGへの適用が求められてきています．しかし，１シーンに無限に時間を使えるオフラインCGとは違い，オンラインCGではCPUの性能という制限があるためレンダリング技術の導入は困難なものでした．そこでBRDFやBTDFのような高精細な質感をリアルタイムに表現するため，CPUの数倍〜数十倍の演算処理性能を持ちプログラマブルなGraphics Processing Unit (GPU)を利用することでオフラインCGの技術をオンラインCGに導入することを目標としています。
画像クリックで拡大
back to top ↑
　 ベイジアンネットワークを用いたコード・ヴォイシング推定システム


画像クリックで拡大		 現在，音楽理論を利用した数多くのシステムが構築されています．その中でも，本研究では即興演奏とジャズ音楽に着目し，コードネーム付き単旋律の楽曲にジャズらしいヴォイシングを付けるシステムの研究を行っています．ベイジアンネットワークという確率モデルを用いて、楽譜に書かれている音符やコードネームなどの情報からヴォイシングモデルを作成します．そのモデルを使い，新たな入力楽曲に対してヴォイシングを出力します．音楽理論に基づいたルールだけでなく，実際にある音楽から得られた知識を応用することで新しい音楽を作り出します．
　 アーティストの個性を表す音楽的特徴の抽出と転写
ある特定のアーティストらしさを楽曲中で表現できるかどうかは、作編曲の良し悪しを大きく左右します。そこで、アーティストの音楽的特徴を抽出し、その特徴を定量的に扱う手法を確立したいと考えています。本研究では特に、メロディー中に含まれる「アジア性」を客観的に測ることに重点を置いています。足がかりとして、音楽学者である小泉文夫が提唱した「テトラコルド」と呼ばれる日本民謡の基礎となる音階に着目し、現代のアーティストの楽曲中にどのようにテトラコルドが使われているかを分析します。このテトラコルドが出現するパターンによってアーティストをクラス分けすることで、アーティスト間の違いを明確に示すことができるのではないかと考えています。
　 音楽と映像のインタラクション


画像クリックで拡大		 音楽と映像がどのように影響しあっているかを分析することで、よりよいメディアコンテンツの制作が可能になります．テレビＣＭにおける色や音の要素の分析を約170種類のＣＭに関して行いました．音楽・映像それぞれにおいて、‡T軸が「激しい−落ち着いた」を表す軸、‡U軸が「日常的−高級感」を表す軸であるという結果が得られました．また色について、‡U軸方向に「ビビッドな色−モノトーン」が分布したり、音についても、I軸方向に音階（キー）が規則的に分布するなど、音楽や映像がCMのイメージと深く関わっていることもわかりました．これらの分析結果をもとにマルチメディア作品の創作支援システムの作成、ＣＭ採点ツールなどに応用展開していきます．

国際会議発表：Takashima, A., Hasegawa, N., & Nagata, N. (2005). Quality of Multimedia Contents−Interactions between Pictures and Music of TV Commercials−. Proc. 7th international Conference on Quality Control by Artificial Vision, 329-334.

back to top ↑
　 主観・客観年齢推定システムの提案
人は初対面の相手に対して年齢や性別を推定します．しかし，その年齢推定を誤ってしまい必要以上にへりくだってしまうという失敗を経験することがしばしばあると思います．本研究では，この失敗は年齢の推定を誤ったのではなく，比較する自分自身の年齢同定を誤ったのではないかという仮定をもとに，自分がイメージする自分自身の年齢を“主観年齢”と定義し，顔画像を用いた主観年齢推定方法を提案しました．実験結果によると，主観年齢は総じて実年齢より負方向に向かってシフトし，性差，年齢差があることがわかりました．さらに研究を進めることで，主観年齢によって人の社会的地位や心理的距離を表現できるようになると考えています．また平行して客観年齢の研究も進めています．

論文：宮本直幸, 陣内由美, 藤澤隆史, 長田典子, 井口征士 (2007). 顔画像を用いた自己の主観年齢の推定. 電子情報通信学会論文誌A, J90-A(3), 240-247.　pdf

国際会議発表：Miyamoto, N., Jinnouchi, Y., Nagata, N., & Inokuchi, S. (2005). Subjective Age Estimation System Using Facial Images−How old we feel compared to others−. 2005 IEEE International Conference on Systems, Man and Cybernetics Conference Proceedings, 964, 3449-3453.

　 音声を用いた主観年齢システム
人は初対面の相手に対して年齢や性別を推定し必要以上にへりくだるということがあると思います．しかし実際の年齢を知ると思っていたほど年上でなかったという経験があるのではないでしょうか．これは相手の年齢推定を誤ったのではなく，自分自身の年齢認識の誤りによるものではないかと仮定し，このときの自己イメージ年齢を”主観年齢”と定義します．これまでに，顔画像を用いた主観年齢は総じて実年齢より負方向にシフトすることがわかりました．本研究では音声を用いて主観年齢の推定研究を進めています．実験結果より音声を用いた場合，顔画像とは逆の結果，つまり主観年齢は実年齢より正方向にシフトすることがわかりました．現在、研究を進めることによりこの結果の要因の分析を進めています．
　 脳活動計測におけるCM挿入タイミングが心的状態に及ぼす影響


画像クリックで拡大		 テレビ番組視聴時において山場に挿入されるCMは山場が一段落してから挿入されるCMに比べて不快に感じるという人も多いかと思われます。これが視聴者の集中力を削ぐのではないかという悪影響が考えられることから、本研究ではCMの挿入タイミングが心的状態に及ぼす影響について生理指標を用いて検証することを目的としています。番組視聴時間内におけるNIRSによる脳活動を中心に、心拍・呼吸・皮膚電導・瞬目の計測を行い、CM挿入タイミングとそれに伴って引き起こされる視聴者の集中の高まりや不快などの感情の考察を行います。これによってCMの適切な挿入タイミングを訴え、生理指標を用いたコンテンツの評価につなげていくことが目標です。
　 ゲーム場面の構成要素と心的状態の関連性−プロ野球における球場観戦とテレビ観戦の比較−
スポーツを観戦する際に，球場・競技場などのスタジアムで観戦する場合と，TVを通じて観戦する場合とでは，自らが見渡すことができる範囲や，その場で味わうことのできる雰囲気なども含め大きく異なった要素を持っています．本研究では，プロ野球を球場で観戦する場合と，TVで観戦する場合では，それぞれどのような心的状態（興奮，落胆など）の変化が起こっているのかを考察しています．ポリグラフを用いて，被験者の心拍，呼吸の計測を行い，これより，観戦中の被験者の心的状態を同定する方法を確立します．さらに，「場」の違い（攻撃中or守備中，チャンスorピンチなど）が心的状態にどのように影響するのかについても評価を行っていきます．また，ゲーム状況の構成要素から心的状況に影響を及ぼす要因が何であるかを検討するために統計手法を用いて評価しています．
　 fMRIによる色聴現象の脳機能解析


画像クリックで拡大		 「音を聴くと，色が見える」という現象は色聴と呼ばれており，共感覚の一種です．こうした現象は，人間の知覚特性や感覚モダリティ間の関係を明らかにする上で重要な手がかりになると期待されます．本研究では，色聴保持者において音楽聴取時に実際に色知覚に関与している脳内領域で活動が生じているかをfMRIを用いて計測します．実験では，協力者に対して８種類の音楽の呈示を行いました．分析はSPM99を用いて行い，色知覚に関与するV4,V8,V4v,V4αの各領域において，色聴保持者のみ音楽の呈示時に有意な活動を確認することができました．このことは，色聴が聴覚系と視覚系の直接的な相互作用により生じていることを示唆しています．またこのときの活動部位は，これまでに知られていなかった新たなV4連合領域（V4,V8,V4v)であることが明らかになりました．（宝塚造形芸術大学井口征士教授，同志社大学杉尾武志専任講師と共同研究）．

国際会議発表：Takahashi, R., Fujisawa, T. X., Nagata, N., Sugio, T., & Inokuchi, S. (2007). An fMRI Study of Synesthesia - Brain activity in colored-hearing by listening to music -. Proc. 13th Annual Meeting of the Organization for Human Brain Mapping.　pdf

　 My Synesthesia Experience

　 形状・色彩のイメージ分析によるマークデザイン支援
企業のブランド戦略のひとつにロゴマークがあります．当然，ロゴマークが企業のイメージを表す媒体である以上，より的確な使い方が必要になってきます．そこで，本研究ではロゴマークから受ける企業のイメージについて，マークの形状や色彩などに焦点を当てて分析しています．被験者の方々に，「信頼できる-信頼できない」などの種々の企業イメージについて，形状・色彩それぞれについて7段階で評価してもらいます．それらのデータを3次元空間にマッピングすることで，各イメージを表す形状・色彩がどのようなものなのかを推定します．そして，その結果をもとにマークデザインを支援するツールの作成を目指しています．
　 仏像の顔における曲線の特徴分析
造仏活動は，紀元前1世紀頃のインドに始まり，その後アジア各地の多くの民族や王国に波及しました．それと同時に造形様式も各地・各民族の人種形態要素を反映し多様化していきました．例えば，タリム盆地付近で造られた仏像の顔はその土地に住む人の顔によく似ています．仏像の造形様式については，これまでも多くの研究がありましたが，それらは主観で受け止めた形状をベースにしたものでした．そこで，我々は新しい研究手法として仏像の造形様式を計量的に解析することを検討しています．本研究では，仏像の顔画像からその特徴曲線を抽出し，曲率半径変化を用いて仏像の顔の特徴分析を行います（株式会社 形相研究所と共同研究）．

国際会議発表：Tsuchiya, S., Fujisawa, T. X., Nagata, N., & Kobayashi, S. (2007). Feature Analysis of curves in Buddhist Statue Faces. Proc. 13th Korea-Japan Joint Workshop on Frontiers of Computer Vision (FCV2007), 69-72.　pdf


画像クリックで拡大
back to top ↑