講義情報

理工学部　人間システム工学科・情報科学科　片寄晴弘

コンピュータ演習Ａ　１１(1年次春季） 担当　片寄晴弘

メディア工学基礎 (２年次春季） 担当　片寄 晴弘

講義参考資料（学内only)

講義目的

本講義科目はメディア系開講科目全体のガイダンスとしての役割を担っている．メディア情報を計算機上で表現・操作する際の起点ともいうべきモノの見え方、聞こえ方に関する基本的な事項，物理・心理・数学・プログラミングとの関係について解説を行う．CGと楽音合成の基礎，データ圧縮の原理等について説明する．

各回ごとの授業内容

　１. 　ガイダンス（領域概要、進路イメージ、学習すべきこと）
　２. 　トピックス紹介（メディア系研究テーマの最前線１）
　３. 　音と聴覚 資料（学内only）
　４. 　光と視覚 資料（学内only）
　５. 　振動の数理 資料（学内only）
　６. 　CGの数理１（モデリング） 資料（学内only）
　７. 　CGの数理２（レンダリング） 資料（学内only）
　８. 　メディア情報の計算機への入力 資料（学内only）
　９. 　メディア情報の計算機上での表現と操作 資料（学内only）
　10. 　メディア情報の圧縮技術（JPEG, MPEG) 資料（学内only）
　11. 　メディア情報の評価（心理学実験、生理計測）資料（学内only）
　12. 　トピックス紹介（メディア系研究テーマの最前線２）
　13. 　総復習（予備日）

授業方法：ビデオ，音素材，デモ等の電子教材を用いた座学形式の講義である．適宜，簡単な演習を課す．
教科書：特になし
参考文献：web上に講義資料（上記）を用意している。予習を行っておくことが望ましい．

成績評価：定期テストにより評価する（合格点６０点以上）
定期テスト中の問題の一部については，別途，講義中に課す特別課題（レポート）との選択を行えるようにする．

学生による授業評価の方法：授業中実施
準備学習等についての具体的な指示および他の科目との関連：
マルチメディア，コンテンツ・クリエーション系講義科目のガイダンス科目として開講されている．普段から，情報機器の仕組み，視聴覚の仕組みに興味を持つことを求める．

キーワード：マルチメディア，光と音の物理，データ表現，CG，楽音合成，心理学と評価

音楽情報処理（３年次春季） 担当　片寄 晴弘

講義目的

音楽情報処理の研究領域としては，音楽制作を支援するためのツール，セッションシステムや演奏ゲームなどのアミューズメント，音楽認知の計算モデリングなどがあげられる．本科目では，これら，音楽情報処理に関する研究動向を紹介するとともに，関連する信号処理，計算機技術，認知科学について適宜，解説する．

各回ごとの授業内容

　１. 　ガイダンス 講義資料
　２. 　音楽情報処理の歴史的概観と基本用語解説 講義資料
　３. 　聞いて学ぶ音楽用語 講義資料
　４. 　楽音合成方式 講義資料 資料２
　５. 　自動・作編曲システム 講義資料
　６. 　自動・作編曲システム２ 講義資料
　７. 　認知的音楽解析論概要 講義資料
　８. 　音楽音響信号の分析（概要，ピッチ推定） 講義資料
　９. 　音楽音響信号の分析（多重音の解析） 講義資料
　10. 　音楽音響信号の分析（音楽認識のためのパターン認識基礎） 講義資料
　11. 　インタラクティブ音楽システム 講義資料
　12. 　演奏における表情付け 講義資料
　13. 　まとめ

授業方法：ビデオ，音素材，デモ等の電子教材を用いた座学形式の科目として実施する．適宜，簡単な演習を課す．
教科書：長尾，宇津呂，島津，匂坂，井口，片寄：マルチメディア情報学4巻，文字と音の情報処理，岩波書店（1999）
参考文献：安西，草原，片寄，笹田，中津，黒川：マルチメディア情報学10巻，自己の表現，岩波書店（2000）
　　　　　石桁他：楽典，音楽之友社
　　　　　渡邊健一：音楽の正体，ヤマハミュージックコーポレーション (1995)

成績評価：定期テストの点数にレポート点を加える．合格点６０点以上．試験時，自筆ノート持ち込み有り．

学生による授業評価の方法：授業中実施
準備学習等についての具体的な指示および他の科目との関連：
音楽に関する基本的な用語知識は不可欠である．参考文献中の「楽典」あるいは「音楽の正体」の何れかに目を通しておくことを求める．情報科学のための確率・統計，メディア信号処理と音声情報処理の何れかを受講しておくことが望ましい．コンテンツ・テクノロジー演習の受講予定者のうち，音楽コンテンツ系の制作を希望する学生は必ずこの科目を受講しておくこと．

キーワード：音楽，コンピュータ，コンテンツ，感性，アート，デザイン

音楽情報処理実習（３年次春季） 担当　片寄 晴弘

講義目的

グラフィカルプログラミング環境 MAX/MSP/Jitter 用いて音楽情報処理の研究領域を理解するための演習を実施する．まず、MAX/MSP/Jitter を用いたプログラミングの概要について解説する．その上で，自由演習課題方式により，加算合成シンセサイザを基礎としたコンテンツ，ミニマルミュージック系の自動作曲システムを制作する．

各回ごとの授業内容

　１. 　MAX/MSP/Jitter 概要説明
　２. 　MAX/MSP/Jitter 基礎演習１
　３. 　MAX/MSP/Jitter 基礎演習２
　４. 　楽音合成基礎
　５. 　加算合成シンセサイザ
　６. 　自動作編曲システム基礎（ピッチ制御と乱数の利用）
　７. 　自動作編曲システム基礎（リズムパターンの生成）
　８. 　システム・作品制作
　９. 　システム・作品制作
　10. 　システム・作品制作
　11. 　システム・作品制作
　12. 　システム・作品制作
　13. 　講評

授業方法：MAX/MSP/Jitter を用いて、加算合成シンセサイザを基礎としたコンテンツ、ミニマルミュージック系の自動作曲システムの実装演習を行う。
教科書：
参考文献：ノイマンピアノ (著) ：2061:Maxオデッセイ

成績評価：制作したコンテンツとレポートによって採点する。

学生による授業評価の方法：授業中実施
準備学習等についての具体的な指示および他の科目との関連：
音楽情報処理の演習科目である．

キーワード：音楽，コンピュータ，コンテンツ，感性，アート，デザイン

映像音響システム領域実習Ａ２（３年次春季） 担当　片寄 晴弘

講義目的

4年次の卒業研究の準備を行う。まず、研究室での研究内容についてデモやビデオによって紹介する。
続いて、グループに分かれて、「ものづくり」「ことづくり」「心のはたらきの調査」の何れかに取り組み、その結果について発表する。その過程を通じて、卒業研究実施にあたって必要となるものの考え方、スキルを学ぶ。希望者については、個別に、卒業研究の前段階の研究テーマに取り組むことを認める。

各回ごとの授業内容

まず、研究室での研究内容についてデモやビデオによって紹介する。続いて、グループ（下記）のうち一つないしは二つに属して、「ものづくり」「ことづくり」「心のはたらきの調査」の何れかに取り組み、その結果について発表する。その過程を通じて、卒業研究実施にあたって必要となるものの考え方、スキルを学ぶ。希望者については、個別に、卒業研究の前段階の研究テーマに取り組むことを認める。

＜学校で教えないシステム開発チーム＞
代表者：戸谷直之
学校の授業や教科書通りのプログラミングは「プログラミングをしなければならない」という前提で話が進む場合がほとんどでであるが，「その結果何が得られるのか」「何故必要なのか」「何故こう書くのか」という点には触れられない．目的ありきのコーディングで言語やフレームワークに拘らず，プログラミングに共通する考え方やセンスの習得を目指す．

＜音楽を科学するチーム＞
代表者：馬場隆
音楽における「もの」とは「こと」とは「こころ」とは何だろうか．時に理論から，時にフィーリングから，時に実地経験からそれらを見直し，音楽を科学するとはどういうことか討論する．音大出身の馬場が中心となって理系とは少々異なった視点で音楽を探求します．

＜神田チーム＞
代表者：神田竜
Max 5やopenFrameworksに代表されるメディアプログラミング言語を用い，音や映像をインタラクティブに操作する手法を習得する．また，メンバー各自が今後の研究の種となるプロトタイプ作品を制作することを目指す．

＜ゲーム制作チーム＞
代表者：高橋良平
モノづくりでは、コンセプトの立案、アイディアの練り込み、実現力が必要になる．ゲーム制作を通じてモノづくりに必要な論理的思考，基本的なプログラミングスキルを習得する．

＜iOSチーム＞
代表者：高橋良平
iOS(iPhone,iPod touch,iPad)のデバイスを利用したアプリケーション開発を行う．iOSの機能を有効に活用するために必要なコーディングスキルの共有を目的として活動する．
※iOSデバイスは基本的に研究室にあるもの(iPad、第３世代iPod touch)ならレンタルできます．
※iOS開発のためにappleにてデベロッパ登録をしなければいけません．個人で登録するなら10800円かかります．

＜グラフィック制作チーム＞
代表者：岩野成利
ゲーム制作チームと協力してゲームを制作する．制作するゲームのコンセプトやプラットフォーム，ユーザ対象によって，必要なグラフィックは異なる．
そのゲームにおい最適なグラフィックは何であるのか，どのように制作すれば良いのか，感覚に加え，理論的にグラフィックを制作する．
（場合にによってはゲーム制作チーム以外のチームにもグラフィックを提供します。）
※グラフィック作成経験があることを前提として活動していきます（手描きのみでもOK）

＜脳機能計測チームチーム＞
代表者：神野将一
fNIRS を用い，脳機能計測の体験的実習を行う．身近なテーマを設定し，実験者，被験者の双方の立場から脳機能計測を体験するとともに，生理計測，実験計画法，データ解析の基礎を学ぶ．

＜Counter-Strike 関学代表チーム＞
代表者：楠本翔
2011年度よりスタートするCounter-Strike インカレの関学代表チームを結成し，優勝を目指す．

授業方法：ゼミ、および、自由演習方式で実施。７月末、もしくは８月に発表会を行う。
教科書：
参考文献：
成績評価：出席を含めた課題への取り組み、レポートならびに発表会でのプレゼンテーションによって評価する。
学生による授業評価の方法：授業中実施
準備学習等についての具体的な指示および他の科目との関連：
音楽情報処理実習、デザイン・コンテンツテクノロジー実習のいずれか、もしくは両方を履修していること, あるいは同時に履修することを求める。

キーワード：音楽情報処理、ヒューマン・コンピュータ・インタラクション、エンタテインメント・コンピューティグ、心理計測

コンテンツ・テクノロジー（３年次秋季） 担当　片寄 晴弘

講義目的

本講義科目では，情報処理技術者としてコンテンツ制作に携る際に必要となる知識の修得，コンテンツ制作プロセスの実際を理解することを目的とする．コンテンツの企画，絵コンテや状態遷移図，オーサリング，DTV， DTM，CG，各種メディアのハンドリング（データ形式，データ収集と編集）について学ぶ．

各回ごとの授業内容

第１週：
　ガイダンス，コンテンツプラニング，絵コンテ，状態遷移図の書き方と説明と演習
第２週：映像作品の解説とDTV演習
第３週：マルチメディアオーサリング環境 Director, Max/mspの基本操作と演習

第４週：制作計画の策定
第５週目〜第12週目：作品制作
第13週：講評

授業方法：本講義科目で扱う内容は制作系の技術である．体得的な理解を優先すべきとの考えから，コンテンツ・テクノロジー演習と完全に連携する形で，３コマ連続の時間枠を取って実施する．適宜，コンテンツクリエイタ，弁理士（著作権関連）を招聘し，専門家のお話を聞く機会を設ける．
教科書：安西，草原，片寄，笹田，中津，黒川：マルチメディア情報学10巻，自己の表現，岩波書店（2000）
金子 満：マルチメディアコンテンツの制作，CG-ARTS協会 (1998)
参考文献：Director に関する解説本（どれでも）Flashに関する解説本（どれでも）
ノイマンピアノ：「トランスMaxエクスプレス」リットーミュージック (2001)

成績評価：コンテンツ・テクノロジー演習への取り組みと実施レベル，授業中に課す数回のレポート，提出成果物の最終レポートによって，評定する．

学生による授業評価の方法：ネット利用
準備学習等についての具体的な指示および他の科目との関連：
本科目の受講者はコンテンツ・テクノロジー演習の受講者に限られる．
音楽コンテンツ系の制作を希望する学生は「音楽情報処理」，CGを使ったコンテンツの制作を希望するものは，「コンピュータ・グラフィックス演習」を受講しておくこと．

キーワード：マルチメディア，コンテンツ制作，CG，音楽，オーサリング

デザインコンテンツ・テクノロジー実習（旧コンテンツ・テクノロジー演習　３年時秋季） 担当　 平野砂 峰旅 片寄 晴弘

講評2011年度（学内オンリー）
講評2010年度（学内オンリー）
講評2008年度（学内オンリー）
講評2007年度（学内オンリー）
講評2006年度（学内オンリー）
講評2005年度（学内オンリー）
講評2004年度（学内オンリー）

講義目的

本講義科目では，情報処理技術者としてコンテンツ制作に携る際に必要となる知識の修得，コンテンツ制作プロセスの実際を理解することを目的とする．Director, Max/msp，Premiere の何れかを使い，自身の企画に基づいて，実際にコンテンツを制作する．

各回ごとの授業内容

第１週：
　ガイダンス，コンテンツプラニング，絵コンテ，状態遷移図の書き方の説明と演習
第２週：映像作品の解説とDTV演習
第３週：マルチメディアオーサリング環境 Director, Max/mspの基本操作と演習

第４週：制作計画の策定
第５週目〜第12週目：作品制作
第13週：講評

授業方法：コンテンツ・テクノロジーと完全に連携する形で，３コマ連続の時間枠を取って実施する．第4週目以降，個人ないしはグループでの企画に基づきコンテンツの制作を行う．
教科書：安西，草原，片寄，笹田，中津，黒川：マルチメディア情報学10巻，自己の表現，岩波書店（2000）
金子 満：マルチメディアコンテンツの制作，CG-ARTS協会 (1998)
参考文献：Director に関する解説本（どれでも）
ノイマンピアノ：「トランスMaxエクスプレス」リットーミュージック (2001)

成績評価：制作したコンテンツを対象に，技術点・プレゼンテーション点の二つの合計で採点する．

学生による授業評価の方法：ネット利用
準備学習等についての具体的な指示および他の科目との関連：
マシンの台数の制約上，受講者数の制限を行う．前もって受講希望者を調査した上で受講希望者数が上回る場合は，コンテンツの企画書によって，選抜する．
音楽コンテンツ系の制作を希望する学生は「音楽情報処理実習」，CGを使ったコンテンツの制作を希望するものは，「コンピュータ・グラフィックス実習」を受講しておくこと．

キーワード：マルチメディア，コンテンツ制作，CG，音楽，オーサリング

映像音響システム領域実習B２（３年次秋季） 担当　片寄 晴弘

講義目的

4年次の卒業研究の準備を行う。グループに分かれて、「ものづくり」「ことづくり」「心のはたらきの調査」の何れかに取り組み、その結果について発表する。その過程を通じて、卒業研究実施するにあたって必要となるものの考え方、スキルを身につける。

各回ごとの授業内容

まず、研究室での研究内容についてデモやビデオによって紹介する。続いて、グループ（下記）のうち最低一つないしは二つに属して、「ものづくり」「ことづくり」「心のはたらきの調査」の何れかに取り組み、その結果について発表する。その過程を通じて、卒業研究実施にあたって必要となるものの考え方、スキルを学ぶ。希望者については、個別に、卒業研究の前段階の研究テーマに取り組むことを認める。

＜学校で教えないシステム開発チーム＞
代表者：戸谷直之
学校の授業や教科書通りのプログラミングは「プログラミングをしなければならない」という前提で話が進む場合がほとんどでであるが，「その結果何が得られるのか」「何故必要なのか」「何故こう書くのか」という点には触れられない．目的ありきのコーディングで言語やフレームワークに拘らず，プログラミングに共通する考え方やセンスの習得を目指す．

＜音楽を科学するチームチーム＞
代表者：馬場隆
音楽における「もの」とは「こと」とは「こころ」とは何だろうか．時に理論から，時にフィーリングから，時に実地経験からそれらを見直し，音楽を科学するとはどういうことか討論する．音大出身の馬場が中心となって理系とは少々異なった視点で音楽を探求します．

＜神田チーム＞
代表者：神田竜
Max 5やopenFrameworksに代表されるメディアプログラミング言語を用い，音や映像をインタラクティブに操作する手法を習得する．また，メンバー各自が今後の研究の種となるプロトタイプ作品を制作することを目指す．

＜ゲーム制作チーム＞
代表者：高橋良平
モノづくりでは、コンセプトの立案、アイディアの練り込み、実現力が必要になる．ゲーム制作を通じてモノづくりに必要な論理的思考，基本的なプログラミングスキルを習得する．

＜iOSチーム＞
代表者：高橋良平
iOS(iPhone,iPod touch,iPad)のデバイスを利用したアプリケーション開発を行う．iOSの機能を有効に活用するために必要なコーディングスキルの共有を目的として活動する．
※iOSデバイスは基本的に研究室にあるもの(iPad、第３世代iPod touch)ならレンタルできます．
※iOS開発のためにappleにてデベロッパ登録をしなければいけません．個人で登録するなら10800円かかります．

＜グラフィック制作チーム＞
代表者：岩野成利
ゲーム制作チームと協力してゲームを制作する．制作するゲームのコンセプトやプラットフォーム，ユーザ対象によって，必要なグラフィックは異なる．
そのゲームにおい最適なグラフィックは何であるのか，どのように制作すれば良いのか，感覚に加え，理論的にグラフィックを制作する．
（場合にによってはゲーム制作チーム以外のチームにもグラフィックを提供します。）
※グラフィック作成経験があることを前提として活動していきます（手描きのみでもOK）

＜脳機能計測チームチーム＞
代表者：神野将一
fNIRS を用い，脳機能計測の体験的実習を行う．身近なテーマを設定し，実験者，被験者の双方の立場から脳機能計測を体験するとともに，生理計測，実験計画法，データ解析の基礎を学ぶ．

＜Counter-Strike 関学代表チーム＞
代表者：楠本翔
2011年度よりスタートするCounter-Strike インカレの関学代表チームを結成し，優勝を目指す．

授業方法：ゼミ、および、自由演習方式で実施。12月末に発表会を行う。
教科書：
参考文献：
成績評価：出席を含めた課題への取り組み、レポートならびに発表会でのプレゼンテーションによって評価する。
学生による授業評価の方法：授業中実施
準備学習等についての具体的な指示および他の科目との関連：
音楽情報処理実習、デザイン・コンテンツテクノロジー実習のいずれか、もしくは両方を履修していること, あるいは同時に履修することを求める。

キーワード：音楽情報処理、ヒューマン・コンピュータ・インタラクション、エンタテインメント・コンピューティグ、心理計測

外国書講読（4年次） 担当　片寄 晴弘

　音楽情報科学，ヒューマンコンピュータインタラクション等の国際会議で発表された最新の論文を講読する．その研究の背景や関連事項についても調べた上で，プレゼンテーション形式で発表を行う．英語の読解力，情報の収集力，発表技術を養成する．

輪講（4年次） 担当　片寄 晴弘

　研究を実施するうえで不可欠な科学技術（情報科学，プログラミング，信号処理，人工知能，認知科学，音楽，その他）の書籍を選定し，講読する．

卒業実験及び演習（4年次）担当　片寄 晴弘

音楽情報処理（音楽情報科学），インラタクィブメディアコンテンツ（ゲーム・アート）の制作，エンタテインメントデザインの評価を中心課題とする．教員側からテーマを提示することを基本とするが，学生側から主体的な計画を提出してもらい，その計画の実行可能性が認められた場合は，そのテーマの実施を認める．
　（研究の進め方）（参考論文　Digra2009，OR2009，IPSJ2003）

特別実験及び演習（院博前） 担当　片寄 晴弘

音楽情報処理（音楽情報科学），インラタクィブメディアコンテンツ（ゲーム・アート），脳機能計測に基づく認知情報処理の何れか，または，これらの複合領域に関する研究を行う．教員側からテーマを提示することを基本とするが，学生起案テーマを募集し，その実行可能性が認められた場合はそちらを優先させる．研究の実践能力とコミュニケーションスキルを修得することを目標とする．CREST（略称：デジタルメディア領域）「音楽デザイングループ」他，他組織とのコラボレーションを重視する．論文講読，プレゼンテーション演習，学会発表を課す．

特別研究（院博後） 担当　片寄 晴弘

音楽情報処理（音楽情報科学），インラタクィブメディアコンテンツ（ゲーム・アート），脳機能計測に基づく認知情報処理の何れか，または，これらの複合領域に関する研究を行う． CREST（略称：デジタルメディア領域）「音楽デザイングループ」他，他組織とのコラボレーションにおける中核的なプロジェクトを担当する．研究の実践能力に加え，広い視野と自由な発想に基づくテーマ提案能力，研究マネージメントスキルを修得することを目標とする．

インタラクション科学特論（理工学研究科科目）担当　片寄 晴弘

現在の計算機技術の最も重要な応用領域の一つにマルチメディアを活用した人間とコンピュータの対話技術 Human Computer Interaction (HCI) がある。 本科目では、リアルタイム画像処理、音楽情報処理、コンピュータ・グラフィックス、インタラクティブ・アート、シミュレーション技術、マルチメディア表現などHCI 領域の最新の研究動向を紹介する。 また、受講者に対しても当該領域の優れた研究のグループ調査を課し、テーマの設定と研究実施計画に関する洞察力を涵養する。

資料集

心理学特殊研究　１（文学研究科科目） 担当　片寄 晴弘

情報科学領域における「心」に関する取り組みである「認知情報処理」を対象とする．ヒトが普段，特に気にも留めずにできていることでもあっても，それ を計算機上で実現することは簡単なことではない．むしろ，簡単なことほど難 しいともいえる．前半では，パターン認識，仮説推論，を題材として，その問題について考究する．後半は，ミンスキーのエモーションマシン（web上の著述）を題材として， ゼミ形式で，ディスカッションを行う．理解に必要となる計算機科学の基礎的 な考え方については，適宜，言及するが，学部情報科学科２年次修了レベルの 用語知識（例えば，坂村　健【著】：痛快！コンピュータ学，集英社）を有し ていることを前提とする．