活動状況：2019年度｜新学術領域研究多元質感知

2019年度

国際シンポジウム

新学術領域研究「多元質感知」国際シンポジウム

国際シンポジウム "Past, Present and Future of Shitsukan Science and Technologies" が開催されました。

日程：2019年12月5〜6日
場所：京都大学医学部創立百周年記念施設　芝蘭会館

ポスター(PDF)

プログラム

オーガナイザー

・多元質感知総括班
・間島慶 (京都大学)
・澤山正貴 (NTT)

招待講演者

Barry Richmond, NIMH (National Institute of Mental Health), USA

神経科学界の重鎮。視覚のカテゴリ化や価値への変換プロセスの神経回路・情報コーディングの先駆的な研究で有名。近年は分子・遺伝学的ツールを霊長類脳に適用するなど常に分野をリード。

Gabriel Kreiman, Harvard Medical School, USA

ヒトの頭蓋内に留置した電極を用いた視覚認知研究の第一人者。ビル・クリントン細胞、ジェニファー・アニストン細胞などの発見で有名。近年は、人工知能を利用した視覚計算メカニズムの研究に従事。

Bernd Bickel, IST Austria (Institute of Science and Technology Austria), Austria

デジタルファブリケーション分野のトップランナー。CG分野での貢献も大きく、人の顔のキャプチャシステム"Medusa"はStar Wars等の映画で広く利用され、今年アカデミー科学技術賞を受賞。

Wenzel Jakob, EPFL (École polytechnique fédérale de Lausanne), Switzerland

CG分野をけん引する若手研究者の一人．Mitsubaレンダラの開発者で，フォトリアルな画像生成の第一人者．CG分野への多大な貢献によりACM SIGGRAPHからSignificant Researcher awardを受賞．

Boxin Shi, Peking University, China

Physics-based vision（照明推定、反射解析、３次元形状復元等）からComputational Photography（超解像技術、depth cameraや画像センサの開発）まで、多岐に渡る研究成果を発表している注目の若手研究者。

Pascal Barla, Inria (Institut National de Recherche en Informatique et Automatique), France

ヒトの知覚に関連する質感制御理論を研究するCG研究者．CGを扱うユーザーが直感的に操作可能な物理世界の構成要素の解析を行うと同時に，その知見をヒトの質感認知科学へ応用した研究を行っている．

Charles Spence, Oxford Univesity, UK

食のクロスモーダル（感覚間相互作用）研究の第一人者。「多感覚フード」というコンセプトを、約1000本の論文や様々なメディアを通し世界に発信している。

Sylvia Pont, TUDelft (Technische Universiteit Delft), Netherlands

JJ Koenderink直系の視覚研究者。心理物理と映像工学と芸術を融合したユニークな研究で欧州の質感研究を牽引。

David Brainard, University of Pennsylvania, USA

視覚科学界の重鎮。物体の色や表面反射特性（質感）に関わる人間の視覚情報処理を、精緻な心理物理実験と計算モデリングで長年にわたり研究。

Lynette Jones, MIT (Massachusetts Institute of Technology), USA

触覚の心理学に関して幅広く研究．特に近年はウエアラブル触覚，温度感覚の錯覚及び提示手法に関する研究多．IEEE Transactions on Haptics Editor in Chief，IEEE Fellow．

2019年12月5日

9:00	Registration
9:50	Opening
10:00	Katsunori Okajima Modified food appearance modifies the taste
10:25	Charles Spence Gastrophysics: The Multisensory Science of Eating
11:05	Break
11:15	Maki Sakamoto Cross-modal Associations Between Shitsukan and Japanese Phonemes
11:40	Pascal Barla Material Qualities in the Eye of the Beholder
12:20	Lunch
13:30	Yoshinori Dobashi Visual Simulation of Shitsukan Using Computer Graphics
13:55	Wenzel Jakob Capturing, simulating, and differentiating light
14:35	Break
14:45	Imari Sato Spectral Signature Analysis of Real Scenes
15:10	Boxin Shi Data-driven Photometric 3D Modeling for Complex Reflectances
15:50	Poster
16:50	Daisuke Iwai Computational Projection Mapping for Optical Material Control
17:15	Bernd Bickel Computational Design for Physical Reproduction of Material Properties
17:55	Takayuki Okatani Toward visual recognition of Shitsukan concepts by multi-modal representation learning

2019年12月6日

9:30	Registration
10:00	Shin'ya Nishida Image features for human Shitsukan perception
10:25	David Brainard Measurement and modeling of the use of color and material in naturalistic tasks
11:05	Break
11:15	Hiroyuki Kajimoto Measurement and Reproduction of Finger Skin Deformation
11:40	Lynette Jones Capturing Multisensory Interactions in Cutaneous Displays
12:20	Lunch
13:30	Hidehiko Komatsu Neural representation of materials in visual cortex
13:55	Sylvia Pont Light, science and art
14:35	Break
14:45	Takafumi Minamimoto Neural Circuit for Value Coding and Value-based Decisions
15:10	Barry Richmond Updates on visual recognition in the ventral visual stream
15:50	Poster
16:50	Yukiyasu Kamitani Deep image reconstruction from the human brain
17:15	Gabriel Kreiman Peeking inside the brain to develop the next generation of AI
17:55	Izumi Ohzawa Neural Basis of Fine Visual Discrimination
18:20	Closing

総括班会議

総括班連絡会議web
日時：平成31年4月26日（金）12:00〜13:00

総括班連絡会議web
日時：令和元年5月10日（金）12:00〜13:00

総括班連絡会議web
日時：令和元年6月7日（金）12:00〜13:00

総括班連絡会議web
日時：令和元年7月12日（金）15:30〜16:30

総括班連絡会議web
日時：令和元年8月9日（金）12:00〜13:00

第10回総括班会議
日時：令和元年9月3日（火）13:00〜15:00
場所：アクトシティ浜松コングレスセンター45会議室

総括班連絡会議web
日時：令和元年10月4日（金）12:00〜13:00

総括班連絡会議web
日時：令和元年11月1日（金）12:00〜13:00

総括班連絡会議web
日時：令和元年12月27日（金）12:00〜13:00

総括班連絡会議web
日時：令和2年2月7日（金）12:00〜13:00

総括班連絡会議web
日時：令和2年3月11日（水）12:00〜13:00

領域班会議

第9回領域班会議

新型コロナウイルス感染拡大の影響により、下記のように予定されていました第9回領域班会議を延期します。
新たな日程は確定次第掲示いたします。

日　程：2020年3月9日（月）〜11日（水）
場　所：東京工業大学すずかけ台ｷｬﾝﾊﾟｽ大学会館（すずかけホール）
( http://www.sok.titech.ac.jp/gakugai/gakum/sub1.html )
TEL:045-4924-5993

第8回領域班会議

第8回領域班会議を静岡県浜松市にて開催しました。

日　程：2019年9月1日（日）〜3日（火）
場　所：アクトシティ浜松　コングレスセンター
( http://www.actcity.jp )
TEL:053-451-1111

第８回班会議.pdf

研究会企画

ヒトは描くときに何を見ているか

10月9日、領域メンバーの佐藤いまりさん、平諭一郎さん、佐藤洋一さんが、東京藝術大学大学美術館陳列館にて、デッサンの質感解析・生成に関する展示を行います。

会期

2019年10月9日（水）－10月14日（月・祝）
午前10時 - 午後5時（入館は閉館の30分前まで）
会期中無休

会場

東京藝術大学大学美術館　陳列館2階

観覧料

無料

主催

東京藝術大学　芸術×科学プロジェクト

共催

新学術領域「多元質感知」

助成

JSPS/科学研究費補助金 15H05918
「コンピュータビジョンで実現する多様で複雑な質感の認識機構」

リンク(東京藝術大学)

https://www.geidai.ac.jp/museum/exhibit/2019/ai_dessin/ai_dessin_ja.htm

展示会情報(PDF)

日本に西洋美術が輸入されて以来、美術教育の現場では石膏像（複製）を対象としたデッサン（素描・写生）が学生のカリキュラムとして定着しました。日本美術教育の中枢機関として設置された東京美術学校（現東京藝術大学美術学部）の入学試験では石膏像などを対象としたデッサンが課され、現在でも日本の美術・芸術系大学の多くはデッサンを入学試験課題としています。世界をありのままに、写実的に映し出す技術は、デッサンや絵画を描くヒトのわざだけでなく、デジタルカメラやVRを含むコンピュータグラフィックス技術の進歩によって、より高精細に、より正確に、より客観的に表現することが可能になりました。また、ディープラーニング（深層学習）をはじめとする機械学習の発達により、スマートフォンで撮影した写真を、誰でも簡単にゴッホ風やピカソ風、デッサン風に加工できるようになっています。本展では、従来のディープラーニングを用いた画像自動化システムに、芸術家が培ってきた世界を描き出す技術と経験、勘を加えることで、対象の光沢感や透明感、材質感といった質感を伴ったデッサンをAI技術によって再現することに挑戦しています。デッサンの画像解析を用いて、写真から生成したデッサン（AIデッサン）を多数展示し、コンピュータが、ヒトが視る・感じる世界に近い、多様で複雑な質感表現に迫っていきます。

世界と社会における色と質感

玉川大学脳科学研究所社会神経科学共同研究拠点研究会
「世界と社会における色と質感」（新学術領域多元質感知共催）が開催されました。

日時：令和元年5月29日（水）13：00-18：10（終了後に懇親会）
　　　　　　　 5月30日（木）9：00-12：05
場所：玉川大学　大学研究室棟　Ｂ-104会議室

詳細は以下をご覧下さい。
https://www.tamagawa.jp/research/brain/news/detail_15895.html

2019年5月29日（水）

13:00-13:05	挨拶
13:05-15:45	セッション1 13:05-13:45 「物体の質感特性を推定する視覚情報処理過程の検討」澤山正貴（ＮＴＴコミュニケーション科学基礎研究所） 13:45-14:25 「顔の肌における色と質感知覚は特別？」溝上陽子（千葉大学大学院工学研究院） 14:25-15:05 「予測符号化説を組み込んだ深層学習ネットワークによる錯視の知覚再現」渡辺英治（自然科学研究機構基礎生物学研究所） 15:05-15:45 「新奇文字の学習における色字共感覚の転移」横澤一彦（東京大学大学院人文社会系研究科）
15:45-16:05	ブレイク
16:05-18:10	セッション2 16:05-16:45 「水と光」西野恒（京都大学大学院情報学研究科） 16:45-17:25 「色情報の脳内表現について：低次と高次からのアプローチ」栗木一郎（東北大学電気通信研究所） 17:25-18:10 「色の質感を視る・読むための美術展覧会「色の博物誌」」降旗千賀子（フリーランスキューレター(元目黒区美術館学芸員））
18:30	懇親会場所：玉川大学 Restaurant 朔風（朔風館1F）

2019年5月30日（木）

09:00-10:20	セッション3 9:00-9:40 「色覚多様性の諸相」平松千尋（九州大学芸術工学研究院） 9:40-10:20 「反射・散乱・吸収・発光から物体の特性を読み解くイメージング技術」佐藤いまり（国立情報学研究所）
10:20-10:40	ブレイク
10:40-12:00	セッション4 10:40-11:20 「絵画配色に対する選好：普遍性と多様性」中内茂樹（豊橋技術科学大学） 11:20-12:00 「視覚世界の質感とテクスチャ情報処理」本吉勇（東京大学大学院総合文化研究科）
12:00-12:05	挨拶

IEEE VR 2019チュートリアル

国際会議IEEE VR 2019にて、質感プロジェクションマッピングに関するチュートリアル「(AR) Hack Our Material Perception in Spatial Augmented Reality」を開催しました。

日時：2019年3月23日（土）13:30〜16:45

場所：グランキューブ大阪

講演者：

- Toshiyuki Amano, Wakayama University, Japan

- Daisuke Iwai, Osaka University, Japan

- Keita Hirai, Chiba University, Japan

- Takahiro Kawabe NTT, Japan

- Katsunori Okajima, Yokohama National University, Japan

- Yoshihiro Watanabe, Tokyo Institute of Technology,Japan

概要：

Spatial augmented reality (SAR), a.k.a projection mapping, alters the appearance of a real surface by visually overlaying computer generated images onto it. Compared to other AR approaches which apply either video or optical see-through displays, SAR has an important advantage, i.e., any display devices do not block observers' sights, and consequently, the observers can see the augmentation directly on the surfaces with wide field of view and natural 3D cues without any physical constraints on their bodies. The ultimate goal of SAR is "believably manipulating the material properties of real world surfaces." To this end, previous efforts solved various fundamental technical problems such as geometric registration and color correction enabling to display desired images onto non-planar and textured surfaces. However, they work only in limited situations where the surface is typically static, only view-independent material property can be manipulated, and so on.

In 2010s, Japanese researchers from multidisciplinary fields including computer science, psychophysics, and neuroscience, have tackled challenging technical issues to relax the limitations, under the support of Grant-in-Aid for Scientific Research on Innovative Areas by MEXT, Japan: "Brain and Information Science on SHITSUKAN*" and "Understanding human recognition of material properties for innovation in SHITSUKAN science and technology". Consequently, adopting advanced technologies such as high speed imaging and digital fabrication, they have successfully achieved various technical innovations allowing projection mapping on dynamic even deformable objects, view-dependent material property manipulation, and truthful appearance control in spectral domain. More than just relaxing the previously recognized limitations, they have also opened up new SAR research directions such as shape manipulation of real surface and material property manipulation in other modalities than vision. In this tutorial, we would like to share these advanced technologies with audiences.

(*: SHITSUKAN is a Japanese word meaning perceptual qualities of a material)