代表者

東北大学電気通信研究所

栗木一郎

研究協力者

永井岳大（東京工業大学），佐藤智治（一関工業高等専門学校），塩入　諭（東北大学），曽 加蕙（東北大学），金子沙永（東北大学），保坂侑汰（山形大学），早坂美咲（山形大学），高倉健太郎（東北大学），渡邉　岳（東北大学）

概要

光沢の質感へのインパクトは大きく研究も多いが，材質感という視点では，光沢(ハイライト)の輝度より低い輝度帯域(レンジ)に手がかりが存在する．質感評価に関わる輝度レンジは非常に広く，日常レベルでの明暗比は 1:1,000,000 を超越する．例えば，布地の画像の暗部の輝度コントラストが低下すると，編み目が不明瞭になり質感印象は弱まる．一方で，輝度コントラストが同一の画像でも，平均輝度を下げると質感印象を強く感じる現象がある．輝度コントラストが一元的に質感印象を決定するのだろうか？広輝度レンジを表示できるディスプレイを用い，広輝度レンジにおけるコントラスト感度特性と，質感知覚における輝度レンジの関連性について，心理物理学的手法で明らかにする事を試みる．

代表者

東京工業大学 工学院 情報通信系

永井 岳大

概要

比較的単純な低次画像特徴を手がかりにしてヒト（脳）が質感を知覚する可能性がいくつかの研究から示されてきた。このことは、複雑な光学プロセスから生じる質感的画像情報からでも、単純な機序で質感を知覚できるという脳の情報処理の巧妙さを示唆する。では、脳はなぜ質感知覚において低次画像特徴への依存性を有しているのだろうか。一つの有力な考えは、発展著しい深層学習と同様に、物体の質感を把握する上で有用な情報を画像から学習し脳内処理を最適化させたというものである。一方で、生存に必要な物体情報ならば、多少精度が落ちても素早く処理できる機序を獲得した、という脳（生体）ならではの方略も影響する可能性もある。この問いに答えるため、本研究課題は、1. 脳が低次画像特徴に基づいて判断する質感とは何なのか、2. その低次画像特徴と機械学習が用いる画像特徴の類似性・相似性はどこにあるのか、を明らかにすることを目的とする。

代表者

東京大学大学院 農学生命科学研究科応用生命化学専攻 生物化学研究室

岡本　雅子

研究協力者

東原 和成, 平澤 佑啓, 奥村 俊樹, 福田 直紀, 加藤 麦彦（東京大学大学院 農学生命科学研究科応用生命化学専攻 生物化学研究室）

概要

匂いは、甘い、リンゴのような、さわやかなど様々な「感じ」、つまり「質感」を持つ。ヒトの脳機能研究においては、主に機能的磁気共鳴画像法（fMRI）を用いて、嗅覚野である梨状皮質や前頭眼窩野の活動と、匂いの質との関連が示されてきた。しかし、脳における嗅覚処理の、いつ、質感が生み出されるかは、よく分かっていない。本課題では、高い時間分解能を持つ脳波計測と、機械学習を用いたデコーディングなどの分析手法により、匂いの質感の神経基盤を研究する。脳波の振幅、周波数帯域におけるパワーやフェーズなど、質感をコードしている可能性のある特徴量と、匂いの質感の関連を、数10ミリ秒程度の時間解像度で調べる。これにより、異なるタイプの質感が、脳における匂い情報処理のどの段階において、どのような特徴量によってコードされているかを明らかにし、匂いの質感をもたらす神経基盤への理解を深めることを目指す。

代表者

東京大学大学院 情報理工学系研究科

高橋宏知

研究協力者

白松 知世, 和家 尚希, 石津 光太郎（東京大学先端科学技術研究センター）
神崎 晶（慶應義塾大学医学部耳鼻咽喉科）

概要

耳鳴は，主観的・意識的な知覚であり，脳で作り出される．耳鳴が不快な情動を生み出すと，症状を重篤化し，QOL の深刻な低下を招く．この耳鳴の発生・重篤化の脳内メカニズムを解明したうえで，音提示（音響療法），音学習（行動療法），投薬などにより，耳鳴知覚の質感を変え，症状を改善できる手法を確立したい．本研究では，耳鳴症状を呈するラットを実験モデルとして，① 耳鳴の知覚と不快感に相関する脳活動パターンを同定し，② 音提示，音学習，投薬により，脳活動パターンを変え，耳鳴の質感制御を実現できる手法を探索する．耳鳴のメカニズムの作業仮説として，音の増幅・注意・情動の３機能の異常が考えられている．行動実験では，これらの各機能の異常を定量化する．さらに生理実験では，各機能の異常が，聴覚野のどのような活動パターンに反映されるかを同定し，そこに介入することを目指す．

代表者

産業技術総合研究所

三浦 貴大

研究協力者

藪 謙一郎 （東京大学 高齢社会総合研究機構）
坂尻 正次 （筑波技術大学 保健科学部）
大河内 直之 （東京大学 先端科学技術研究センター）
伊福部 達 （東京大学）
大西 淳児 （筑波技術大学 保健科学部）
関 喜一 （産業技術総合研究所）
村岡 輝雄 （日本女子大学 文学部）

概要

2016年の障害者差別解消法の制定に伴い，障害当事者への様々な合理的配慮が行政機関で義務化された．この結果，視覚障害者・盲ろう者への支援方法や情報補償方法の発展・普及は必要性を増している．これまで，彼らを支援する技術として，数々の感覚代行技術が開発されてきた．しかし，これらの技術において，障害当事者に提示する情報の質を高める取り組みは発展途上である．視覚障害者や盲ろう者は，独特
な感覚・知覚・認識系を持っており，晴眼者への提示手法がそのまま使えるとは限らない．また，このような彼ら固有の知覚形態に関するメカニズム解明は進んでおらず，具体的な提示手法も未発達であった．
そこで本研究の目的を，視覚障害者・盲ろう者に固有な聴覚・触覚での質感のメカニズム解明とその提示方法と指針の開発とする．具体的には，聴覚・触覚への単独提示の場合と，双方が同時提示される場合について，彼らが感じる質感を調査する．実施課題は以下の4点である：
1. 全盲者が聴覚的に感じる空間や音声の質感提示指針・提示システムの開発
2. 全盲者が触覚的に感じるテクスチャの質感提示指針・提示システムの開発
3. 全盲者における聴覚・触覚におけるマルチモーダル知覚に関する調査
4. 盲ろう者が触覚的に感じるテクスチャの質感提示指針・提示システムの開発

代表者

北陸先端科学技術大学院大学

鵜木祐史

研究協力者

木谷 俊介, 小林 まおり (北陸先端科学技術大学院大学・先端科学技術研究科)

概要

室内音響学では，室内インパルス応答を測定して，室の音響的な質を表現するのが主流である．しかし，ヒトが音環境の質を評価する際に，室内インパルス応答を予想しているとは考え難い．おそらく知覚に関係する物理量の変化を検知して，それに伴う質の変化を知覚するメカニズムがあると考えることが自然である．本研究の狙いは，先の公募研究課題（D01-7）から継続して，振幅変調の概念に基づき，音声の質感を認識するメカニズムを理解することである．本研究課題では，①音声の質感（緊迫性といった情動）に対応する振幅変調の時間的変化を捉えるために，音の振幅包絡線情報の瞬時的な変調スペクトルの変化を分析可能な時間周波数分析・変調周波数分析を構築する．次に，②音声の質感認識における物理量が何であるのか，③音声の質感（情動）には音源だけでなく伝送系の質感（残響感といった場の雰囲気）も関係しているのか，④ヒトは音源と伝送系を切り分けて質感認識を行っているかどうか，について明らかにしていく．

代表者

福井大学医学部脳形態機能学分野

村田　航志

研究協力者

木下 智貴 (福井大学 医学部)

概要

おいしい食事は豊かな生活を送るうえで必須であるが、「おいしさ」は脳のどのような神経メカニズムでつくられるのだろうか。鼻をつまんで食物を食べるとおいしさを感じにくくなることから、食物がもたらす口腔内感覚、フレーバーの形成に嗅覚は重要な役割を果たす。本研究ではおいしさを「食べたものへの嗜好性を獲得するときの脳内状態が作り出す質感」と定義し、マウスを用いた光遺伝学・薬理遺伝学実験のアプローチで、食物への嗜好性、特に香りとフレーバーに対する誘引性の獲得に関わる神経細胞を同定する。

代表者

京都大学、人間・環境学研究科

齋木　潤　

研究協力者

山本 洋紀, 津田 裕之, 藤原 宗人 (京都大学大学院人間・環境学研究科)

概要

本研究では、質感知覚研究と連携して、知覚と記憶を統合した「質感認知」の総合的な理論枠組みの創出を試みる。また、質感再生技術研究と連携して記憶中の過去の主観経験を可視化する技術の基盤を構築する。これまでに、①光沢感の記憶精度の知覚精度との同一性、②光沢感の記憶におけるバイアス、③光沢感の短期記憶への腹側高次視覚野と頭頂間溝領域の関与、を明らかにした。本研究は質感記憶の変容に焦点をあて、心理学的、認知神経科学的データを系統的に収集し、その機能的意味に関する仮説を評価する。光沢感記憶の変容は「画像の高空間周波数成分の選択的減衰」として記述できるが、これに関して(A)記憶における情報量の圧縮、(B)外界認知における統計的最適化、(C)質感経験の快の最大化という仮説を立て、心理物理実験、脳機能計測により検証する。さらに、これまでの研究を発展させ、領域内で進められている質感画像の変換技術を利用し、風景写真、絵画などの複雑な画像刺激を用いた、厳密で定量的な記憶変容メカニズムの一般化を目指す。

代表者

大阪大学大学院生命機能研究科・脳情報通信融合研究センター

藤田一郎

研究協力者

稲垣 未来男, 畑中 岳, 宮田 季和, 三池 晋太郎, 安井 裕人 (大阪大学・生命機能研究科)
池添 貢司 (山梨大学・総合研究部)
西本 信志 (情報通信研究機構・脳情報通信融合研究センター)

概要

物体表面が持つテクスチャー（見て感じる手触り感）は、質感知覚や物体認識にとって重要である。霊長類大脳皮質において、テクスチャー情報の処理は腹側経路で行われ、一次視覚野（V1）から中次視覚野（V2, V4）に向けて段階的に進展する。これらの領野はそれぞれ、視覚応答特性、線維連絡、組織化学的性質が異なるサブ領野機能構造（V1野のブロブ・ブロブ間隙、V2野の３種のストライプ、V4野の色・方位ドメイン）からなるが、そのどこでテクスチャー情報が処理されているかは不明である（図）。この問題の解明は、テクスチャー情報抽出の神経回路メカニズムや他の視覚属性（色、形、両眼視差、運動方向）との相互作用を理解する上で大きな手がかりを与える。本研究では、テクスチャー情報を伝える機能構造を特定し、さらに個々の神経細胞がテクスチャー情報と他の視覚属性をどう統合または分離しているかを明らかにする。これにより、テクスチャー情報を計算する腹側経路内部の機能回路および他視覚属性情報との統合・分離過程を解明する。

代表者

岡山大学大学院ヘルスシステム統合科学研究科

楊　家家

研究協力者

呉 景龍, 江島 義道 (岡山大学・大学院ヘルスシステム統合科学研究科)
阿部 康二 (岡山大学大学院医歯(薬)学総合研究科)
于 英花 (日本学術振興会（JSPS) ; 岡山大学・大学院ヘルスシステム統合科学研究科)

概要

立体覚とは、ものを手にした際に対象の質感・形態、用途や名称などの統覚を意味している広義の触覚である。立体覚失認（Astereognosis）は、基本的感覚（圧覚、素材感など）に障害がないにも拘わらず手の中に与えられた物体が解らない病態である。当初、立体覚失認は、頭頂葉損傷と結びつけられて研究されたが、頭頂葉に器質的損傷のない認知症患者にも立体覚失認がみられる事、そして認知症患者では記憶と学習が損なわれることから、立体覚では学習と記憶が重要であることが示唆された。しかし、その様態は未解明で、立体覚失認のタイプを識別することや、その予兆が発見できないことが問題となっている。本研究の目的は、触覚による素材と形態認知、及び素材の記憶と立体感記憶が統覚として立体覚を成立させるメカニズムを解明し、その成果を認知症早期発見技術の開発に展開する。

代表者

日本女子大学人間社会学部心理学科　教授

金沢 創

研究協力者

楊 嘉楽 (東京大学大学院総合文化研究科・日本学術振興会　特別研究員PD)
山下 和香代 (鹿児島大学学術研究院理工学域工学系 情報生体システム工学専攻)
中島 悠介,氏家 悠太 (中央大学研究開発機構)
佐藤 夏月 (日本女子大学人間社会学部心理学科)
山口 真美 (中央大学大学文学部・心理学専攻)

概要

本研究計画では、質感知覚の発達過程を乳児を対象に多方面から検討していく。具体的には、乳児が成長する際の知覚環境の個人差の検討、情動的な質感知覚の発達、触覚と視覚の質感情報の発達過程、質感情報処理をささえるより基礎的な受容野の構造の検討、などを想定している。方法論としては、選好注視法や馴化法を用いた行動実験だけでなく、NIRSやEEGを用いた脳活動の計測も行っていく。また、各乳児が知覚している環境の違いを測定する目的で、頭部に設置したカメラを用いて各乳児が見ている環境に関する画像を収集し、その統計的性質を検討していく。

赤ちゃんが見ている世界をカメラ付きの帽子をかぶって撮影した 室内（左）と屋外（右）の画像。

乳児NIRS実験の様子。

代表者

日本女子大学人間社会学部心理学科

伊村知子

研究協力者

友永 雅己（京都大学霊長類研究所）
白井 述 （新潟大学人文学部）

概要

チンパンジーとヒト、ヒトの児童と成人を比較することにより、質感知覚の種を超えた普遍性と特殊性と、文化・社会的な経験の影響を明らかにすることを目的とする。生物の生存にかかわる食物や肌のツヤやハリの違い、コンピュータグラフィックスにより作成された金属やガラスなどの素材の光沢の違いなど、幅広い対象の質感の識別能力について検討する。さらに、素材の質感の識別だけでなく、質感や配色への選好のように、価値評価を含めた感性的質感認知の発達と進化的基盤についても明らかにする。

代表者

岩手県立大学ソフトウェア情報学部

眞田　尚久

概要

質感研究分野では素材や光沢感など静止物体の質感だけなく、動きを伴う質感の脳内表現が調べられるようになってきている。動いているものが液体かどうか見分けるためには液体らしい動きをしているかどうかと、流体がどの程度の粘性を持つかが判断要素となる。
液体らしさの知覚判断には運動ベクトルが連続的に変化しているかが重要だが、粘性知覚と相関する指標は平均の運動速度であることが報告されている(Kawabe et al. 2015)。第一期公募研究では液体らしさに対する選択性を電気生理学手法によって調べてきた。本研究では、液体らしさに加えて粘性が高次視覚領野の神経細胞によりどのように符号化されるかを明らかにする。
また、自然界では重力が存在するため液体が上に流れることはありえない。重力による液体粘性知覚へのバイアスの神経基盤を解明するために、液体粘性の方向選択性が細胞集団でどのように分布するかを検証し、領野間での違いを比較する。

代表者

生理学研究所　脳機能計測・支援センター

近添淳一

概要

外界の情報は感覚器を介して捉えられ、脳内で抽象的価値情報に変換された後、価値に基づく意思決定を経て適切な行動が選択される。全く同じ刺激であっても、ある個人にとっては好ましく、他の個人にとっては不快に感じられることがあるように、感覚刺激の嗜好には個人差がある。価値評価は質的情報を量的情報に変換する過程であることから、嗜好の個人差はこの変換過程および質感知の神経基盤の個人間の違いに原因を求めることができる。ヒトを対象とした機能的MRI研究により、前頭眼窩野や側坐核、線条体が価値情報処理に関わることが明らかにされているが、感覚情報からどのような過程を経て価値の情報が生じるかは明らかにされていない。人工神経回路による視覚情報からカテゴリ情報への階層的情報変換が腹側視覚路における情報処理のよい近似になっていることから（Güçlü et al., 2015）、聴覚情報から価値情報への変換も人工神経回路による階層的情報処理で近似しうるという仮説をおき、これを検証する。まず、音楽共有サイトで公開されている楽曲とそれに対応する視聴数の情報から、聴覚情報を価値情報に変換する人工神経回路の雛形を作成する。次に、音楽刺激の価値評定課題の機能的MRI実験を施行し、個人の行動実験結果および脳活動と人工神経回路の間でフィッティングを行う。これにより、新規の刺激への個人の反応を予想する人工神経回路を作成するとともに、人工神経回路の各階層に対応する脳領域を個人のレベルで同定する。さらに、個人の嗜好を模倣した、聴覚－価値変換を行う人工神経回路と、その各階層に対応する脳内情報mapを被験者間で統合する。これにより、被験者間で共通する聴覚－価値変換の神経基盤を同定するとともに、嗜好の個人差の原因となる脳領域を同定する。

成果

2017年度(D01-14)

2016年度(D01-14)

代表者

国立研究開発法人 量子科学技術研究開発機構 放射線医学総合研究所脳機能イメージング研究部

宮川 尚久

研究協力者

南本 敬史, 永井 裕司（量子科学技術研究開発機構・放射線医学総合研究所・脳機能イメージング研究部）
川嵜 佳祐（新潟大学医学部・生理学第一教室）
坂野 拓（Department of Otorhinolaryngology:Head and Neck Surgery, University of Pennsylvania School of Medicine）
一戸 紀孝, 鈴木 航（国立研究開発法人　国立精神・神経医療研究センター　神経研究所　微細構造研究部）
谷 利樹（理化学研究所　脳科学総合研究センター　高次脳機能分子解析チーム　一戸班）

概要

物体の質的特徴やカテゴリ情報を処理する霊長類の腹側視覚野は皮質内フィードバック結合に富み、扁桃体など皮質下の構造からも多くの直接的なフィードバックを受けることが知られている。しかし腹側視覚皮質の機能は、一般的に低次視覚野から高次視覚野へのフィードフォワード型階層的結合モデルで記述され、扁桃体などからの直接的・間接的なフィードバック入力の役割について見逃されている可能性が高い。本研究では広範囲で神経活動を計測するECoG記録法と、最新の化学遺伝学による脳活動操作とイメージングの融合技術により、扁桃体からの直接・間接のフィードバック入力が腹側視覚経路における質感神経表現に及ぼす影響を特定することを目的とする。

代表者

産業技術総合研究所　人間情報研究部門

林　隆介

概要

物体画像がモーフィング操作などで変容し、本来の質感から乖離すると、物体カテゴリの変化とともに「不気味の谷」に代表される質感認知上の違和感(以下、質感的不協和とよぶ)が生じるが、その過程でどのような神経ネットワークの変化が生じるのか明らかでない。一方、人工知能研究では、深層ニューラルネットワーク(Deep Neural Network, 以下DNNと略す)を使った画像認識と言語処理の統合がすすみ、言葉が表象する意味内容と画像表現とのマッピングが実現している。このことは、画像を符号化している脳の視覚領域の神経情報もまた、DNNを介して質感的な語彙表現と接地化可能であることを示唆している。本研究では、画像上の質感変異にともなう神経活動の変化を、サルの視覚野から網羅的に記録し、DNNを介して語彙概念体系内の表象変化と対応づけることにより、質感をふくめたカテゴリ化プロセスとその不協和の神経メカニズム解明をめざす。

代表者

国立研究開発法人　産業技術総合研究所

菅生　康子

研究協力者

松本 有央, 林 和子（産総研）
河野 憲二, 三浦 健一（京都大学）

概要

質感は、我々が外界の事物の状態を見分けるために重要な情報である。日常生活に存在する自然な物体についての質感認識の理解を目指し、社会生活に重要な「顔」の質感をコードする脳の仕組みを明らかにすることを目的とする。我々が顔を見るとき、肌や眼、髪などの質感情報から、年齢や体調などを推しはかることができる。また、眼、鼻、口などの形やそれら相互の距離など造作の形態情報から個体や表情を認知する。第１期では、側頭皮質の顔応答性ニューロンの活動強度に、顔の質感変化の影響が観察されることが明らかになった。第2期では、顔応答性ニューロン集団における質感の時間的コーディング、その顔特異性、そして質感知覚との関係を明らかにする。

代表者

株式会社国際電気通信基礎技術研究所(ATR)

細谷　晴夫

研究協力者

Rajani Raman（株式会社国際電気通信基礎技術研究所　脳情報研究所）
神谷 之康（株式会社国際電気通信基礎技術研究所　脳情報研究所　神経情報学研究室）
Aapo Hyvärinen（University College London）

概要

我々が素材などの質感を知覚するとき、刺激のもつ何らかの統計学的構造を捉えていると考えられる。そのような質感知覚の法則を明らかにするため、様々なドメインで心理物理学・神経科学研究が進められているが、いずれも質感刺激をシステマティックに生成できる「生成モデル」の理論の存在が鍵になる。しかしながら既存研究では、テクスチャなど、特定ドメインに限定した生成モデルの理論はあっても、それを他のドメインに適用は難しかった。本研究では、学習モデルと視覚神経表現との関係を探ってきた研究代表者のこれまでの研究を踏まえ、教師なし学習理論に基づいた「汎用的な生成モデル」生成モデルの構築を行う。特に、近年の機械学習アプローチである「深層生成学習モデル」を取り入れることで、様々な質感ドメインに適用可能な理論を目指す。これを質感刺激のランダム生成や刺激統計量と知覚の関係推定などに用いることで、質感科学の推進に貢献していく。

代表者

青山学院大学

楽 詠灝

研究協力者

永澤 謙太郎 (東京大学大学院新領域創成科学研究科複雑理工学専攻)
瀬戸 亮平 (京都大学大学院工学研究科)
岡田 真人 (東京大学大学院新領域創成科学研究科複雑理工学専攻)

概要

本研究では，コンピュータグラフィックスを主たる応用先として，日常的に現れる流体状食品の質感表現について取り組む．流体状食品の写実的表現は，食品を美味しく見せる上で重要であり，我々は視覚特性（動きや色，表面形状など）のみから，食材の種類や鮮度などを判別できることから，その質感表現を実現することは，人間の質感認識の理解にも役立つと考えられる．
　日常的な行為である調理では，流動特性の異なる調味料や食材を混ぜ合わせることが一般的であり，混合体の物性はバリエーションに富む．調理の映像表現では，異なる物性の食材を統一的に扱い，それらの任意の混合体を表現できるモデルが重要である．また，調合したその場で物性計測する方が，鮮度を含めた物性をより忠実に捉えられると考えられるため，ポータブルな計測システム(ポケットレオメータ)の開発も重要である．
　そこで，本研究では流体状食品を統一的に扱うレオロジーモデルの開発と，その場で実物の食品からシミュレーションに必要なパラメータを得るための計測技法の構築を対象とし，流体状食品の質感表現を行うための，融合された計測・計算技術の確立を目指す．

代表者

東京大学

鳴海拓志

研究協力者

廣瀬 通孝, 谷川 智洋, 鈴木 佑司（東京大学・情報理工）
和田 有史（立命館大学・食マネジメント学部）
松原 和也（立命館大学・BKC社系研究機構）
小川 奈美（東京大学・工学系研究科）

概要

本研究の目的は，食品へのプロジェクションマッピングによってその視覚的質感を変化させることで，その食品を摂取したときに生じる多感覚知覚（食感，温度，味質，量，鮮度等）やおいしさ等の認知，食行動を制御することが可能な食品向けの新規質感変調投影技術を確立することである．視覚的質感の変化が多感覚知覚に加えて行動や認知をも変化させるという現象を，最も多感覚を活用する食行動に適用して考えることで，味（味覚）・香り（嗅覚）・食感（触覚）等のより広範な知覚に対して視覚的質感の変化が与える影響をモデル化することを狙う．そのために，食品の視覚的質感の変化が食感，温度，味質，量，鮮度等の推定に与える影響と，摂食時に生じる多感覚知覚やおいしさ等の認知，さらには食行動にまで与える影響を体系的に明らかにする．その上で，食知覚・食行動を制御して提示可能な食品向けの新規質感変調投影技術・質感設計手法を明らかにする．

代表者

東京工業大学

渡辺 義浩

概要

本研究では、新たな視覚的質感の再現技術に取り組む。特に、モニタの中のコンピュータグラフィクスではなく、実世界上で質感を再現する技術に着目する。このタイプの技術構想には、数多くの興味深いチャレンジが内包されている。このチャレンジを生み出す源泉となっているのは、質感が人間の知覚的な尺度に作用される部分が大きいという点である。すなわち、物理的な同一性ではなく、知覚上での同一性に基づいて、リアリティを追求することができる。質感再現の核は、虚構でありながら本物に極めて近い実在性＝ハイパーリアルを目指す工学的デザインにあり、デバイスから心理物理までを横断する重要なテーマであると考えられる。このような背景のもと、ダイナミックプロジェクションマッピングによる質感再現と、実物体を組み込む質感再現の２つを組み合わせることを新たに考える。これによって、形も質感も自在に変化させ得るディスプレイの実現に取り組む。

代表者

和歌山大学

天野敏之

研究協力者

村上 巧輝（和歌山大学・システム工学部システム工学科）
牛田 俊（大阪工業大学・工学部機械工学科）
山本 豪志朗（京都大学医学部付属病院医療情報企画部）

概要

我々が見ている物体の色彩は，物体その物の反射特性だけでなく，照明の色彩に影響される．先の公募研究では，引箔を施した西陣織の帯地を題材として，ライトフィールドの投影と撮影を行うフィードバック系によって，見かけのBRDFの操作する革新的なプロジェクションディスプレイ技術を実現した．しかし，複雑な形状の対象では投影や撮影が遮られるため，そのままでは提案手法を適用することができない．また，提案手法の適用対象は投影と撮影の画素対応に変化を生じさせないために静止物体に限定される．そこで，本研究では形状情報の利用や変位検出による画素対応の更新で，この問題の解決を試みる．さらに，形状情報を利用して，複雑形状物体での光沢のある金属や透明感なガラスの質感表現だけでなく，螺鈿や真珠の干渉色などの質感にも変化させる，より高度な質感操作の実現も試みる．

代表者

大阪大学

石塚裕己

研究協力者

吉村 英徳（香川大学・工学部）
北口 翔己（香川大学・工学研究科）

概要

本研究ではリアルな触感提示のために電気刺激と静電刺激を複合した触覚ディスプレイを提案し，有限要素法解析によりその駆動条件を最適化する．高度な触感情報提示のためには複数の触感情報を高解像度に提示できる触覚ディスプレイの実現が不可欠である．静電刺激による触覚ディスプレイは水平方向の摩擦力しか提示できないため，ここに垂直方向の圧覚や振動覚を提示する電気刺激を加えて微細加工技術によって1つの基板上に密に集積化することによって複数の触感を高解像度に提示可能な触覚ディスプレイを実現する．そして，実際の物体をなぞった際の触感と触覚ディスプレイをなぞった際の触感とを有限要素法解析によって比較・一致させることで，触覚ディスプレイの駆動条件を最適化する．

代表者

九州工業大学

岡部孝弘

研究協力者

松岡 諒（九州工業大学・大学院情報工学研究院・知能情報工学研究系）
王 超（九州工業大学・大学院情報工学府・先端情報工学専攻）

概要

木の葉の上の水滴やカットされたダイヤモンドなどの透明物体，および，人間の肌や大理石などの半透明物体は，物体と入射光との相互作用，すなわち，反射・屈折・散乱・吸収などにより，豊かで独特な質感を生じる．本研究では，これらの相互作用が，反射率，屈折率，散乱係数，および，吸収係数を介して入射光の波長に依存することから，マルチスペクトルイメージングによる透明・半透明物体のモデリングと質感編集に取り組む．具体的には，多波長光源やマルチバンドカメラを用いた透明物体の幾何学的特性の推定や半透明物体の光学的・分光学的特性の推定，および，推定した物理的特性に基づく写実的な画像の生成・加工に取り組む．

代表者

慶應義塾大学理工学部機械工学科

三木則尚

概要

本研究の目的は、触感呈示したいサンプルの物理特性から触感を再現する、触感呈示の逆問題への普遍的な解法を導出することである。触感呈示に関する従来研究では、触覚ディスプレイへの入力信号→呈示される触感導出、という順問題を解いている。しかし、触感を新たにHCIに活用するためには、呈示したい触感→ディスプレイへの入力信号、という逆問題を解かなくてはならない。さらに、逆問題を特にあたっては、触感の定量化が不可欠である。

　本研究では、まず、独立した物理特性（表面粗さ・サンプル剛性・熱伝導率・表面エネルギー）を触覚ディスプレイにより再現する逆問題を、微細加工技術を駆使し製作した触感サンプルの、機械触覚ディスプレイによるEncode & Presentにより解く。実サンプルは物理特性の多様な組み合わせによりその触感を呈示している。先に各物理特性に対して逆問題を解いて導出した入力信号を、線形加算することで実サンプルの触感も再現できるのか？それとも非線形な加算が必要なのか？実験的に確認を行う。線形加算における各入力の重みづけ、また非線形性はヒト触覚特性、ヒト認知特性に強く依存すると考えられ、これを明らかにすることは、触感呈示の逆問題への普遍的な解法につながるとともに、そのサンプル、例えば「木」を「木」たらしめているものは何か？という触感の本質に迫るものと考える。