質感認知は素材を分類する機能と、特定の質（光沢や半透明など）についてその程度を区別する機能が含まれる。本研究では大脳視覚野におけるこれらの質感知を実現する重層的な処理の内容について明らかにすることを目的とする。質感認知における重層的な処理とは、階層的に構成された視覚系において、段階的に単純な特徴から徐々に複雑な特徴を取り出して利用する様式と、ある質感に相関する比較的単純な特徴を取り出して利用するショートカット的な様式の両方から成り立つ処理を意味する。このために、ヒトとサルを用いた心理・行動実験によりこれら二つの処理様式に関わる画像特徴、時空間的な特性の差異と、それぞれがどのような状況で用いられるかを明らかにする。またサルとヒトの脳活動計測により質感関わる情報の脳内表現と脳内ネットワークの解明を進め、それらの情報表現が学習や経験によりどのように変容されるかを明らかにする。

感覚知覚に伴って、「美しい」「すばらしい」と感じる感性や価値判断、そして「快い」などといった情動反応が生まれる。本研究は、このような感性的質感知における脳の基本的作動原理を明らかにすることを目的にする。そのために、（1）感性的質感認知における情動・感性系の神経回路、分子、そしてそれらの相互作用を明らかにする。さらに（2）特定情動反応に影響を与える質感属性を特定し、その神経系への作用機序を明らかにする。他班における質感刺激やその呈示法など領域内でのリソースを積極的に利用した融合的研究を推進し、世界でも例を見ない革新的な学術的成果が期待できるとともに、質感の感性的な側面での客観的評価方法の確立や、質感向上のための属性パラメータの特定など、幅広い技術応用に重要な情報を提供可能にする。

本計画研究はおもにデータ駆動型アプローチを用いて質感情報処理を単一細胞の神経活動と対応づけて理解することを目的とする。階層的に構成された視覚系において、質感にかかわる情報処理過程を、主として神経細胞レベルでの電気生理学および心理物理学的手法により解析する。中間段階の視覚領野における質感情報の担われ方には未知な点が非常に多いため、少数の可能性に特化した仮説やモデルを検証する従来手法は限定的にしか使えない。このため、データ駆動のマイニング的なアプローチが必要である。すなわち、自然画像による刺激だけでなく、特定の仮説やモデルに強く特化しない視覚刺激として、画像統計量を体系的に操作した刺激や、視覚情報の起点である一次視覚野（V1）の細胞が担う情報の集合として生成したランダム人工刺激を使用する。V1から高次の視覚野までのデータを、物体位置や運動情報を主として担う背側経路と、形状や物体認知を担う腹側経路の領野から取得し解析する。さらに、両経路をまたいで共通に適用可能な刺激手法を開発し、両経路の相互作用と質感情報の統合についての解明を目指す。

触感の自在な提示は情報端末分野を中心に現在産業界の高い関心を集めている。しかし実現されている触感表現は記号的な触覚提示にとどまり、質感を表現できるレベルに達していない。この原因は、第一に指先を皮膚の知覚能力以上に高い時間・空間分解能で刺激するハードウエアがないこと、第二にその結果として触感表現に関する探索が時間波形と空間パタンに分離して議論されており、刺激の時空間特徴に関する視点が不足していることであると考えられる。

本研究の目的は次の二点である。第一に触感の構成要素の解明である。時間的、空間的に高解像度な提示によって触感を構成する時空間的特徴量を観察により明らかにすると共に、機械的な刺激装置で再現することによって確認する。第二の目的は産業界からの期待の大きいタッチパネルにおける触感表現の最適設計論の構築である。タッチパネルで既に提案されている複数の提示手段を組み合わせ、触感生成の面から最適化する手法を構築する。

本研究の目的は、コンピュータグラフィックス（CG）技術を用いて、質感認知メカニズムを解明するとともに、その成果の工学的応用を探ることである。現実世界における計測では取得できない要素を、CG技術を用いた数値計算により仮想的に計測することで質感認知に関する研究の加速を促す。そして、科学的手法に基づいた質感認知メカニズムを、映像制作や3Dプリンタによるモノ作りといった、実用的な応用に資するための新しい質感表現手法を確立する。これまでの質感計測や表現方法と異なり、CT装置を用いて物体の内部構造を計測し、中身の詰まった真の3次元物体として対象物を捉える。これにより、表面構造のモデル化のみでは捉えられなかった新しい質感要素の発見と表現を目指す。加えて、物体の3次元構造を獲得するという利点を活かし、形状変化や動き、音響など視覚以外の質感に関する認知メカニズムの解明と表現方法の確立へと発展させる。

質感認識の解明には、多様で複雑な質感を人工的に制御し表現できるディスプレイが不可欠である。本研究では、所望の質感をもつ実物を再現し、さらにその質感を編集する技術の開発を目指す。具体的には、多自由度照明技術とデジタルファブリケーションを融合し、以下の2つのサブゴールを達成する。すなわち、（1）ユーザが望みの表面質感を指定すると、それに最も近い実物をマルチマテリアル3Dプリンタ（領域共有資産）や切削ラピッドプロトタイピングマシンを用いて出力できるよう、多自由度照明を用いたコンピュテーショナルフォトグラフィ技術を用いて較正する質感較正技術を開発し、（2）その出力物体から反射されて観察者の眼に届く光を、プロジェクタ等の多自由度照明で光線場を制御することで変調し、視覚的質感を修飾する質感編集技術を開発する。