A01 質感の計測と表示に関わる工学的解析と技術

A01　ものの質感を画像を元に認識するシステムの実現

研究代表者	岡谷 貴之 （東北大学大学院情報科学研究科・准教授）

 研究内容

本研究では、コンピュータビジョンと機械学習の方法論を用いて、光沢感や透明感といった物体表面の質感を画像から認識するシステムを工学的に実現する。特に質感認識を可能にする画像特徴を明らかにすることに主眼を置き、ディープラーニングに基づく学習による画像特徴の獲得と、物理ベースビジョンの考え方に基づく特徴デザインという２つの観点から研究を進めている。研究成果は、例えば人が写実的に感じるCG映像を少ない計算量でレンダリングするにはどうすべきかといった問に答える工学的応用の他、質感認識の脳内情報処理の理解を目指す理学研究へ、有用な知見をフィードバックできると考えている。

A01　色彩情報処理による質感の計測・解析・再現

研究代表者	堀内 隆彦 （千葉大学大学院融合科学研究科・教授）

研究内容

本研究は、前期の研究を継続・発展させ、色彩情報工学の観点から、物体表面から受ける質感（材質感，つや感，マット感など）の認知に関わる人間の情報処理の特性を客観的に明らかにし、それらの理解に基づいて、質感情報の獲得や生成に関する工学技術の発展を推進するための基礎研究と応用研究を行う。そのために、質感情報を獲得するための【質感計測】、質感情報を解析する【質感解析】、質感を有する物体を適切に画像再現する【質感再現】のそれぞれの項目に対して、研究を遂行する。特に今期は、「(B-1)質感認知に関わる感覚情報の特徴と処理様式」研究分野に対しても、協調しながら横断的に取り組む。

A01　視覚の時間応答性を考慮した光沢のきらめき再現手法の研究

研究代表者	津村 徳道 （千葉大学大学院融合科学研究科・准教授）

研究内容

本研究では、物体や視線移動によって鏡面反射成分が時間的に変化したとき、再現表示の時空間変化が物体材質の認識・識別能力に与える影響量を定量的に評価する。また、その特性を利用して質感を際立たせる再現手法やそれに必要な質感情報の計測に関する研究を実施する。そのため、本研究では物体の鏡面反射成分が時間・空間的に変化する画像の取得、そして人間の視線の動きや動作に応じた表示再生手法の確立を行い、鏡面反射成分の時空間変化に対する観察者の知覚量を主観的に評価する。

A01　ライトフィールド投影を用いた質感制御

研究代表者	天野 敏之 （和歌山大学システム工学部情報通信システム学科・准教授）

研究内容

プロジェクタカメラ系を用いた質感制御を発展させ、ライトフィールド投影を採用することで物体の全周囲で視線方向に応じた異なる見かけが提示可能なリアリティの高い質感制御を実現する。
具体的には、全周囲の見かけを制御するためのプロジェクタカメラ系の配置とその協調制御方法を開発する。また、制御対象の同一領域に複数プロジェクタで重畳投影するライトフィールド投影と、再帰性反射塗料を表面に塗布した制御対象を用いることで、視線方向によって見かけが変化する反射特性を制御対象上に再現する方法を開発する。
本研究では、これらによって制御対象の見かけを金属やガラスだけでなく、真珠や玉虫、光学ディスクのような構造色を有する物体のように変化させる質感制御を実現する。

A01　ﾏﾙﾁｽｹｰﾙﾏﾃﾘｱﾙの質感編集および質感ﾊﾟﾗﾒｰﾀの計算に関する研究

研究代表者	岩崎 慶 （和歌山大学システム工学部情報通信システム学科・准教授）

研究内容

本研究は、複数のスケール（マルチスケール）からなる素材の質感をインタラクティブに編集する手法を提案する。マルチスケールな素材の例としては布が挙げられる。布の質感は、織り込まれた糸の構造および糸のBRDFによって決まり、糸のBRDFも繊維の構造と繊維のBRDFによって決定される。すなわち、布の質感は各スケールの形状やBRDFによって決定される。
本研究では、マルチスケールな材質について、各スケールの形状およびBRDFを制御することによって質感を編集するシステムを開発する。また、所望の質感を入力することにより、その質感を表現するパラメータである物体表面を構成する微細形状およびBRDFを自動的に計算する手法を提案する。

A01　ライトフィールドによる質感情報の定量評価と認知との関連

研究代表者	長原 一 （九州大学大学院システム情報科学研究院・准教授）

 研究内容 

物体の質感に関わる光沢感の度合いや物体表面のなめらかさは、物体を見る方向によって色や輝度が変化する反射分布から推定することができる。本研究では、多視点の画像がワンショットで撮影可能なライトフィールがカメラを用いて、物体の見かけより得られる艶やなめらかさといった物体の材質や質感などを区別できる特徴量を求めることを目的とする。この特徴量と被験者実験による主観評価の関係を調べることで、人の認知を反映した特徴量を実現する。さらに、質感特徴量と統計的学習認識手法を用いて、画像から物体の材質や質感の自動認識を実現する。

A01　織物の反射および散乱の計測とモデル化

研究代表者	田中 弘美 （立命館大学情報理工学部知能情報学科・教授）

 研究内容

織物の反射と表面下散乱特性を、高解像度HDR観測画像データから抽出し、モデリングし、光沢や透過性等の質感を忠実に再現する高忠実度レンダリングを実現する。1）単糸レベル（μ）の解析が可能な高精度多方向照明HDR画像計測、 2）半透明な単糸（単繊維）で織られた織物を、“表面下に微細な幾何構造を持つ半透明物体”と見なして、表面反射や表面下散乱を解析,、3）表面下に微細な幾何構造を持つ散乱媒体と数十本の単糸を束ねたフィラメントの内部での、複雑な光線空間におけるライトトランスポート解析、4）  1）～3）に基づく、織物の反射と表面下散乱特性を忠実に記述し再現するモデリングとレンダリングを確立し、その有効性を評価する。

A01　ＢＳＤＦデータに基づく感性的質感の推定と表現

研究代表者	長田 典子 （関西学院大学理工学部人間システム工学科・教授）

研究内容 

感性的質感に関する体系的な評価モデルを確立し、光学特性から感性的質感を推定する技術や、逆に所望の感性的質感から必要な物理 特性を特定しCG表現する技術を実現する。また本技術を化粧素材のデザインへ応用する実証評価を行う。具体的には下記の4課題を実施する。（1）BSDF（BRDF+BTDF）の要因分析による質感パラメータの抽出とCG表現、（2）感性的質感に関わる評価構造の解析、（3）個人特性を考慮した感性的質感評価モデルの構築、（4）感性的質感の素材デザインへのフィードバックによる実験的検証。

A01　複合解像度型イメージングを用いた高質感映像の収集と表示に関する研究

研究代表者	山口 雅浩 （東京工業大学学術国際情報センター・教授）

研究内容

これまでに開発した「複合解像度型分光イメージング」技術を発展させ、忠実な色情報に加え、動き、高輝度な光沢やテクスチャー、さらに分光的な照明環境マップ等を効率的に収集する技術を確立する。また、広色域かつ自然な色再現技術、光沢や高輝度なテクスチャー等の質感の再現性を向上する表示技術等を統合化したディスプレイを構築し、画質に関わる複合的な要素が映像の質感再現性に与える影響の視覚的評価を実施する。これらの検討により優れた質感を再現する映像システムの基盤技術を開発し、本領域の成果を映像機器･システム等の工学的応用へ展開するとともに、他の研究グループとの交流等を通じて領域の研究に資することを目指す。