柳井 啓司 電気通信大学

本研究では，「質感と形状の分離による質感画像認識・生成のためのマルチモーダル深層学習モデル」に関する研究を実施する．具体的には，(1)大量の画像と言語のペアデータから，画像の質感部分と言語の質感表現の対応付けを自動的に学習し，画像質感特徴量と言語質感特徴量の共通質感埋め込み空間を構築し，画像と言語の双方向検索(認識)を実現する．(2)さらに質感埋め込みベクトルと画像の形状特徴量を融合させることによって，新たな質感を持つ画像生成を実現する．これを統一的に実現する深層学習モデルを提案することが本研究の目的である．提案モデルを用いることで，(A) 大量のデータを用いた画像及び言語表現に関する「深奥な」質感分析の実現，(B) 言語による微妙な画像質感操作の実現，が可能となる．