本研究課題では，外部からの光学的な観測が難しい頭部装着型ディスプレイ内部での計測が可能な組み込み型光センサと機械学習を用いた表情認識技術を高度化することを目的に研究を推進した．基本表情のクラスを識別する手法を発展させ，表情の表出強度を推定し，合成した表情をアバターに反映できることを示した．また，基本表情クラスを識別するのみでは無く，低次元の光センサ情報から，高次元の顔表面の特徴点の位置を3次元再構成できることを確認した．更に，表情の多様性を考慮した機械学習として，視線や頭部方向を考慮した学習データセットを構築することで表情識別精度を頑健にできることを示した．
The aim of this project was to develop facial expression recognition technology using an embedded optical sensor array and machine learning, which enables facial expression recognition in a head-mounted display (HMD). Facial expression recognition in an HMD with an ordinal camera system is challenging due to occlusions. We developed a method for detecting basic facial expressions and extended it to estimate the intensity of each facial expression. We have shown that synthesized expressions can be rendered on avatars in a virtual environment. In addition to identifying the basic expression classes, we confirmed that it is possible to reconstruct high-dimensional 3D positions of feature points on a facial surface from the low-dimensional sensor values. Furthermore, we demonstrated that facial expression recognition accuracy was improved by making a training dataset that incorporates gaze and head direction as a machine learning method robust to the diversity of facial expressions.

研究種目 : 若手研究 (A)
研究期間 : 2016～2019
課題番号 : 16H05870
研究分野 : バーチャルリアリティ