人と同じ空間で働く知能ロボットの活躍が期待されている．その実現のためには，人同士で作業するのと同様に（1）最終目標の共有と（2）状況に応じた作業の分担が重要となる．また，途中で作業を引き継がれた場合は現在状況と最終目標をもとに（3）未完作業を継承する必要がある．さらに，作業を引き継がれた際の状況が最初に共有された最終目標に到達しないと推測される場合，（4）作業の修正が必要となる．
本研究ではこれら四つの技術的課題を，現在状況と最終目標の間に存在するサブゴールの生成という観点から解決することを目指した．具体的には，深層学習を用いたサブゴール推論モデル及び行動生成モデルの構築とこれらのモデルを搭載したロボットを用いた評価実験を実施した．
特にサブゴールとしてサブゴール画像について着目し，現在状況画像と最終目標画像からサブゴール画像の潜在状態を推論する深層学習モデルを構築した．そして，推論された潜在状態と視覚・運動情報から運動情報の予測学習を行う行動生成モデルを構築した．この行動生成モデルによって予測される運動情報を用いることで，ロボットの制御が可能となる．
実験として複数の対象物を正しい位置と順序でロボットが配膳する実験を行った．構築した深層学習モデルを用いることで，現在状態画像と最終目標画像に従ったロボットの行動生成を確認した．また，未学習の最終目標画像を設定し，その画像に対して適切な行動ができるかを確認した．結果として，未学習の最終目標状態画像を入力した場合でも作業の継承と修正の達成に必要な行動を生成することができた．
以上より，段階的な作業において現在状態画像と最終目標状態画像から次に移行すべき目標を推定し，ロボットはそれに従った行動を生成できることを確認した.
Intelligent robots are expected to work in the daily life environment with humans. To achieve this, it is important to (1) share a final goal between a human and a robot and (2) divide tasks between them according to the situation, just as when people work together. In addition, when an operation is taken over from a human to a robot in the middle, it is necessary to (3) inherit the unfinished operation based on the current situation and the final goal. Furthermore, if it is estimated that the situation when the work is taken over will not reach the final goal shared at the beginning, it is also necessary to (4) modify the former achievements.
In this study, we aimed to solve these four technical issues in terms of generating sub-goals that exist between the current situation and the final goal. Specifically, we developed a sub-goal inference model and an action generation model using deep learning and conducted evaluation experiments using a robot equipped with these models.
We particularly focused on sub-goal images as sub-goals and developed a deep learning model that infers the latent state of sub-goal images from the current situation and final goal images. We also developed an action generation model that learns to predict motor information from the inferred latent state and visual and motor information. The motor information predicted by this action generation model was utilized to control a robot.
We conducted evaluation experiments on serving multiple objects to the correct positions with a correct order. Experimental results demonstrated that the robot was able to generate adequate behavior based on the current situation and final goal images by using the developed deep learning models. In addition, we also evaluated whether the robot could generate adequate behavior even when unlearned final goal images were provided. Experimental results demonstrated that the robot was also able to generate adequate behavior that realized the inheritance and modification of unlearned tasks.
In conclusion, we confirmed that our proposed models realize robots to infer the necessary sub-goals from the current situation and final goal images and to generate adequate behavior based on the inferred sub-goals.