本研究では，ロボットによる巧みな物体操作を実現するため，プレイデータを用いた自己教師あり学習法を提案し，その実装を行った．具体的には，深層学習をロボティクス分野に対して有効に適用するための，（1）新たな自己教師データ取得フレームワークと（2）取得したデータを学習するための深層生成モデルの構築を行った．
（1）では人がマスタースレーブ方式によって，その人の「興味」に基づいてロボットを操作することでロボット（自己）の多様な視覚・運動情報データを取得した．具体的には，ロボットが操作可能な物体が配置された環境において，興味に基づき自由にマスター側のロボットを操縦することでスレーブ側のロボットを1時間操作した．その際に，スレーブ側のロボットの関節角度とカメラ画像の時系列データを取得した．本研究ではこのデータを，人が自由に「遊びながら」取得したという意味でプレイデータと呼ぶ．
（2）では変分自己符号化器（VAE: Variational Autoencoder）と再帰型ニューラルネットワーク（RNN: Recurrent Neural Network）を統合した変分再帰型自己符号化器（VRAE: Variational Recurrent Autoencoder）を構築し，取得したプレイデータの学習を行った．VRAEは，取得した時系列データの全体から一部を切り取り，その最終状態に到達することを目指し，視覚・運動状態の予測学習を行った．学習後のモデルをロボットに搭載し，学習済・未学習の環境における物体操作能力の検証を行った．検証の結果，従来の正例のみを用いていた教師あり学習では困難であったエラーリカバリが，本研究で提案する自己教師あり学習法で実現可能であることが示された．また，従来の強化学習においては環境をランダムに探索するため無駄なデータが含まれるという問題があるが，提案手法は人がロボットを興味に基づいて操作するため，取得されたデータは多様性を有する意味のあるものとなり，データの効率的な取得も実現することができた．
In this study, we proposed and implemented a self-supervised learning method using play data to realize skillful object manipulation by a robot. Specifically, we developed (1) a new framework for acquiring self-supervised data and (2) a deep generative model for learning the acquired data in order to effectively apply deep learning to the field of robotics.
In (1), a human operator freely controls a robot based on his or her "interests" in a master-slave manner to acquire various visual and proprioceptive data from a robot. In particular, the operator controlled a slave robot in an environment with manipulatable objects by directly guiding a master robot based on his or her interests during an hour. Time series data of joint angles and camera images of the slave robot were recorded. In this study, we call these data "play data" in the sense that they were acquired while he or she was playing freely.
In (2), we developed a variational recurrent autoencoder (VRAE) that integrates a variational autoencoder (VAE) and a recurrent neural network (RNN). Given a final state of a part of whole time series data as a goal, the VRAE learned to generate a predictive sequence of the visual and proprioceptive states to reach the final state. We implemented the trained model in the robot and tested its ability to manipulate objects in both trained and untrained situations. The experimental results demonstrated that our proposed self-supervised learning method can achieve error recovery that is not difficult to be achieved in the conventional supervised learning method using only positive examples. In addition, while conventional reinforcement learning has the problem of including useless data due to the random exploration of an environment, our proposed method which asks human operators to manipulate a robot based on their interests realizes the meaningful and efficient data collection with diversity.