研究代表者らは，社会性を備えたロボット，すなわち，ロボット同士，機械，情報サービス，そして人と能動的に繋がるロボットをソーシャブルロボットと呼ぶ．本研究課題では，ソーシャブルロボットのベースとなるクラウドネットワークロボットにおける3つの論点，異種ロボット間クラウド型協調・連携，ロボット・情報サービス間クラウド型データ連携，協働型ヒューマンロボットインタラクションを整理し，ソーシャブルロボットに求められる機能，高精度な知覚・状況認知機能および社会的かつ情動的インタラクション機能の詳細を明らかにする．研究計画2年目となる2018年度は，情報サービスとのクラウド型協調・連携機能，および，社会的・情動的インタラクション機能を実装し，各種多対多ヒューマンロボットインタラクション検証実験を通して，それらの有用性を実証的に検証した．本年度に実施した詳細課題ごとの成果は次の通りである．
【研究成果1：話者の感情的行動と話者間の社会的関係を考慮したHRI対話割込み制御】
ソーシャブルロボットの重要要素の1つが会話能力である．社会の中でロボットが使用される場合，現在のタスクとは全く関係ないタスクが割り込んでくることが考えられる．本課題では，会話内容の実時間分析に加え，話者間の人間関係や会話中の感情の変化を把握することで，会話タスクの優先度決定や円滑な会話タスクの切り替えを実現する，複数会話タスクの制御スケジューラの詳細設計を行い，プロトタイプでの検証実験を通してその有用性を評価した．
【研究成果2：マンガ的な感情表現効果を導入したテレプレゼンス対話システム】
バストショットが中心となる従来のテレプレゼンス対話システムでは，感情の身体的表現が困難であるという問題を抱えていた．本課題では，画面上のユーザの表情に合わせて適切なマンガ的表現をオーバレイし，特定の感情を視覚的に強調する，新しいテレプレゼンスロボットを提案，その有用性を実証的に評価した．
We call robots which provide a certain kind of sociality "Sociable Robots". They have advanced interpersonal communication skill, and can cooperate with people, robots, everyday things and various information services, actively. In this project, we have marshaled three technical issues of "Cloud Network Robots" which can be the base of Sociable Robots; cooperation and collaboration technologies among heterogeneous robots, data linkage technologies between robot and cloud information service, and many-to-many human robot interaction technologies. Then, we have discussed the following two more issues for the Sociable Robots; highly accurate perceptual processing and context recognition technologies for HRI, and social and affective interaction technologies in HRI. In 2018-2019, which is the second year of the research project, we implemented functionality for cloud type cooperation and collaboration with information services and for social and emotional interaction on a sociable robot prototype, and verified their usefulness through various many-to-many human robot interaction experiments. Results in each research task carried out are as follows.
[Theme 1: Conversation Interruption Handling in HRI with Users' Emotional Behaviors and Social Relationships]
We proposed a novel scheduler which decides switch timing of conversational tasks when a robot was interrupted. The model grasps the structure of the conversation and finds its breakpoints based on adjacency pairs. In order to decide whether to switch conversational tasks on each breakpoint or not, the model prioritizes conversational tasks considering an importance of its topic and a length as contexts of each conversational task. The model also uses human relationships and emotional behaviors to decide priority of conversational tasks. The result of an evaluation experiment shows that our proposed scheduler could impress subjects more favorably than that which always prioritizes an interrupter.
[Theme 2: Integrating Manga-Effects to Telepresence Video Communication]
We hypothesize that the augmentation of video calls with Manga-Effects will help users attain a sense of familiarity and find entertaining components within their conversations. In specific, adding various Manga-Effects over the video call, respectively selected upon the users' facial expression, will help visually emphasize certain emotions. This experiment analyzes the level of users' involvement in the conversation, and verifies our hypothesis.