本研究は、KMD におけるリアルプロジェクトで求められる「複数の拠点に分散した研究者が、協調作業を行うことで、ロケーションに依存しない研究開発環境の構築」を目指したものである。これまでも、TV会議システム等を用いた遠隔協調研究開発環境の構築を行ってきているが、2020年に世界を襲ったCOVID-19によってこうした要請が大きく進んだ。ここでは
こうした研究開発基盤の構築のため、画像や音声、研究データ等の各メディアソースをオブジェクトして扱い必要に応じてそれらを合成して提示するオブジェクト指向メディアシステムの活用を進めている。今年度は、研究拠点だけで無く学生や教員の自宅までを含めた広範囲な分散環境の中での構築が不可欠となっており、このような環境下でのオブジェクト指向メディアの活用方法に注力して研究を実施した。開発を進めているオブジェクト指向メディアシステムを基盤として、その各メディアソースの管理、それらの合成提示手法、構成された合成メディアによる協調作業環境を実現する。これは、単に遠隔地とのコミュニケーションを支援するだけでなく、より密なグループ間の連携も促進し、より高度な成果を得られるように構築を行っている。特に、今年度の経験から音響環境の整備が不可欠であり、音声・音メディアの管理・合成に関して検討を進めている。この中で音声・音の定位について試行錯誤を行い、集中するべきメインの音声・音を中央に定位させながら、他の音・音声を利用者の周辺に定位させていくことが効果的であることが明らかになっている。一方で、合成された音声の中ではバランスの設定が難しく今後の課題となっている。また、音声・音メディアの収録環境において周囲の情報との分離、複数の話者の音声の分離等について検討を進めている。
今後After COVID-19の研究開発環境として、こうした技術は重要となると考えており、今後も実際の環境へ適用しながら研究を進める予定である。
This research aims at "construction of a location-independent R & D environment by collaborating with researchers dispersed in multiple bases" required for a real project in KMD. Until now, we have been building a remote collaborative research and development environment using video conferencing systems, etc., but COVID-19, which hit the world in 2020, made such a request significantly. here
In order to build such a research and development platform, we are promoting the utilization of an object-oriented media system that handles each media source such as images, sounds, and research data as objects and synthesizes and presents them as needed. This year, it is essential to build in a wide range of distributed environments that include not only research bases but also the homes of students and faculty members, and we will focus on how to utilize object-oriented media in such an environment. The research was carried out. Based on the object-oriented media system that is being developed, we will realize the management of each media source, the method of presenting their composition, and the collaborative work environment with the composed composition media. It not only supports communication with remote areas, but also promotes closer collaboration between groups and is built to achieve practical results.In particular, from this year's experience, it is essential to improve the acoustic environment, and we are studying the management and synthesis of audio and sound media. It is effective to perform trial and error on the localization of voice/sound, and to localize other voice/sound around the user while localizing the main voice/sound to be concentrated in the center. It has become clear. On the other hand, it is difficult to set the balance in the synthesized voice, which is a future issue. In addition, we are studying the separation of audio and sound media from surrounding information and the audio of multiple speakers in the recording environment.
We believe that these technologies will be important as the R & D environment for After COVID-19 in the future, and we plan to continue research while applying them to the actual environment.