人間の脳は, 多様な感覚情報を複合的に処理し, 外部環境を矛盾なく再構成することで, 個々の感覚情報処理から想定されるレベルよりも豊かな知覚経験や優れた行動制御を実現している。この多感覚統合処理を調べるために, 3か年計画の1年目となる平成29年度においては, まず, ヘッドマウントディスプレイ(HMD)/聴覚ウェアラブルデバイス(AWD)と脳計測手法(特に脳波計測)の同時利用あるいは複合利用を実現する基本的な実験システムの構築を行った。具体的には, HMD/AWDが生じる電磁気ノイズを可能な限り低減するようにし, 脳計測データの信頼性を担保した。また, HMD/AWDと脳計測装置間の信号の遅延やジッターを可能な限りなくし, 同期制御を可能にした。続いて, 視覚の影響を受けやすい前庭感覚と聴覚を対象として, 感覚反転環境を構築した。具体的に前庭感覚においては, HMDを装着した状態で実験参加者の姿勢を操作し, 前庭感覚情報(直立/倒立)と視覚情報(下降/上昇)とのマッチ/ミスマッチに対する脳計測システムを確立した。聴覚においては, 右耳(左耳)に呈示された音が左耳(右耳)に届くように実験参加者の装着したAWDを構成し, 聴覚情報(左/右)と視覚情報(左/右)のマッチ/ミスマッチに対する脳計測システムを確立した。いずれの場合も, マッチ/ミスマッチに依存して関連する脳部位間の機能的結合が変化し, 各感覚野の活動に影響を与えていた。この知見は, 脳活動の量的な議論に終始しない動的な多感覚統合機能の解明の鍵となり, 平成30年度の研究に繋がるものである。一方で, HMDの性能不足や残った電磁気ノイズがデータ計測・解析時の問題となっている。したがって平成30年度には, システムの強化(高性能のHMD, 高電磁気シールド)も実験と並行して行っていく必要がある。
Human brains process multimodal sensory information compositely and reconstruct an external environment consistently, which results in a richer experience of perception and a more excellent control of behavior than those assumed from individual sensory information processing. To investigate the multisensory integration processing, in the first year (2017) of the 3-year plan, a basic experimental system was constructed in which simultaneous or combinational use of a head mounted display (HMD)/auditory wearable devices (AWD) and a brain measurement technique (especially electroencephalography) was achieved at first. Specifically, reliability of brain measurement data was secured by reducing electromagnetic noise generated from the HMD/AWD as much as possible. Moreover, synchronized control was obtained by reducing latency and jitter between signals from the HMD/AWD and the brain measurement device as much as possible. Subsequently, reversed sensory environment was constructed as to vestibular and auditory sensations that are sensitive to visual sensation. Specifically, for the vestibular sensation, participants' body tilt was manipulated with them wearing the HMD, and a brain measurement system was established for match/mismatch between vestibular information (normal/inverted) and visual information (downward/upward). For the auditory sensation, the AWD participants wore was configured so that a sound presented to right (left) ear was delivered to the left (right) ear, and a brain measurement system was established for match/mismatch between auditory information (left/right) and visual information (left/right). In both cases, functional connectivity between relevant brain sites was altered depending on the match/mismatch, which affected activity in each sensory area. Theses findings can be keys to elucidate the dynamic multisensory integration function beyond quantitative discussion of brain activity, and leads to research in 2018. On the other hand, deficiency in performance of the HMD and remaining electromagnetic noise have become issues in measuring and analyzing data. Accordingly, in 2018, it is also necessary to strengthen the system (high performance HMD, high electromagnetic shielding) in parallel with experiment.