本研究では，特殊環境を用いて人間のマルチモーダル脳情報処理のメカニズムに迫ることを目的としている．3か年計画の3年目となる2022年度においては，まず，特殊触覚環境を用いたマルチモーダル脳情報処理の検討を2021年度に引き続き行った．具体的には，MRグラスを用いて実際の手指と仮想物体を重ねて表示し，手指が物体に触れた際に反対の手指がVRグローブで刺激されるような環境を用いた．実験的な検討は可能になったが，システムの安定性や精度の問題は完全には解消されず，更なる改善の余地がある．また，特殊前庭覚環境の改良と同環境を用いたマルチモーダル脳情報処理の検討も2021年度に引き続き行った．具体的には，回転ベッドで実験参加者の身体姿勢を変化させ，連動する視覚情報をVR ゴーグルで操作することで，重力方向のみが反転した特殊前庭覚環境を実現した．その上で，身体姿勢と視覚刺激の一致・不一致の組み合わせに対する脳活動を解析した．更には，これまでに得られた知見を総合し，マルチモーダル脳情報処理の総体的なメカニズムの検討を行った．以上により，マルチモーダル脳情報処理においては，①特殊環境への接触によって「どの感覚情報の組み合わせを統合するか」を計画する統合モデルが動的に最適化され，その過程で誤差が違和感として表出すること，②特殊環境への更なる接触によって統合モデルが神経回路に静的に定着すること等が分かった．従来，特殊視覚環境では視覚の影響が強過ぎて他の感覚との関係を調べにくく，その他の感覚の特殊環境の構築は技術的に難しかった．本研究ではこれらの問題を克服して種々の特殊環境を実現し，マルチモーダル脳情報処理のメカニズムに迫ることができた．
This study aims to approach the mechanism of multimodal information processing in the human brain using unusual environment. In the third year (2022) of the three-year plan, I first examined multimodal information processing using unusual somatosensory environment continuing from 2021. Specifically, I used the environment in which a real hand and virtual objects are superimposingly displayed using the mixed reality glasses and one hand is stimulated by a virtual reality glove following the other touching a virtual object. Though experiments became possible, a problem of stability and precision with the system has not been solved completely and there is room for further improvement. Moreover, I improved unusual vestibular environment and examined multimodal information processing using the environment continuing from 2021. Specifically, I achieved the unusual vestibular environment in which only the gravity direction is reversed by changing body posture of a participant using an inversion bed and by manipulating synchronous visual information using virtual reality goggles. Then, I analyzed brain activity for congruent and incongruent combinations of body posture and visual stimulus. Furthermore, I considered the general mechanism of multimodal information processing by integrating the knowledge obtained so far. Accordingly, the following points were suggested as to multimodal information processing: (1) the integration model that plans "which combination of sensory information will be integrated" is optimized dynamically by exposure to unusual environment and errors are exhibited as a feeling of strangeness in the process, and (2) the integration model is established statically in the neural circuit by further exposure to unusual environment. To date, it was difficult to examine the relationship with the other senses using unusual visual environment because of strong visual effects and producing unusual environment as to other sense was technically difficult. In this study, I have overcome these problems to achieve various unusual environment and succeeded to approach the mechanism of multimodal information processing.
|
