脳内における外部環境の再構成処理であるマルチモーダル脳情報処理を調べるために，3か年計画の2年目となる2021年度においては，第一に，特殊聴覚環境を用いたマルチモーダル脳情報処理の検証・更新を2020年度に引き続き行った．聴知覚だけでなく聴覚イメージの変容にも注目し，これまでに明らかにした3つのサブ処理（視聴覚情報の誤差を調節して知覚に影響を及ぼす処理，視聴覚情報の誤差に基づいて同情報の組み合わせの優先度を最適化する中間処理，視聴覚情報の組み合わせの優先度を調節して行動に影響を及ぼす処理）の存在を強固なものにした．第二に，特殊触覚環境の改良を行った．2020年度，左手（右手）への接触が右手（左手）で受容される触覚転移システムを作成したが，システムの安定性や精度を十分に上げることができないという問題が生じた．そのため，MR（複合現実）グラスを用いて現実の視空間に仮想物体を重畳表示し，仮想物体に接触した手指と逆の手指をVR（仮想現実）グローブで刺激するように再設計した．更なる改良が必要であるが，これにより精緻な実験的検討が可能になった．第三に，特殊前庭覚環境の構築と同環境を用いたマルチモーダル脳情報処理の検討を行った．特殊前庭覚環境については，回転ベッドで実験参加者の身体姿勢を変化させ，連動する視覚情報をVRゴーグルで操作することで，重力方向が上下反転した上下反転前庭覚システムを実現した．このシステムを使用して姿勢と視覚刺激の直立／倒立の組み合わせに対する脳活動を解析したところ，視前庭覚情報の誤差に依存して視覚処理の抑制が生じることが分かった．一方で2020年度に引き続き，COVID-19の影響によって人間を対象とした実験の遂行は大きく制限されてしまっている．安全性を第一に考えた上で各特殊環境の実験的検討を更に進め，得られた知見からマルチモーダル脳情報処理の総体的なメカニズムに迫っていく．
Multimodal information processing achieves reconstruction of external environment in the brain. To examine it, in the second year (2021) of the three-year plan, I first verified and updated knowledge about multimodal information processing using the unusual auditory environment continuing from 2020. By focusing on changes of not only auditory perception but also auditory image, I reinforced the presence of three subprocessing steps that have been uncovered so far: perception-related processing that regulates audiovisual information errors, intermediate processing that optimizes priority of combinations of audiovisual information based on the errors, and behavior-related processing that regulates priority of combinations of audiovisual information. Secondly, I improved the unusual somatosensory environment. In 2020, I developed the somatosensory transposition system in which a touch on the left (right) hand is received on the right (left) hand, but a problem occurred that stability and precision of the system could not be improved sufficiently. Therefore, I redesigned the system so that virtual objects are superimposingly displayed in the real visual space using mixed reality glasses and that one hand is stimulated by a virtual reality glove following the other touching a virtual object. Though it is necessary to further improve the system, precise experiments will be possible with this. Thirdly, I developed the unusual vestibular environment and examined multimodal information processing using the environment. As for the unusual vestibular environment, I achieved the up-down reversed vestibular system in which the gravity direction is reversed as to up and down by changing body posture of a participant using an inversion bed and by manipulating synchronous visual information using virtual reality goggles. I analyzed brain activity for combinations of normal/inverted posture and visual stimulus using this system, and found that inhibition of visual processing occurs depending on visuovestibular information errors. Because of the effects of COVID-19 following 2020, however, experiments involving humans have been largely restricted. I will further conduct experiments for each unusual environment with considering safety first, and pursue overall mechanism of multimodal information processing based on acquired knowledge.
|
