本研究課題では、信号処理と深層学習の融合による高速高精度画像復元技術の開発を行なった。信号処理技術により目的に応じた画像の特徴を前処理として検出し、劣化画像の性質を考慮しながら深層学習を行うことにより、1)霧除去、2)雨滴除去、3)ビデオの超解像、4)ボケ除去に対して従来方に比べて良好な性能が得られた。また深層学習における基本的な処理である畳み込みに対して、いくつかのカーネルを用意して、その線型結合により畳み込みを表現することで直接実現する場合より演算量を削減しつつ高性能なネットワークを構築することができた。
In this research project, we developed a high-speed, high-precision image restoration technique by combining signal processing and deep learning. By using signal processing to detect image features as a pre-processing step and deep learning while taking into account the characteristics of degraded images, we have achieved better performance than conventional methods for 1) fog removal, 2) raindrop removal, 3) video super-resolution, and 4) blur removal. Moreover, for convolution, which is a fundamental process in deep learning, we were able to construct a high-performance network while reducing the amount of operations by preparing several kernels and expressing the convolution by linear combination of the kernels.

研究種目 : 基盤研究 (C) (一般)
研究期間 : 2020～2022
課題番号 : 20K04472
研究分野 : 画像処理