慶應義塾大学学術情報リポジトリ(KOARA)KeiO Associated Repository of Academic resources

慶應義塾大学学術情報リポジトリ(KOARA)

Home  »»  Listing item  »»  Detail

Detail

Item Type Article
ID
2020000008-20200107  
Preview
Image
thumbnail  
Caption  
Full text
2020000008-20200107.pdf
Type :application/pdf Download
Size :116.2 KB
Last updated :Feb 16, 2024
Downloads : 204

Total downloads since Feb 16, 2024 : 204
 
Release Date
 
Title
Title 勾配ブースティングの高度化と応用に関する研究  
Kana コウバイ ブースティング ノ コウドカ ト オウヨウ ニ カンスル ケンキュウ  
Romanization Kōbai būsutingu no kōdoka to ōyō ni kansuru kenkyū  
Other Title
Title A study on the advancement and application of gradient boosting  
Kana  
Romanization  
Creator
Name 鈴木, 秀男  
Kana スズキ, ヒデオ  
Romanization Suzuki, Hideo  
Affiliation 慶應義塾大学理工学部教授  
Affiliation (Translated)  
Role Research team head  
Link  
Edition
 
Place
 
Publisher
Name 慶應義塾大学  
Kana ケイオウ ギジュク ダイガク  
Romanization Keiō gijuku daigaku  
Date
Issued (from:yyyy) 2021  
Issued (to:yyyy)  
Created (yyyy-mm-dd)  
Updated (yyyy-mm-dd)  
Captured (yyyy-mm-dd)  
Physical description
1 pdf  
Source Title
Name 学事振興資金研究成果実績報告書  
Name (Translated)  
Volume  
Issue  
Year 2020  
Month  
Start page  
End page  
ISSN
 
ISBN
 
DOI
URI
JaLCDOI
NII Article ID
 
Ichushi ID
 
Other ID
 
Doctoral dissertation
Dissertation Number  
Date of granted  
Degree name  
Degree grantor  
Abstract
転移学習の一分野に、ドメイン適応と呼ばれるものがある。ドメイン適応とは、予測対象である転移先のデータ(Target Domain)と予測対象でない転移元のデータ(Source Domain)の分布は異なるが、同一のタスクを想定する位置づけのことである。その中でも、サンプル数が少ないラベル付きTarget Domainとサンプル数が多いラベル付きSource Domainを用いて学習を行う教師ありドメイン適応では、TrAdaBoostやTrBaggなどのアンサンブル学習をベースとした手法が提案されている。
本研究では、多重加法的回帰木(Multiple Additive Regression Trees; MART)にニューラルネットのドロップアウトの概念を導入した手法であるDARTをドメイン適応に応用した、新たな手法TrDARTを提案した。TrDARTは既存手法と比べて2つの利点がある。1つ目は、アンサンブル学習の中でも高い予測性能を期待できる勾配ブースティング木を用いることによる予測性能の向上である。2つ目は、Source DomainとTarget Domainの学習を分離させることで、Target Domainに対する学習時間を大幅に短縮できる点である。複数の公開データセットを用いて、提案手法と既存手法を比較した結果、TrDARTは他の手法と比べて安定して高い予測精度を記録した。特に、回帰問題のデータセットに対して優れた予測精度を得ることができた。また、データサイズの大きいデータセットでのTarget Domainに対する学習時間を大幅に削減することができた。これらの結果により、予測性能の向上と学習時間の削減という2つの面での提案手法の有効性が示された。
One of the methods in transfer learning is Domain adaptation. This method assumes that the same task, although the distribution of target domain data and source domain data are different. Particularly, as for supervised domain adaptation, which use a small sample size of labeled target domain and a large sample size of labeled source domain, there are several methods such as TrAdaBoost and TrBagg based on ensemble learning.
In this study, TrDART is proposed, which is regarded as a methods of supervised domain adaptation using ensemble learning similarly existing methods. This method has two algorithms: applying Dropout to an existing tree learned using source domain and applying DART to new trees learned using target domain. TrDART has two advantages over existing methods. The first is to improve prediction performance by using a gradient boosting decision tree. The second is to reduce learning time for the target domain by separating the learning of source domain and target domain.
TrDART obtained high prediction score stably through results of comparing the proposed method with existing methods using multiple open datasets. Particularly, excellent prediction accuracy was obtained for the regression problem datasets. In addition, we succeeded in significantly reducing the training time for target domain in large size datasets. These results show the two effectiveness of our proposed method: improvement of prediction performance and reduction of learning time.
 
Table of contents

 
Keyword
 
NDC
 
Note

 
Language
日本語  

英語  
Type of resource
text  
Genre
Research Paper  
Text version
publisher  
Related DOI
Access conditions

 
Last modified date
Feb 16, 2024 13:35:06  
Creation date
Feb 16, 2024 13:35:06  
Registerd by
mediacenter
 
History
Feb 16, 2024    インデックス を変更
 
Index
/ Public / Internal Research Fund / Keio Gijuku Academic Development Funds Report / Academic year 2020
 
Related to