慶應義塾大学学術情報リポジトリ(KOARA)KeiO Associated Repository of Academic resources

慶應義塾大学学術情報リポジトリ(KOARA)

ホーム  »»  アイテム一覧  »»  アイテム詳細

アイテム詳細

アイテムタイプ Article
ID
2021000004-20210040  
プレビュー
画像
thumbnail  
キャプション  
本文
2021000004-20210040.pdf
Type :application/pdf Download
Size :122.4 KB
Last updated :Feb 16, 2024
Downloads : 25

Total downloads since Feb 16, 2024 : 25
 
本文公開日
 
タイトル
タイトル リアルタイム言語モデル  
カナ リアル タイム ゲンゴ モデル  
ローマ字 Riaru taimu gengo moderu  
別タイトル
名前 Real-time language model  
カナ  
ローマ字  
著者
名前 川島, 英之  
カナ カワシマ, ヒデユキ  
ローマ字 Kawashima, Hideyuki  
所属 慶應義塾大学環境情報学部准教授  
所属(翻訳)  
役割 Research team head  
外部リンク  
 
出版地
 
出版者
名前 慶應義塾大学  
カナ ケイオウ ギジュク ダイガク  
ローマ字 Keiō gijuku daigaku  
日付
出版年(from:yyyy) 2022  
出版年(to:yyyy)  
作成日(yyyy-mm-dd)  
更新日(yyyy-mm-dd)  
記録日(yyyy-mm-dd)  
形態
1 pdf  
上位タイトル
名前 学事振興資金研究成果実績報告書  
翻訳  
 
 
2021  
 
開始ページ  
終了ページ  
ISSN
 
ISBN
 
DOI
URI
JaLCDOI
NII論文ID
 
医中誌ID
 
その他ID
 
博士論文情報
学位授与番号  
学位授与年月日  
学位名  
学位授与機関  
抄録
言語モデルにはニューラルネットワークやベクトル空間モデルなど様々な実現方式がある.これをリアルタイム化するには,データ挿入の高速化が必要である.データはトランザクショナルにデータベースに書き込まれるため,データベースの応答を高速化することが重要である.主記憶データベースシステムでは永続性のためにログを永続化ストレージに書く必要があり,これが性能や応答時間に大きく影響する.

本研究では,応答時間を抑えるため,Siloプロトコルを対象にして応答高速化手法を提案した.Silo は高スループットを提供することが知られている.その並行性制御法は楽観法であるため,最適化を施さなければ高競合下でCicada 法などの近代的手法に劣るが,スロットリング最適化を利用すればCicada法に優ることも知られている.また,Silo は近代的制御法の中で唯一プロダクションシステムに実装されている.従ってSilo の応答時間改善は学術的にも実用的にも価値があると考えられる.

他方,Silo の応答時間はデフォルトで平均20 msと長い.この理由は,Silo はエポックに基づく一括永続化でスループット性能を高めようとするからであり,そのエポック更新周期がデフォルトで40 msだからである.そのナイーブな応答時間改善手法は,この更新周期を40 msよりも短くすることである.ところがこの方式では応答時間が改善しない.なぜならCPUコアは複数あるためロガースレッドも複数存在し,各ロガースレッドの進捗状況に大きな差が出る場合がある場合,応答時間が急激に劣化するからである.

そこで永続化が遅れているロガースレッドに対応するワーカスレッドの進行を抑制するエポック同期法なる手法を提案した.実証実験では,従来手法から提案手法にすることにより, 22%のスループット減少と引き換えに,97%減となる10.7 ms の応答時間を達成した.すなわち,リアルタイム言語モデル基盤の構成技法を創出した.
There are various language models, such as neural networks and vector space models. To make this real-time, data insertion must be accelerated. Since data is written to the database transactionally, it is important to speed up the database response. Main memory database systems require logs to be written to persistent storage for persistence, which significantly affects performance and response time.

In order to reduce the response time, we proposed a response acceleration method for the Silo protocol, which is known to provide high throughput. Its concurrency control method is an optimistic method, which is inferior to modern methods such as the Cicada method under high competition without optimization, but it is known to be superior to the Cicada method if throttling optimization is used. Silo is also the only modern control method that has been implemented in a production system. Therefore, Silo's response time improvement is considered valuable both academically and practically.

On the other hand, Silo's response time is long, averaging 20 ms by default. The reason for this is that Silo attempts to improve throughput performance with epoch-based batch persistence, and its default epoch update cycle is 40 ms. The naïve response time improvement method is to make this update cycle shorter than 40 ms. However, this method does not improve response time. This is because there are multiple CPU cores and therefore multiple logger threads, and if there is a large difference in the progress of each logger thread, the response time will rapidly deteriorate.

Therefore, we proposed an epoch-synchronization method that suppresses the progress of worker threads corresponding to logger threads whose persistence is delayed. In a demonstration experiment, a response time of 10.7 ms, a 97% reduction, was achieved in exchange for a 22% reduction in throughput by switching from the conventional method to the proposed method. In other words, we have created a technique for constructing a real-time language model infrastructure.
 
目次

 
キーワード
 
NDC
 
注記

 
言語
日本語  

英語  
資源タイプ
text  
ジャンル
Research Paper  
著者版フラグ
publisher  
関連DOI
アクセス条件

 
最終更新日
Feb 16, 2024 14:10:54  
作成日
Feb 16, 2024 14:10:54  
所有者
mediacenter
 
更新履歴
Feb 16, 2024    インデックス を変更
 
インデックス
/ Public / 塾内助成報告書 / 学事振興資金研究成果実績報告書 / 2021年度
 
関連アイテム
 

ランキング

最も多く閲覧されたアイテム
1位 『疱瘡除』と『寿... (384) 1st
2位 731部隊と細菌戦 ... (362)
3位 新自由主義に抗す... (339)
4位 出生率及び教育投... (324)
5位 物語に基づく反復... (290)

最も多くダウンロードされたアイテム
1位 中和滴定と酸塩基... (724) 1st
2位 アセトアニリドの... (568)
3位 日本における美容... (436)
4位 学生の勉強方法に... (417)
5位 新参ファンと古参... (342)

LINK

慶應義塾ホームページへ
慶應義塾大学メディアセンターデジタルコレクション
慶應義塾大学メディアセンター本部
慶應義塾研究者情報データベース