慶應義塾大学学術情報リポジトリ(KOARA)KeiO Associated Repository of Academic resources

慶應義塾大学学術情報リポジトリ(KOARA)

ホーム  »»  アイテム一覧  »»  アイテム詳細

アイテム詳細

アイテムタイプ Article
ID
2018000006-20180417  
プレビュー
画像
thumbnail  
キャプション  
本文
2018000006-20180417.pdf
Type :application/pdf Download
Size :121.7 KB
Last updated :Oct 24, 2022
Downloads : 83

Total downloads since Oct 24, 2022 : 83
 
本文公開日
 
タイトル
タイトル 計算舞踊科学の創出  
カナ ケイサン ブヨウ カガク ノ ソウシュツ  
ローマ字 Keisan buyō kagaku no sōshutsu  
別タイトル
名前 Creation of computational dance science  
カナ  
ローマ字  
著者
名前 川島, 英之  
カナ カワシマ, ヒデユキ  
ローマ字 Kawashima, Hideyuki  
所属 慶應義塾大学環境情報学部准教授  
所属(翻訳)  
役割 Research team head  
外部リンク  
 
出版地
 
出版者
名前 慶應義塾大学  
カナ ケイオウ ギジュク ダイガク  
ローマ字 Keiō gijuku daigaku  
日付
出版年(from:yyyy) 2020  
出版年(to:yyyy)  
作成日(yyyy-mm-dd)  
更新日(yyyy-mm-dd)  
記録日(yyyy-mm-dd)  
形態
1 pdf  
上位タイトル
名前 学事振興資金研究成果実績報告書  
翻訳  
 
 
2018  
 
開始ページ  
終了ページ  
ISSN
 
ISBN
 
DOI
URI
JaLCDOI
NII論文ID
 
医中誌ID
 
その他ID
 
博士論文情報
学位授与番号  
学位授与年月日  
学位名  
学位授与機関  
抄録
本研究の目的は計算舞踊科学の創出だった。このためには舞踊者からのデータ採取ならびに計算処理環境の整備が必要である。舞踊者からデータを採取するために、音響設備を購入して舞踊環境を整備すると共に、ビデオによる動画撮影を行った。

計算処理環境については、大規模データが生成されることが予期されていたため、並列分散データ処理スキームであるMapReduceを独自に設計・実装し、さらにその性能ボトルネックとして知られているShufflingを高性能化する技法を開発した。偏ったデータによって引き起こされるMapReduceシャッフリングの問題に対処するために設計された3つのインメモリーシャッフル手法を提案し、評価した。結合シャッフルアーキテクチャ (CSA)は、対応するブロックのメタデータを含む両方のブロック、シャッフル転送の単位、およびメタブロックをシャッフルするために、単一のペアごとの全対全交換を使用する。分離シャッフルアーキテクチャ(DSA)は、メタブロックとブロックのシャッフルを分離し、それぞれのシャッフリングプロセスにさまざまな全対全交換アルゴリズムを適用して、偏った分布におけるストラグラーの影響を軽減しようとする。スキュー認識メタシャッフル(DSA w / SMS)を使用した分離シャッフルアーキテクチャは、各ワーカープロセスのメモリ消費量に基づいて、ブロックの適切な配置を自律的に決定する。このアプローチは、一部のワーカープロセスがノードメモリの制限を超える可能性がある、データが非常に偏った状況を対象とする。この研究では、3つのシャッフル方法の実装を評価した。Intel Omni-Pathなどの高性能インターコネクトを用いたプロトタイプのインメモリMapReduceエンジンをスクラッチから実装し、評価を行った。Oakforest-PACSスーパーコンピュータにおける1024台のノードを用いた実験の結果、DSA w / SMSが極端に歪んだデータ分布における唯一の実行可能な解決策であることが示された。
The purpose of this study was to create computational dance science. In order to do this, it is necessary to collect data from the dancers and construct a computing environment. In order to collect data from the dancers, we prepared sound equipment and improved the dance environment, and also did video shooting for data acquisition.

We propose and examine the three in memory shuffling methods designed to address problems in MapReduce shuffling caused by skewed data. Coupled Shuffle Architecture (CSA) employs a single pairwise all-to-all exchange to shuffle both blocks, units of shuffle transfer, and metablocks, which contain the metadata of corresponding blocks. Decoupled Shuffle Architecture (DSA) separates the shuffling of meta-blocks and blocks, and applies different all-to-all exchange algorithms to each shuffling process, attempting to mitigate the impact of stragglers in strongly skewed distributions. Decoupled Shuffle Architecture with Skew-Aware Meta-Shuffle (DSA w/SMS) autonomously determines the proper placement of blocks based on the memory consumption of each worker process. This approach targets extremely skewed situations where some worker processes could exceed their node memory limitation. This study evaluates implementations of the three shuffling methods in our prototype in-memory MapReduce engine, which employs high performance interconnects such as InfiniBand and Intel Omni-Path. Our results suggest that DSA w/ SMS is the only viable solution for extremely skewed data distributions, but this solution is only valid on systems equipped with high performance interconnects. We also present a detailed investigation of the performance of CSA and DSA in various skew situations.
 
目次

 
キーワード
 
NDC
 
注記

 
言語
日本語  

英語  
資源タイプ
text  
ジャンル
Research Paper  
著者版フラグ
publisher  
関連DOI
アクセス条件

 
最終更新日
Oct 24, 2022 13:38:07  
作成日
Oct 24, 2022 13:38:07  
所有者
mediacenter
 
更新履歴
Oct 24, 2022    インデックス を変更
 
インデックス
/ Public / 塾内助成報告書 / 学事振興資金研究成果実績報告書 / 2018年度
 
関連アイテム
 

ランキング

最も多く閲覧されたアイテム
1位 出生率及び教育投... (775) 1st
2位 『うつほ物語』俊... (474)
3位 新自由主義に抗す... (384)
4位 731部隊と細菌戦 ... (356)
5位 二〇二三年度三田... (269)

最も多くダウンロードされたアイテム
1位 Predicting crypt... (2455) 1st
2位 家族主義と個人主... (1905)
3位 731部隊と細菌戦 ... (574)
4位 猫オルガンとはな... (510)
5位 新参ファンと古参... (438)

LINK

慶應義塾ホームページへ
慶應義塾大学メディアセンターデジタルコレクション
慶應義塾大学メディアセンター本部
慶應義塾研究者情報データベース