本研究の目的は計算舞踊科学の創出だった。このためには舞踊者からのデータ採取ならびに計算処理環境の整備が必要である。舞踊者からデータを採取するために、音響設備を購入して舞踊環境を整備すると共に、ビデオによる動画撮影を行った。
計算処理環境については、大規模データが生成されることが予期されていたため、並列分散データ処理スキームであるMapReduceを独自に設計・実装し、さらにその性能ボトルネックとして知られているShufflingを高性能化する技法を開発した。偏ったデータによって引き起こされるMapReduceシャッフリングの問題に対処するために設計された3つのインメモリーシャッフル手法を提案し、評価した。結合シャッフルアーキテクチャ (CSA)は、対応するブロックのメタデータを含む両方のブロック、シャッフル転送の単位、およびメタブロックをシャッフルするために、単一のペアごとの全対全交換を使用する。分離シャッフルアーキテクチャ（DSA）は、メタブロックとブロックのシャッフルを分離し、それぞれのシャッフリングプロセスにさまざまな全対全交換アルゴリズムを適用して、偏った分布におけるストラグラーの影響を軽減しようとする。スキュー認識メタシャッフル（DSA w / SMS）を使用した分離シャッフルアーキテクチャは、各ワーカープロセスのメモリ消費量に基づいて、ブロックの適切な配置を自律的に決定する。このアプローチは、一部のワーカープロセスがノードメモリの制限を超える可能性がある、データが非常に偏った状況を対象とする。この研究では、3つのシャッフル方法の実装を評価した。Intel Omni-Pathなどの高性能インターコネクトを用いたプロトタイプのインメモリMapReduceエンジンをスクラッチから実装し、評価を行った。Oakforest-PACSスーパーコンピュータにおける1024台のノードを用いた実験の結果、DSA w / SMSが極端に歪んだデータ分布における唯一の実行可能な解決策であることが示された。
The purpose of this study was to create computational dance science. In order to do this, it is necessary to collect data from the dancers and construct a computing environment. In order to collect data from the dancers, we prepared sound equipment and improved the dance environment, and also did video shooting for data acquisition.
We propose and examine the three in memory shuffling methods designed to address problems in MapReduce shuffling caused by skewed data. Coupled Shuffle Architecture (CSA) employs a single pairwise all-to-all exchange to shuffle both blocks, units of shuffle transfer, and metablocks, which contain the metadata of corresponding blocks. Decoupled Shuffle Architecture (DSA) separates the shuffling of meta-blocks and blocks, and applies different all-to-all exchange algorithms to each shuffling process, attempting to mitigate the impact of stragglers in strongly skewed distributions. Decoupled Shuffle Architecture with Skew-Aware Meta-Shuffle (DSA w/SMS) autonomously determines the proper placement of blocks based on the memory consumption of each worker process. This approach targets extremely skewed situations where some worker processes could exceed their node memory limitation. This study evaluates implementations of the three shuffling methods in our prototype in-memory MapReduce engine, which employs high performance interconnects such as InfiniBand and Intel Omni-Path. Our results suggest that DSA w/ SMS is the only viable solution for extremely skewed data distributions, but this solution is only valid on systems equipped with high performance interconnects. We also present a detailed investigation of the performance of CSA and DSA in various skew situations.
|
