Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装

第21回Sparkの設計と実装[2]~Sparkにおけるデータ共有の仕組みと耐障害性の実現方法

今回は、Sparkにおいて複数のジョブでデータを共有する仕組みと、耐障害性を実現する方法を説明します。

全文を読む

プロフィール

猿田浩輔(さるたこうすけ)

NTTデータ システム技術本部に所属。

オープンソースを軸とした方式技術部隊でHadoopやSparkの導入支援や技術開発,テクニカルサポートに従事するほか,Hadoop/Sparkのコミュニティに参画し開発活動も行っている。2015年6月からApache Sparkのコミッタとして活動中。

第10回日本OSS奨励賞受賞。

山田浩之(やまだひろゆき)

日本アイ・ビー・エム株式会社を経て,ヤフー株式会社にて分散型全文検索エンジンの研究開発に従事。2008年上期未踏IT人材発掘・育成事業において高性能分散型検索エンジンの開発によりスーパークリエータに認定。現在は東京大学生産技術研究所にて高性能並列データ処理系の研究開発に従事。博士(情報理工学)。

著書に『検索エンジン自作入門』。

おすすめ記事

記事・ニュース一覧