OSSデータベース取り取り時報

第10回 MySQL Innovation DayとPostgreSQLエンタープライズコンソーシアムセミナー開催,Apache SparkとSpark SQLの最近の動向ご紹介

この記事を読むのに必要な時間:およそ 3 分

[Apache SparkとSpark SQL] 最近の動向

本連載の第4回でもご紹介したApache SparkとSpark SQLですが,現在も活発に開発が進められています。そこで今回はApache SparkとSpark SQLの最近の動向についてご紹介します。

リリース情報

本記事の執筆時点でSparkの公式サイトでのアナウンスはまだのようですが,Apache Spark Wikiによると間もなくSpark 2.0がリリースされる予定です。Spark 2.0の正式リリースに先駆けて,Sparkの主要な開発企業である米国Databricks社Spark 2.0のテクニカルプレビュー版を公開しました。また,これに関連してDatabricks社は自社サイトのブログに記事を掲載し,Spark 2.0での改善点について解説しています。

ブログによると,Spark 2.0では新たな処理エンジンであるTungsten engineの採用により,処理速度が大きく向上しました。具体的な数値に関しても,Spark 2.0とSpark 1.6の処理速度の比較検証結果をグラフで紹介しています。

また,Spark SQLについてもブログで解説しています。Spark SQLでは新たなANSI SQLパーサの導入とサブクエリのサポートにより,SQL機能が大幅に拡大しました。これにより,BIなどの意思決定支援システムの標準ベンチマークであるTPC-DSの全クエリを実行可能になりました。加えて,クエリオプティマイザであるCatalystの改善により,Parquetファイルのスキャンのスループットが3倍向上しました。

その他の詳細については,ブログ記事の本文をご参照ください。

Apache Spark関連のイベント・セミナー情報

『詳解 Apache Spark』出版記念イベント
5月11日(水)に,⁠詳解 Apache Spark』⁠技術評論社)の出版記念イベントが開催されました。イベントでは書籍の著作者らによるSparkに関するLTが行われ,技術者向けにSparkの技術詳細や活用ノウハウなどについて紹介されました。イベント案内ページにて,一部セッションの講演スライドが公開されています。

2016年6月開催予定のセミナーやイベント,ユーザ会の活動

MySQL 5.7入門セミナーシリーズ インストール編

日程2016年6月1日(水⁠⁠ 14:00-16:30
場所日本オラクル株式会社 本社 東京都港区北青山2-5-8
内容2015年夏から開催し毎回大好評をいただいているMySQL入門セミナーシリーズがMySQL 5.7に対応。今回は第1回コンテンツのインストール編を再度開催します。
主催日本オラクル MySQL GBU

OSSユーザーのための勉強会 < OSS X Users Meeting > #14 HadoopとSpark

日程2016年6月1日(水⁠⁠ 18:30-20:15(開場 18:00)
場所国立情報学研究所 12階 1208,1210会議室 東京都千代田区一ツ橋2-1-2
内容分散処理を実現する「 HadoopとSpark 」を題材に,その特長・アーキテクチャ・最新動向・今後の展望について紹介
主催SCSK株式会社 R&Dセンター OSS戦略企画室

第15回 中国地方DB勉強会 in 米子

日程2016年6月4日(土) 13:00-17:00
場所米子コンベンションセンター 1F 情報プラザ 鳥取県米子市末広町294
内容中国地方の各地を巡回しながら開催されるデータベース勉強会です。今回は米子にてMySQLの新機能やデータベースセキュリティ,また「プログラマに知ってほしいRDBな話」など多彩な内容となっています。

Spark Summit 2016

日程2016年6月6日~8日(現地時間)
場所Hilton San Francisco Union Square 333 O’Farrell St San Francisco, CA 94102 USA
内容Apache Sparkの開発者・ユーザイベント
主催米国Databricks社

オラクルのサポートが受けられる安価な商用DB,MySQL Enterprise Editionのご紹介

日程2016年6月14日(火⁠⁠ 15:00-17:00
場所日本オラクル株式会社 本社 東京都港区北青山2-5-8
内容オラクルが提供するOracle Premier Support for MySQLや透過的データ暗号化をはじめとするセキュリティ機能を提供するMySQL Enterprise Editionの特徴や利点,採用事例を紹介するセミナーです。
主催日本オラクル MySQL GBU

JPUG 2016 夏セミナー

日程2016年6月18日(土⁠⁠ 13:00-15:30
場所株式会社アシスト 東京都千代田区九段北4-2-1 市ヶ谷東急ビル
内容日本PostgreSQLユーザ会(JPUG)の第11回(2016年度)総会に併設してセミナーが開催されます。2つの講演(内容調整中)と,国内のPostgreSQL普及に貢献した方を表彰するJPUG感謝賞の発表/表彰が行われます。
主催日本PostgreSQLユーザ会(JPUG)

オープンソースカンファレンス2016 Hokkaido

日程2016年6月17日(金⁠⁠ 13:00-17:30
2016年6月18日(土⁠⁠ 10:00-18:00
場所札幌コンベンションセンター 札幌市白石区東札幌6条1丁目1-1
内容オープンソースのコミュニティや協賛企業,後援団体によるオープンソース関連のセミナーや展示などをお楽しみ頂けます。入場料は無料です。PostgreSQLに関する2つの講演とJPUG北海道支部のブース展示が予定されています。MySQLに関しては日本MySQLユーザ会と協賛のMySQLコミュニティチームの2つの講演とそれぞれのブース展示が予定されています。
主催オープンソースカンファレンス実行委員会

MySQL 5.7入門セミナーシリーズ SQLチューニング編 in 大阪

日程 2016年6月28日(火) 13:30-17:30
場所日本オラクル株式会社 関西支社 大阪市北区堂島2-4-27 新藤田ビル 9F
内容2015年夏から開催し毎回大好評をいただいているMySQL入門セミナーシリーズがMySQL 5.7に対応。今回はSQLチューニング編を大阪にて開催予定。お申し込みページは近日開設予定。
主催日本オラクル MySQL GBU

その他のニュース

スクウェア・エニックスの認証や課金のための共通インフラにMySQLを採用し,圧倒的な品質を誇るMySQLのサポートを採用することでシステム停止のリスクを軽減した事例が公開されています。他にもMySQL Clusterで100TBクラスのデータを処理するPaypalや,16億人のアクティブユーザをMySQLで管理するFacebookなどの大規模事例も紹介されています。

著者プロフィール

中西剛紀(なかにしよしのり)

TIS株式会社

TIS(株)においてOSSの技術コンサルティングや保守サポートに従事。過去にさまざまなデータベースと苦楽を共にしたが,現在は日本PostgreSQLユーザ会,PostgreSQLコンソーシアムといったコミュニティでの技術検証や講演を通じて,PostgreSQLの普及活動に力を注いでいる。


倉又裕輔(くらまたゆうすけ)

株式会社 日立ソリューションズ

金融系SEとしてシステム基盤の設計・構築を担当後,現在はOSSのビッグデータ関連技術の調査・検証業務に従事。NoSQL・Hadoop・Sparkなど分散DB・分散処理技術に興味を持ち活動中。


梶山隆輔

MySQL Sales Consulting Senior Manager。

日本オラクル(株)において,MySQLのお客様環境への導入支援や製品の技術解説を担当するセールスコンサルタントチームのアジア太平洋地域リーダー。多国籍なMySQL部門にて,オーストラリア,インド,台湾などに在籍するチームメンバーを束ね,アジア太平洋地域の25以上の国や地域でのMySQL普及やビジネスの拡大をミッションとする。