OSSデータベース取り取り時報

第97回MySQL HeatWave Lakehouseのアーキテクチャ⁠EDB Postgres Vision Tokyo 2023がまもなく開催

この連載はOSSコンソーシアム データベース部会のメンバーがオープンソースデータベースの毎月の出来事をお伝えしています。

[MySQL]2023年8月の主な出来事

8月はMySQLの製品リリースはありませんでした。MySQLのクラウドサービスであるMySQL HeatWaveでは3つの機能追加が行われています。1点目はレプリケーション関連の機能強化で、意図的な遅延を追加した遅延レプリケーションです。もう一点は主キーのないテーブルからのレプリケーション時に、レプリケーション先のテーブルに自動的に「不可視の主キー」を作成するGenerate Primary Keysです。グループ・レプリケーションや分析エンジンのHeatWaveクラスターでは主キーが必要とされるため、この機能の追加によってより多くの環境でのMySQL HeatWaveの活用が見込まれます。

3点目は監査機能の追加です。MySQLの商用版であるMySQL Enterprise EditionではMySQL Enterprise Auditとして監査ログを出力するためのプラグインが提供されていますが、このプラグインがMySQL HeatWaveでも利用可能となりました。

数百テラバイトのデータを高速に分析するMySQL HeatWave Lakehouse

7月にMySQL HeatWaveの新機能としてMySQL HeatWave Lakehouseが一般提供開始になったことを、本連載の第96回でもご紹介しました。HeatWave Lakehouseは「オブジェクト・ストレージ上のデータをHeatWaveクラスターのメインメモリにロードし、インメモリ・データストアの処理性能を活用して分析処理を行う」データ分析基盤です。

オラクルが公開しているHeatWave Lakehouseのベンチマークテストでは、500TBのデータを使ったTPC-Hのベンチマークをベースに、他のクラウドサービスの製品との性能比較を行っています。

MySQL HeatWave Lakehouseと他製品とのベンチマーク比較(オラクルのWebサイトより)
MySQL HeatWave Lakehouseと他製品とのベンチマーク比較

ここでは北米のリージョンで概ね近い価格になる構成で性能比較をしています。最初のステップであるオブジェクト・ストレージからのデータロードを表す⁠Load time⁠では、HeatWave Lakehouseでは5時間弱のものが、製品によっては10倍近い時間がかかっているケースも見られます。また実際にデータに対しての分析処理の総実行時間⁠Total query time⁠は、HeatWave Lakehouseでは40分程度だったものが、他の製品では9時間から20時間と大幅に差がついています。

HeatWave Lakehouseはオラクルが長年研究開発を行ってきたインメモリ・データベースの技術を応用し、複数のインメモリのカラムナー・データストアが連動するアーキテクチャになっています。HeatWave Lakehouseのリリースのタイミングで、これまでの64台から最大で512台にまでスケールするようになっており、1台あたり約1TBのデータを保持できるため、最大データサイズは500TBまでサポートします。公開中のベンチマークのみならず、オブジェクト・ストレージ上の全てのデータを分散型のインメモリ・データストアで処理しているため、高速な分析が可能となっています。なおこのベンチマークの手順や使用されたスクリプトはGitHubで公開しており、ユーザーの皆さんが独自に再現テストなどを行いことが可能です。

ノードの台数が多くなるとどうしても処理性能のばらつきが起こりえますが、対策としてHeatWaveではデータを細かい単位に分割するSuper Chunkingという仕組みを使い、オブジェクト・ストレージとHeatWaveノード間の通信帯域を最大限に利用し、またロード元のオブジェクト・ストレージやロード先のHeatWaveの各ノードの負荷などにあわせて動的にデータの割り当てを行うようになっています。

HeatWaveのSuper Chunkingのイメージ図
HeatWaveのSuper Chunkingのイメージ図

また機械学習を活用したオプティマイザでは、SQL文の全体の構造は違っていても一部に共通する構造が存在する場合は、それまで蓄積された統計情報を共有することで効率的な実行計画の生成が可能となる機能が、MySQL HeatWaveの運用効率化の機能であるAutopilotの1つAuto Query Plan Improvementとして提供されています。

[PostgreSQL]2023年8月の主な出来事

最初にイベント情報を2つ。1つはまもなく開催されるOSSコンソーシアムメンバ主催のイベントのお知らせ。もうひとつは現在注目を集めている次期メジャーバージョン16の解説セミナーの事後報告です。また、そのバージョン16の新ベータ版や、サポート中のバージョンのアップデートが公開になりました。

EDB Postgres Vision Tokyo 2023 の開催がまもなく

EDB Postgres Vision Tokyo 2023の開催が、9月7日に迫っています。

PostgreSQL関連では日本国内にて恒例開催される代表的なイベントがいくつかあります。仲間びいきをお許しいただければ、PostgreSQLエンタープライズ・コンソーシアム(PGECons)の年度ごとの成果報告セミナー、日本PostgreSQLユーザ会(JPUG)のPostgreSQL Conference Japan(11月開催⁠⁠、そしてこの「EDB Postgres Vision Tokyo」の3つが三大イベントでしょう。私たちデータベース部会の仲間であるエンタープライズDB(EDB)が主催します。

イベント名 EDB Postgres Vision Tokyo 2023 ~ 今こそPostgresで前進 ~
開催日時 2023年9月7日(木)13:00~16:00、オンライン開催
主催 エンタープライズDB株式会社
参加費用 無料
対象 企業のIT部門・データベース(DBA)担当者、商用DBから移行を検討中の方、データベース・エンジニア
お申し込み イベントの詳細ページからお申し込みください。

EDBが提供する各種Postgres関連サービスを活用したストレスフリーな構築、移行について紹介される他、導入企業の方が各社の取り組みについて語られるセッションもあります。筆者が注目しているセッションをいくつか紹介します。時間帯など詳細はイベントページを参照してください。

事例

「事例から見るEDBの日本市場における今後の方向性について」
クラウド化に向けてPostgresを採用する企業が急増しています。将来を見据えたエンタープライズクラスのシステム構築において、どのようにデータベースを選択し、移行・実装していくべきなのでしょうか。今回は、EDB Postgresで実現するデータベース環境が紹介され、実際の導入企業に各社のデータベース移行の取り組みについて語っていただきます。
事例を紹介いただくのは次の企業のみなさんです。
  • 株式会社NTTデータ・エービック
  • 株式会社フィンズ
  • 保険の窓口グループ株式会社
導入事例セッションの登壇者
導入事例セッションの登壇者

技術

「DXに向けた高可用性構築および運用負荷を削減するEDBのソリューション – Kubernetesで実現するDXに適したDBソリューション 」
従来の高可用性環境を構築する際に、細かな設計や切り替えなどが必要になってます。このため、バージョンアップなどの作業を躊躇させる要因となっています。DX時代のスピードに対応しつつ、バージョンアップを容易に実施し、サービス切り替えにおけるダウンタイムを最低限に抑えるためのソリューションをご紹介します。
「EDB Postgresで99.999%の高可用性を実現する EDB Postgres Distributed(PGD)」
PostgreSQLで高可用性システムを構築する場合は、従来、Primary-Standby 構成が主流でしたが、スタンバイへの切り替え時間が数十秒要したり、データベースのメジャー・バージョンアップの際に大規模なデータ移行を伴うなど課題がありました。EDB Postgres Dstiributed(PGD)はこれらの現場の課題を解決し、99.999%の高い可用性を実現しました。本セッションでは、PGDのアーキテクチャと実際の構成例とそのメリットを紹介します。

PostgreSQLとデータベースの未来

「Postgresの今後に向けて」
EDBは、PostgreSQLコミュニティにおいての世界最大の貢献者として、ミッションクリティカルなアプリケーションの複雑な展開と多岐にわたるデータ要求に対して、継続的な支援を戦略として公言しています。このセッションではEnterpriseDB、Chief Product Engineering OfficerのJozef de Vries がPostgresとEDBの今後の展開について語ります。
「エンタープライズデータベースの傾向と今後のトレンド」
高可用性やセキュリティ強化の必要性から、将来性の確保や移行のリスク回避に至るまで、企業は様々なタイミングで必ず発生するデータベースの問題をどのように解決していくべきなのでしょうか。今後のエンタープライズ領域におけるデータベースについてEnterpriseDB アジア太平洋地域 Field CTOのAjit Gadgeが解説します。

SRA OSSによるPostgreSQL 16の最新機能の解説セミナー

8月25日に、SRA OSS合同会社によるPostgreSQL 16最新機能を解説するウェビナーが開催されました。このセミナーの講師は、『これからはじめるPostgreSQL入門』の共著者でもあり、日本PostgreSQLユーザ会(JPUG)の理事も務める高塚遥さんです。

PostgreSQLの新メジャーバージョン16についてはこの連載でも毎回取り上げていますが、夏から秋にかけての一番注目の話題になっています。PostgreSQLに限らず、OSSの新バージョンの情報は開発コミュニティなどのリリースのお知らせが中心になりますが、正直に言ってわかりやすいとは言えません。今回のセミナーのようにエキスパートに説明をしていただくとわかりやすくて助かります。

セミナーでは、性能向上、SQL機能、クライアント、ロジカルレプリケーション、運用管理の5つのカテゴリに分けて注目の新機能について性能測定結果などを示しながら解説されました。この様に実際に動かしてみるとどうなるかが添えられている点がとても有益です。一例として、新オプションの並列適用(streaming = parallel)を使うと性能が向上することが示されました。

バージョン16の新機能とロジカルレプリケーションの並列適用の性能例
PostgreSQLバージョン16の新機能
ロジカルレプリケーションの並列適用の性能

なお、このウェビナーは既に終了していますが、発表資料はSRA OSSのセミナー資料公開ページで一般公開されています。

PostgreSQL 16のベータ版を含む新バージョンのリリース

8月10日、次のメジャーバージョンとなるPostgreSQL 16の新しいベータ版とサポート中の全てのメジャーバージョンに対するアップデートが公開されました。

PostgreSQL 16 ベータ3
今回のベータ3での変更点として次の点が示されています。
  • \drgコマンドがpsqlに追加されてロールの付与に関する情報を表示
  • 「pg_waldump --save-fullpage」で生成されたファイル名にタイムラインIDを追加
  • 並列VACUUMワーカーでデッドロックが発生した後のクラッシュを修正
この他にも細かな修正点はあるのでしょうが、ハイライト的に示される変更点は限定的になってきている様に感じます。今回のベータ3で正式リリースにかなり近づいているのでしょうか。今年の第3四半期末の正式リリースが期待されています。
PostgreSQL 15.4, 14.9, 13.12, 12.16, 11.21
サポートされている全てのバージョンのアップデートが出ています。報告された40を超えるバグの修正と、2つのセキュリティ脆弱性が修正されています。
  • CVE-2023-39417:引用符内の拡張スクリプト @substitutions@ によりSQLインジェクションが可能: 対象となるのはバージョン11 ~ 15。
  • CVE-2023-39418:MERGEがUPDATEまたはSELECTの行セキュリティポリシーを適用できない: 対象となるのはバージョン15。
PostgreSQL 11がEOLに
同じお知らせの中で、PostgreSQL 11が11月9日でEOLになる旨の注意喚起がされています。バージョン11を採用されている場合はアップグレードの計画を立てる必要があります。

2023年9月以降開催予定のセミナーやイベント⁠ユーザ会の活動

オンサイト(会場)開催が復活しつつあります。また、利便性のあるオンライン開催もこの3年間で定着し、オンサイト/オンライン/ハイブリットが混在するようになってきました。興味を持たれて参加したいイベントの開催形態にご注意ください。

EDB Postgres Vision Tokyo 2023 ~ 今こそPostgresで前進 ~

日程 2023年9月7日(木)13:00~16:00
場所 オンライン開催
内容 記事本文でも紹介しましたが、PostgreSQL関連の主要なイベントのひとつと言っていいでしょう。EDBが提供する各種Postgres関連サービスを活用したストレスフリーな構築、移行について紹介される他、導入企業の方が各社の取り組みについて語られるセッションもあります。
主催 エンタープライズDB株式会社

オープンソースカンファレンス2023 Online/Fall⁠Tokyo/Fall

日程 〔Online/Fall〕2023年9月29日(金⁠⁠~30日(土)10:00~18:00 ⁠9月上旬にプログラム公開予定)
〔Tokyo/Fall〕2023年10月21日(土)10:00~16:00(9月19日まで発表者・団体募集中)
場所 〔Online/Fall〕オンライン開催
〔Tokyo/Fall〕大田区産業プラザPiO(東京都大田区)
内容 オンサイト(会場)開催のオープンソースカンファレンスが戻ってきました。このOnline/FallとTokyo/Fallでは、セミナーはオンライン開催、展示は会場開催と、日程を分けての実施になります。遠方からも聴講しやすいオンライン開催のセミナーと、対面での交流や情報交換が可能な会場開催です。それぞれ日程と開催方法、内容にご注意いただきご参加ください。なお、会場開催の回に参加する場合でも、参加人数把握のために参加登録をお願いします。
主催 オープンソースカンファレンス実行委員会

PostgreSQL Conference Japan 2023

日程 2023年11月24日(金)10:00~18:00(9月5日まで講演発表の募集中)
場所 AP日本橋(東京都)6F(東京駅より徒歩5分)
内容 毎年秋に開催されている日本PostgreSQLユーザ会(JPUG)主催のPostgreSQL Conference Japan 2023が案内されました。午前は基調講演などがあり、午後は複数トラックに分かれて多数の講演が設けられる予定です。一般公募の講演発表募集は9月5日締切ですのでまだギリギリ間に合います。また、スポンサーとスタッフも募集中です。参加にはチケットが必要で9月下旬から販売開始予定です。
主催 日本PostgreSQLユーザ会

おすすめ記事

記事・ニュース一覧