Databricksは10月16日（オランダ時間⁠）⁠、オランダ・アムステルダムで開催された同社主催のテクノロジカンファレンス「Spark AI Summit Europe in Amsterdam」において、同社が2017年10月から開発してきた「Delta Lake」をLinux Foundationに寄贈すると発表した。Delta Lakeは2019年4月からApache License 2.0のもとでオープンソースとして開発されてきたが、今回のLinux Foundationへの寄贈により、ビッグデータ/AI業界におけるストレージレイヤのスタンダードとなることをめざしていく。

Delta Lake Now Hosted by the Linux Foundation to Become the Open Standard for Data Lakes - The Databricks Blog

The Delta Lake Project Turns to Linux Foundation to Become the Open Standard for Data Lakes - The Linux Foundation

Delta Lake is now part of the Linux Foundation! EBs of data/month, in production 1000s of organizations. Can't wait to see how the community will shape its future and establish it as a standard for data lakes.https://t.co/NeZ2TVaeeA

— Reynold Xin (@rxin) 2019年10月16日

Delta LakeはHadoopやAmazon S3、Azure Data Lake Storageといった複数の分散ストレージに対し、ACIDトランザクションやタイムトラベル、スキーママネジメント、データバージョニングといった機能を提供するストレージレイヤで、Apache Sparkに特化した実装となっている。すでに4000を超える企業/組織で採用されており、1ヵ月あたり2エクサバイトを超えるデータ量がDelta Lake上で処理されているという。

オープンソースとして公開されてからは、Alibaba、Intel、Booz Allen Hamiltonなどが開発に加わってきたが、今回のLinux Foundation入りをきっかけに、より幅広い企業のジョインと導入実績の拡大を図っていく。