Linux Daily Topics

2019年10月17日"データレイク"のスタンダードをめざす ―Databricks、「Delta Lake」Linux Foundationに寄贈

Databricksは10月16日(オランダ時間⁠⁠、オランダ・アムステルダムで開催された同社主催のテクノロジカンファレンス「Spark AI Summit Europe in Amsterdam」において、同社が2017年10月から開発してきた「Delta Lake」をLinux Foundationに寄贈すると発表した。Delta Lakeは2019年4月からApache License 2.0のもとでオープンソースとして開発されてきたが、今回のLinux Foundationへの寄贈により、ビッグデータ/AI業界におけるストレージレイヤのスタンダードとなることをめざしていく。

Delta Lake Now Hosted by the Linux Foundation to Become the Open Standard for Data Lakes - The Databricks Blog
The Delta Lake Project Turns to Linux Foundation to Become the Open Standard for Data Lakes - The Linux Foundation

Delta LakeはHadoopやAmazon S3、Azure Data Lake Storageといった複数の分散ストレージに対し、ACIDトランザクションやタイムトラベル、スキーママネジメント、データバージョニングといった機能を提供するストレージレイヤで、Apache Sparkに特化した実装となっている。すでに4000を超える企業/組織で採用されており、1ヵ月あたり2エクサバイトを超えるデータ量がDelta Lake上で処理されているという。

オープンソースとして公開されてからは、Alibaba、Intel、Booz Allen Hamiltonなどが開発に加わってきたが、今回のLinux Foundation入りをきっかけに、より幅広い企業のジョインと導入実績の拡大を図っていく。

おすすめ記事

記事・ニュース一覧