レポート

Elastic{ON} Tour 2016 in Tokyo 基調講演レポート

この記事を読むのに必要な時間:およそ 3 分

12月15日,六本木ヒルズにて,Elasic社の公式イベントElastic{ON} Tour 2016 in Tokyoが開催されました。本稿では基調講演を中心にその模様をレポートします。

基調講演「ELKからElastic Stackへ」

基調講演は「ELKからElastic Stackへ」と題して,CTO&創業者のShay Banon氏が話しました。

画像

Elasticの歴史

始めに,Elastic社のこれまでの歩みを振り返りました。2010年2月に,分散型RESTful検索/分析エンジンであるElasticsearchの最初のバージョンをリリースしました。そして2012年に会社(当時の社名はElasticsearch)を設立しました。その際,Elasticsearchやそのエコシスムに投資することで継続的に作っていくこと,よりシンプルにすること,そしてこれらを使って実際の問題を解決してもらうことを目標に据えたと言います。

その後,2013年にはOSSのプロジェクトである,Elasticsearchのデータを簡易に可視化するためのKibanaロギング用のサーバーサイドデータ処理パイプラインであるLogstashが会社に参加しました。そして2014年に,Elasitcsearchのバージョン1.0と,モニタリングのためのMarvel(現Monitoringをリリースしました。

2015年には,1回目の「Elastic{ON} ユーザーカンファレンス」を催し,700名以上の参加者を集めました。そして社名を現在のElasticに変更しました。この変更は,Elasticsearchは中核ではあるけれども他のプロダクトもあること,そしてこれらの様々なツールを通じて,データ処理の問題に注力していることを示すためだったそうです。

その後,Found(現Elastic Cloudを買収しました。これは多くのユーザーがホスト型のElasticsearchを求めていたからだと言います。また,Packetbeatチームが参加し,単一目的のデータ収集・加工,転送するための現Beatsが生まれました。

2016年,Elasticsearch,Logstash,Kibanaをまとめて表す略称として「ELK」という言葉がありましたが,その使用を止めて,Elasitc Stackという名称を使うように変更しました(理由は後述)⁠また,異常検知のためのPrelertを買収しました

画像

そして現在の総累積ダウンロード数は7,500万もあることを強調しました。Shay氏は,常にダウンロードしているユーザーのことを考えているとし,⁠成長していく中でユーザー体験を第一に考え,それが私たちのやる気の根源となっている」と述べました。

Elastic StackとX-Pack

Beatsがリリースされる前はElasticsearch,Logstash,Kibanaを通した処理をELK Stackと呼んでいました。ELK Stackはコミュニティから出てきた言葉で,Shay氏らも気に入っていました。

しかしBeatsもELK同様にコア技術であるため,ELK Stackという言葉にBeatsの名前をどのように組み合わせるか,という問題が出てきました。最初にELKBという略称を考えたそうですが,おおげさだと感じたそうです。そして,それぞれの製品だけで仕事をしているわけではなくチームで仕事していることを念頭におき,Beatsを含めたElK StackをElastic Stackという名前で呼ぶようにしたと説明しました。

画像

さらに,Elastic Stackのそれぞれの製品を拡張する機能を一つにまとめてX-Packというパッケージを作りました。X-Packの機能にはSecurityAlerting⁠Monitoring」ReportingGraphとありますが,X-Packとしてまとめたことで一括でダウンロードできるようになりました。

Shay氏は「会社として,これらの機能をどのようにコマーシャライズするかという時に,public extension point,つまりオープンソースを使いながらやっていくということです。これはサポートだけではなく,コマーシャルIPに私たちが投資していることでもある」と述べていました。

Elastic Stackとして一つにまとめてバンドル化したわけですが,構成される製品それぞれのバージョン番号の違いによる混乱という問題も出てきました。例えば,Elasticsearchの1.4はLogstashやKibanaのどのバージョンとうまく連携できるのか,すぐには分からなくなりました。また,一つのバージョンに対するサポート期間も問題になりました。そこで,Elastic Stack 5.0を発表した時に,X-Packを含むすべてのバージョンを5.0に揃えました。

Shay氏は「今回,Elastic Stack 5.0のすべての製品を一貫してリリースし,同時にElastic Cloudでも使えるようにしたのはすごかった」と振り返っていました。

ユーザー事例

そして,Elastic Stackのユーザー事例を紹介しました。

Elasticserachの出発点は検索と分析です。いまや世界中の企業やWebサイトが使うようになりました。例えば,WikipediaebayのMarktplaatsGROUPONです。

Shay氏は,Elasticsearchを一番最初にリリースした時,間違いなく,これはいろいろな事例に使えるという直感はあったそうですが,どの分野で上手くいくかはその当時分かっていなかったと言います。そして,ログで使われるように進化したのは,Shay氏とっても驚きだったとのことです。

ここでShay氏が気にいってることは,Elasticsearchがロギングの問題解決を謳っていたわけではないことです。Logstashは複数のアウトプットを初日からサポートし始めたわけですが,Elasticsearchが最終的に残ったのは,ロギングの問題でもっとも能力の高かったからだと考えているそうです。そして今後もこのようにユーザーに必要される製品を提供し続けていきたいと話していました。

ユーザー事例としてログの分野で非常に使われ始めると,検索のみで使われていた時とは異なり,非常の大量のデータレートをハンドリングし,大量のデータそのものをハンドリングするようになりました。その結果,違った要件が多く生まれ,製品を改善するきっかけになりました。

今ではこのログの部分が,Stackの多くのユーザー事例になっています。例えばverizonでは,インフラストラクチャ,Webサーバ,アプリケーションから毎日収集するログは1.2TB以上に及びます。またNetSuiteでは,データセキュリティの要件を満たしながら毎日30億以上のイベントをやり取りしています。

そして新たなユーザー事例として,セキュリティ分野が台頭してきていると言います。というのもセキュリティ関連の分析ではログが多くの関連性を持つからです。Shay氏は「ログと同じくらい重要になってくると思う」と述べていました。

セキュリティ分野でのユーザー事例として,例えばCisco Systemsでは,1日に分析するデータ量がAMP(Advanced Malware Protection)クエリ130億,メール6,000億,Webリクエスト160億あります。またBNP Paribasでは,世界中のIT部門と業務部門のために20PB以上のデータを取り扱い,それによって分析を行ったり,セキュリティ関連のオペレーションをしています。

ここまででユーザー事例として3つの種類を紹介しましたが,多くのユーザーは一つ以上の課題を解決するために使っていると述べていました。

そして,Shay氏のお気に入りのユーザー事例を2つ紹介しました。一つがNASAです。例えば,火星にいるCuriosity Roverからデータが地球に届き,最終的にはElasticsearchのクラスタに入ってきます。そしてNASAのアナリストもKibanaを直接使ってデータを分析しています。また,それ以外にもログだったり,セキュリティだったり,Webサイトの検索でも使っています。もう一つがGoldman Sachsです。エンタープライズ検索,リアルタイムログ解析,トレード追跡アプリケーションなど,様々な問題解決のために何百ものクラスタを使っています。

著者プロフィール

高橋和道

gihyo.jp編集部 所属。最近では電子書籍の制作にも関わる。

URL:https://twitter.com/k_taka

コメント

コメントの記入