レポート

『サーバ/インフラエンジニア養成読本 ログ収集~可視化編』出版記念!執筆者が語る大講演会! レポート[パネルディスカッション編]

この記事を読むのに必要な時間:およそ 9 分

9月9日,シナジーカフェ GMO Yoursにて『サーバ/インフラエンジニア養成読本 ログ収集~可視化編』出版記念!執筆者が語る大講演会!が開催されました。前編のセッション編のレポートに続き,このイベントの模様をレポートします。

特別パネルディスカッション

休憩をはさみ,発表した鈴木健太氏吉田健太郎氏大谷純氏道井俊介氏と,モデレータの伊藤直也氏を交えたパネルディスカッションが行われました。

画像

著者陣の仕事はサーバインフラエンジニア?

伊藤直也氏

画像

伊藤:トレジャーデータの太田さんからモデレータの依頼があり,ここにいます。さて,本書の書名はサーバ/インフラエンジニア養成読本 ログ収集~可視化編ですが,皆さん,サーバインフラエンジニアですか?

全員:はい。

道井俊介氏

画像

道井:メインはインフラ,息抜きでログの仕事をしています。最近はサーバのパフォーマンスの可視化もし始めました。

伊藤:なぜこの質問をしたかと言うと,そもそもログ収集はインフラエンジニアの業務範囲なのかを聞きたくて。世間一般の認識はどうですか?

鈴木健太氏

画像

鈴木:先のセッションで権限があったから入れましたという話が挙がっていましたが,インフラエンジニアだから入れられるというのは結構あると思います。

道井:インフラエンジニアは基本どこのサーバでもSSHログインできるため,勝手にFluentdを入れて,勝手にログをもってくることができます。

伊藤:待って,この話はあまり一般的でないと思う(会場:笑)

吉田健太郎氏

画像

吉田:僕の会社も同じような感じです。2,3年前に,ログ解析やクエリログの収集をしたくなり,トレジャーデータのFluentdが良さそうだというのが分かりました。木曜にメールをして,翌月曜には全台にデプロイが完了していました。

伊藤:それはインフラエンジニアとしての業務にあたっていたんですか?

吉田:趣味です。

伊藤:なぜ,皆さん趣味でやってるんですか(苦笑)

鈴木:僕はもともとはサーバサイドエンジニアで,インフラエンジニアの人にFluentdを入れるかどうかを聞きました。いまは菅理APIを作ったり,Elasticsearchの面倒をみていたりしています。やはり許可がいらないというのがあるので,とりあえず入れてしまうというのがありますね。

ログ解析の仕事は片手間にやれる?

伊藤:ログ収集エンジニアといっても,業務側の知識が必要ですよね? つまり,エンジニア以外の人がどういうデータを見たいのか,必要なデータをヒアリングしないといけないとか。そういうことをやりはじめると,インフラエンジニアをしながら,片手間にログエンジニアをするのは難しいと思いますが,そのあたりはどうですか?

道井:そうですね,時間的には厳しいですね。ただ,pixivではフルタイムで作業するグロースチームがあります。そして,自分を含めインフラエンジニアは何をしても許されているというか,いろいろなことをしています。そういう状況で,自分のタスクの進み具合を見ながら,空き時間にそちらを手伝う感じですね。

大谷純氏

画像

大谷:そのチームがどういうデータがほしいとか,どう入れるべきだというのは設計してくれるんですか? それとも相談しながら?

道井:どうですかね。ふらっと行って,こういうのはどうですか?という感じです。

鈴木:Elasticsearchが楽なのはログを入れたらきちんと出してくれるところなので,まずはタイムスタンプだけあれば良いみたいなところがあります。

道井:Elasticsearchを入れていると,他の使い方を始めてくれるというのがあります。

伊藤:たしかに。その発想から行くと,インフラエンジニアの人が始めるってのはありますね。

大谷:中に入れておけば,誰か見てくれるし,誰か触ってくれるだろうと。その敷居を下げているのが良いですね。

伊藤:僕が昔,ソーシャルゲームの会社にいた時には,ログエンジニアと言うのが明確にいて,ログだけやっていました。そして,ゲームを作ってるチームから生ログを見たいという声に答えていました。それこそ便利なHadoopクラスタなどがない時代から行っていて,ファイルサイズがとても大きく,力技で対応していました。そのため,1,2人は張りついていないとできなくて,インフラとは違うスキルセットが必要でした。

大谷:その点はゲーム業界がやや特殊で,ユーザの動きを見て課金につなげなくてはいけないのかなと思います。

EFKの導入前はどうしてた?

伊藤:そうそう。話が順番が前後してしまうけど,そもそもEFK(Elasticsearch, Fluentd, Kibana)スタックがない頃はどうしてましたか?

吉田:EFKの前はFluentdとGrowthForecastを使って可視化をしていました。デプロイ直後は500エラーが増えたり,レスポンスタイムが劣化したりすることがあると言われますが,ログをtailで眺めていても全然分かりません。アプリエンジニアに気づいてもらいたくて。

伊藤:今回,話が2つあると思っていて,エラーやレスポンスタイムなどのシステムモニタリングの話と,ECサイトの購買数やアクティブユーザの数などのビジネス側の話です。いまのはモニタリングの話で,モニタリングは昔からいろいろあったと思うのですが,DAUを計算するとか,どうしてコンバージョンしたのかなどは,どのように調べていましたか?

道井:pixivでは2年ほど前に分析基盤を作ろうとなり,その時にグロースチームができました。僕はこのチームには入っていませんでしたが,そこにデータがあったのでKibanaに入れました。それよりも前は,サービスについて知るということをあまりやっていなかったはずです。お問い合わせはよく見ていましたが,やることが多くて,やることを探すという段階ではなかったです。

伊藤:それでも最初伸びているかどうかということを,ユーザー数や登録数などから見ますよね?

道井:Google Analyticsが入っていたので,全員がそれを見ていました。ただ,Google Analyticsの集計をがんばってやるのですが,出てくるのがすごく遅いというか。

鈴木:VOYAGE GROUPのメディア関連事業の人たちは,Google Analyticsの神みたいな感じで。その他,Fluentdを入れる前から,課金のログやポイントのログ等をRDBに入れていて,それをダンプしてNetezzaなどのデータウェアハウスに入れて分析して,回していました。

伊藤:あまり体系化された方法があったわけではない?

鈴木:そもそもお金をかかわるものを一番見たいんですよね。そこの部分はデータベースに入れていた感じです。

著者プロフィール

高橋和道

gihyo.jp編集部 所属。最近では電子書籍の制作にも関わる。

URL:https://twitter.com/k_taka
URL:https://mstdn.jp/@k_taka

コメント

コメントの記入