サイバーエージェントを支える技術者たち
第3回 “データ解析環境を支える職人”―新規開発局 コアテクノロジーグループ 鈴木俊裕
Webサービスの質を高めていくためには,
サイバーエージェントにおいて,
開発合宿での議論から始まったプロジェクト
- ―― 現在サイバーエージェントにおいてどういった分野を担当されているのでしょうか。
「現在は大規模なデータの分散処理を行うためのフレームワークである 『Hadoop』 や, そのHadoop上で動作するデータウェアハウスである 『Hive』 を利用し, データ解析のためのプラットフォームを開発しています。具体的にはHadoopクラスタの構築であったり, 設定まわりといったところが担当になります」 - ―― 現在のプロジェクトを担当するようになった経緯を教えてください。
「あるとき, 私を含めた4名で開発合宿を行ったのですが, そのとき “今 「Ameba」 には何が必要か” という議論になったんです。そこで出てきた意見が, 各サービスの担当プロデューサーが十分にアクセスログなどのデータを活用できていないのではないか, というものでした。結論として, 必要なのはデータ解析のためのシステムだということになり, それなら我々で作ろうと考えました。これを社内で提案したところ, 開発の許可が出たというわけです」 - ―― データ解析のツールを提供したことで,
どういった反応がありましたか。 「プロデューサーには好評ですね。現在はSQLに似た言語でデータを操作できるHive QLをアドホックに発行できる 『HUE』 を使い, データ解析を実現しています。まだちょっと難しい部分はありますが, 積極的に活用してもらっているのではないでしょうか。ただ, さらに利用者の輪を広げるために, 今後は社内での勉強会などを開いたりしていきたいですね」 - ―― データ解析プラットフォームの今後として,
どういったことを考えていますか。 「現在はおもにプロデューサーが使っていますが, エンジニアが気軽に大量のデータを解析できるプラットフォームを作りたいと考えています。たとえるならAmazonが提供している, クラウド上で大規模なデータ処理を行うElastic MapReduceのようなプラットフォームですね。また, 集めたデータを活用するためのしくみ作りにも取り組んでいきたいと考えています」
エンジニア同士の議論からデータ解析のアイデアが生まれ,
鈴木氏は新卒入社3年目ということで,
それまでとは違ったサイバーエージェントの雰囲気
- ―― 学生時代はどういったことをされていたのでしょうか。
「私は情報工学科にいたのですが, そこで教育用ソフトウェアの評価実験や開発を行っていました。Webページにフリーハンドで書き込みができて, さらに音声を時系列で流すといったソフトウェアです。先生が黒板に書き込みながら, 『ここは大切です』 などと言いながら教えるイメージですね。ほかにはパッケージ開発を行っている企業で, Javaによる開発のアルバイトなどもやっていました」 - ―― アルバイトされていた企業と,
現在のサイバーエージェントを比べて, 違っていると感じる部分はありましたか。 「サイバーエージェントは, いい意味で “前のめり” に開発していくというイメージがありますね。仕事として開発をしていると, スケジュールを考慮したり, あるいは開発者のスキルから目標ラインを手前に引いてしまったりと, 頑張ればできるけれど深追いしないといったことがあると思うのですが, サイバーエージェントだとできる限りのことはしようという妥協しない雰囲気があります」 - ―― 仕事をするうえでの環境としてはいかがですか。
「データ解析のプラットフォームを提案してそれが叶っている部分がまさにそうなのですが, やりたいことをやらせてもらえるという空気があり, そういうところに魅力を感じています。また, 社内にはスキルフルなエンジニアも多く, そういう中で情報共有して刺激しあえるのもサイバーエージェントならではだと感じています」 - ―― 入社後,
興味を持って勉強されていたり, あるいは個人的に調べている技術などはありますか。 「仕事ではバックエンドの部分が多いのですが, 個人的にはiPhoneやiPadアプリを開発したりしています。あと, 最近はSNSのアプリ開発にも取り組んでいます。いずれにしても自分の視野が偏らないように, 会社でやっていないことは, なるべく個人で経験していこうという感じです。現在自分が担当しているデータ解析基盤に, こうした経験をフィードバックできるのではないかと考えています」 - ―― 最後に,
今後取り組んで行きたい技術, あるいは注目している技術を教えてください。 「並列分散技術に注目していて, 現在のプロジェクトで使っているHadoopのほか, CassandraやRedis, MongoDBなども使い始めています。スケールアップではなく, スケールアウトの方向性ですね。難しい部分がありますが, そうした部分にトライしてスペシャリストになりたいという思いがあります。あと, データマイニングや機械学習といったところを勉強していきたいですね。技術として新しいものではないかもしれませんが, 現在のプラットフォーム上にあるデータの活用という部分で応用できるのではないかと考えています」
印象的だったのは,
- サイバーエージェント公式エンジニアブログ
- URL:http://
ameblo. jp/ principia-ca
エンジニアの生の声を週替わりでお届け中!
記事中で紹介した書籍
-
Software Design 2011年1月号
第1特集は「Kickstartで完全自動化[OSインストール,バージョン管理,バックアップ] 楽するシステム管理[実践]ガイド」重要なフェーズとなるバックアップをキモとし...
バックナンバー
サイバーエージェントを支える技術者たち
- 第68回 主力の「Amebaアプリ」をネイティブ化!
- 第67回 人事採用担当者に訊く!! エンジニアの育成に向けたサイバーエージェントの取り組みとは
- 第66回 リアルタイムメッセージ共有を実現する社内SaaS基盤
- 第65回 ネイティブエンジニア育成プロジェクトに迫る!
- 第64回 高精度な広告配信を実現するデータ解析の専門家
- 第63回 アドテクスタジオのエンジニアに聞くScalaの魅力
- 第62回 開発ツールキットやサウンド再生用ライブラリをオープンソースとして公開
- 第61回 わずか3ヵ月で完了したシステム内製化プロジェクトの裏側
- 第60回 エンジニアのレベルの底上げをねらう「Skill U Friday」
- 第59回 アドネットワークを支えるビッグデータ解析