みてね×gihyo.jpスペシャル

みてね写真プリントML自動提案の仕組み

はじめに

株式会社MIXIで家族アルバム みてね⁠以下みてね)のData EngineeringグループでMLエンジニアとして働いている木内です。

みてねの写真プリントサービスでは、ユーザが毎月アップロードした写真の中から、最適な11枚を自動的に選び出してプリント注文を提案しています。今回は、従来のルールベースの方式から、データ駆動型の機械学習アプローチへの移行を検証した経緯や技術的な選択について、この記事でご紹介します。

みてねの写真プリントサービスについて

みてねの写真プリントサービスは、大切な思い出の写真を高品質なプリントとして手元に残せる人気のサービスです。スマートフォンに保存されたままになっている写真を、実際に手に取って楽しむことができます。

図1 みてねの写真プリントサービス
図1 みてねの写真プリントサービス

このサービスの主な特長は以下のとおりです。

  • 毎月11枚まで写真プリントが永続的に無料
  • 月に3回まで送料のみで注文可能
  • 家族全員がそれぞれ無料で注文可能
  • アップロード済みの写真から自由に選択してプリント
  • 毎月、前月アップロード分からおすすめの11枚を自動提案

とくに注目していただきたいのが、最後の「おすすめ自動提案」です。私たちData Engineeringグループは、ユーザ体験をさらに向上させるため、毎月の無料プリントに最適な11枚の写真を自動で選ぶレコメンデーションシステムを開発・運用しています。

本記事では、このレコメンデーションシステムを従来のルールベース方式から機械学習(ML)ベースへと進化させた取り組みについて、技術的な側面から詳しく解説します。開発の背景、直面した課題、具体的な実装方法、そして実際の効果検証まで、その全貌をご紹介します。

自動提案の制約

写真プリント自動提案は、2,500万ユーザ(2025年1月時点)のうち、前月に写真をアップロードしたすべてのユーザに対して提案データを生成しています。作成された自動提案は、毎月1回のpush通知を通じてユーザへ自動提案を配信しています。

図2 自動提案の写真
図2 自動提案の写真

利用できる画像情報

自動提案に活用できる写真の特徴量は以下のとおりです。

  • 画像メタデータ:解像度、撮影日など
  • ユーザによって付けられた情報:お気に入り登録数、コメント数、公開範囲
  • MLモデルによる画像解析:顔検出・年齢推定・顔の向きなど

従来(ルールベース)の写真プリント自動提案システム

ルールベースの自動提案生成プロセス

本来は写真プリント専用のレコメンデーションシステムを構築することが理想的でしたが、設計・実装にかかるコストや、RDBへの負荷、計算リソースの問題から実現が困難な状況でした。

そのため、既存のフォトブック自動提案システムから得られる23枚の写真を活用し、それをベースとして写真プリントの自動提案を生成する方法を採用しています。

図3 ルールベースの自動提案生成プロセス
図3 ルールベースの自動提案生成プロセス

それぞれの処理の詳細は以下のとおりです

①フォトブック自動提案生成

詳細については、過去の記事「家族アルバム みてね」の自動作成フォトブック―その仕組みと負荷対策の事例をご参照ください。

  • 候補写真のフィルタリング「お気に入り」⁠家族みんなに公開」⁠ML評価スコア」などの条件に基づき、フォトブックに適した候補写真を抽出します。
  • 写真のスコアリング:抽出された候補写真それぞれに、メタデータと画像解析結果から算出したスコアを付与します。
  • フォトブック候補の生成:高スコア写真を優先しつつ、撮影日時の分散も考慮して23枚(表紙1枚+本文22枚)の写真を選出し、複数パターンの候補を生成します。
  • 最適候補の選定:生成された候補から、写真の分散度などの総合評価に基づき、最高スコアの候補をフォトブックとして採用します。

②写真プリント提案生成プロセス

  • フォトブック自動提案で選出された23枚の写真から、お気に入り状態、撮影日の重複、公開範囲、顔検出結果などの複合評価に基づき、写真プリントに最適な11枚を選出します。

ルールベース方式の自動提案技術的課題

従来のルールベースアプローチには、以下の技術的な課題がありました:

  • パーソナライゼーションの限界:個々のユーザ嗜好に適応した提案が困難
  • サービス最適化の制約:フォトブック自動提案システムへの依存により、写真プリント特有のユーザ行動パターンに対応できない
  • 計算効率の問題:複数段階処理による高い計算コストとリソース消費
  • 自動提案のメンテナンス性の限界
    • 新規特徴量追加による効果が限定的
    • データドリフト(ユーザ行動変化)への対応力不足
    • 複雑なルール構造によるメンテナンス困難性

ML自動提案モデル構築

機械学習(ML)ベースの自動提案方式を導入することで、次の課題解決を目指しました。

  • パーソナライゼーションの強化:ユーザ個々の特性や嗜好を学習し、最適な写真を提案
  • 独立した自動提案システム:フォトブック提案に依存せず、写真プリント専用のロジックを実現
  • 処理効率の向上:木構造のMLモデルを採用し、複雑な組み合わせ計算を効率化
  • 拡張性と保守性の改善:特徴量の追加や改良が容易な柔軟なアーキテクチャを構築

これらの改善により、システムコストを抑えながらも、ユーザ満足度と購買数の向上を実現できるか検証しました。

評価指標の策定

従来のルールベースの自動提案システムは人手によるチューニングのみに頼っており、十分な指標の決定がされていない状況でした。

そこで、施策を始める前に、自動提案システムの精度指標やKPI(Key Performance Indicator:重要業績評価指標)を決め、定量的に評価するところから始めました。

  • 自動提案モデルの目的関数

    • Binary Cross Entropy:過去の情報を参照し、売れたメディアを1、売れなかったメディアを0としてラベル付けして学習しました。
      • 他にもLambdaRankなどのランキング学習手法も試しましたが、我々の実験では精度向上につながりませんでした。
  • 自動提案結果の精度指標

    • Recall@11:自動提案された11枚の写真のうち、実際にユーザが購入した写真の割合を測定する指標です。この値が高いほど、ユーザの好みに合った写真を提案できていることを意味します。mAP(Mean Average Precision)も検討しましたが、自動提案結果を日付順で表示するというUI上の制約があり、ランキング順での表示ではないため、評価指標としては採用しませんでした。
  • KPI

    • 自動提案経由での写真プリント離脱率:ユーザが自動提案を閲覧した後、注文完了せずに離脱してしまう割合です。この値が低いほど、提案内容がユーザの期待に沿っていると判断できます。
    • 自動提案経由での写真プリント選択時間:ユーザが自動提案を確認してから注文を確定するまでの時間です。この時間が短いほど、ユーザにとって魅力的な提案であったと解釈できます。
    • 自動提案メディア購買数:実際に自動提案を通じて購入された写真の枚数です。この数値が多いほど、ビジネス面での成功を示します。

データセット構築

大量の購入履歴によるデータセット構築

MLモデルの学習や推論に必要なデータは、みてねのRDBやFirebaseのEventLogなど複数のソースから取得します。そこでデータ参照先としてBigQueryを採用しました。みてねではBIや分析だけでなく、アプリケーション開発にも広く活用しています。とくに自動提案処理ではRDBへの負荷が高いため、BigQueryへのオフロードが効果的です。

BigQuery上の複数データの整形にはDBTを使用しました。DBTはSQLでデータ変換処理を記述し、データパイプラインの構築・管理を効率化するツールです。これによりデータ整形プロセスを可視化し、コードのバージョン管理でメンテナンス性も向上させています。

以下はDBT上で構築したデータパイプラインの図です。これにより、メディアのメタデータやいいねの数、コメント数など、さまざまな特徴量を抽出し、モデルの入力として利用しています。

図4 DBT上で構築したデータパイプライン図
図4 DBT上で構築したデータパイプライン図

Training/Validationデータセット

データセットには過去の写真プリント購入履歴を使用し、購入されたメディアを1、購入されなかったメディアを0としてラベル付けしました。Training データとValidationセットは 家族IDで分割し、1割の家族をValidationセットとして分割して利用しました。

課題として、購入されたメディアよりも購入されなかったメディアが圧倒的に多いという、クラス不均衡の問題がありました。この状態では、モデルが適切に学習できません。

解決策として、Training セットのみ、購入されなかったメディア(ネガティブサンプル)をランダムにアンダーサンプリングし、購入されたメディア(ポジティブサンプル)とほぼ同数になるよう調整しました。

この手法により、我々の実験ではモデルの予測精度が大幅に向上することを確認できました。

評価セット

モデル評価では、バイアスのないデータを使用することが重要です。みてねの写真プリントには2つの購入パターンがあります。

  • 自動提案UI経由:システムが選んだ写真をユーザが購入
    • 特徴:提案されたメディアが購入されやすいというバイアスが存在
  • 選択画面UI経由:ユーザが自ら写真を選んで購入
    • 特徴:ユーザの真の嗜好がより反映されている

今回の検証では、できるだけバイアスを避けるため、⁠選択画面UI経由」の購買ログを評価セットとして採用しました。これにより、モデルの真の予測性能をより正確に測定することが可能になります。

また、データリークを防止するため、Training/Validationセットとは異なる月のデータを用いて評価用データセットを構築しました。

MLモデルの選定

写真プリント自動提案のMLモデル選定においては、計算コストの効率性と実績のあるモデルを重視しました。特に検討したのは以下のモデルカテゴリーです。最終的に計算リソースの制約、過去の実績、予測精度、そして実装の容易さなどから、1st stepとしては、LightGBMを採用しました。

  • 木構造系モデル

    • LightGBM:勾配ブースティング決定木の一種で、メモリ効率と計算速度に優れています。とくに、レコメンデーション系のKaggleコンペティションで多く採用されています。
    • XGBoost:高い予測精度と過学習に強い特性を持ちますが、LightGBMと比較検討した結果、計算効率が劣るため、今回のユースケースでは見送りました。
  • Deep Learning系モデル

    • DNNベースのモデル:画像特徴量を用いた、より複雑で精度の高いモデルを構築できる可能性がありましたが、モデルの解釈性やハイパーパラメータチューニングの難しさなどを考慮して今回のユースケースでは見送りました。

MLモデルの学習

学習にはLightGBMを使用し、ハイパーパラメータを調整しながら最適化を行い、ローカル検証結果が最も良かったモデルを採用しています。

図5 ML学習の構成
図5 ML学習の構成

オフライン精度検証

検証方法

データセット構築で作成した評価セットをもとに、モデルの評価指標としてあらかじめ決めておいたRecall@11を用いて自動提案精度を検証しました。

検証プロセスでは、以下のステップで精度評価を行いました。

  1. 評価セットの各ユーザに対して、モデルが予測スコアの高い順に写真を11枚選定
  2. その11枚の中に、実際にユーザが購入した写真が何枚含まれているかをカウント
  3. 全ユーザの平均Recall@11を算出し、ベースラインモデル(ルールベース)と比較

検証結果

検証の結果、従来のルールベース方式と比較して、ML自動提案方式では選択画面UI経由での提案精度が有意に向上しました。特に、ユーザの購入傾向を学習したモデルによって、個々のユーザの嗜好に合わせたパーソナライズされた写真提案が実現できました。

※ 具体的な数値については今回は控えさせていただきます。

ML自動提案とルールベース自動提案の精度比較

この結果を受けて、チームはプロダクション環境での検証フェーズへ移行し、実際のユーザ行動データに基づく検証を通じて、MLモデルの実用性と効果を確認することになりました。

本番環境でのA/Bテスト

ML自動提案システムの効果を定量的に評価するため、従来のルールベース方式と比較するA/Bテストを実施しました。検証結果は以下のとおりです。

  • ユーザ体験の向上:ML自動提案の導入により、提案画面から購入完了までの導線においてユーザの離脱率が若干減少しました。これはより適切な写真提案がユーザの関心を引き付けた結果と考えられます。

  • 購入枚数の微増:ユーザあたりの写真プリント購入枚数に若干の増加が見られ、パーソナライズされたレコメンデーションが一定の効果をもたらしたことが示唆されました。

しかしながら、これらの改善効果は当初の期待値を下回る限定的なものでした。そのため、現時点では全面的な展開を見送り、一時的にルールベース方式に戻しながら、MLモデルの改良を続けています。

まとめと今後の展望

みてね写真プリントサービスでは、従来のルールベース方式から機械学習モデルを活用した自動提案システムへの移行に取り組みました。特徴量エンジニアリングからモデル選定、実証検証まで一連のプロセスを実施し、実用化を目指しました。

改善したポイント

今回ML自動提案手法を検討したことで、従来手法から比べて、以下の点が改善でき、システムコストを抑えながらも、ユーザ満足度と購買数の向上を実現できそうということがわかりました

  • パーソナライゼーションの強化:ユーザ個々の特性や嗜好を学習し、最適な写真を提案
  • 独立した自動提案システム:フォトブック提案に依存せず、写真プリント専用のロジックを実現
  • 処理効率の向上:木構造のMLモデルを採用し、複雑な組み合わせ計算を効率化
  • 拡張性と保守性の改善:特徴量の追加や改良が容易な柔軟なアーキテクチャを構築

今後の課題

より効果的なシステムの実現に向けて、以下の2つの課題に取り組みます。

  1. 特徴量の強化による精度向上
    • 閲覧履歴や詳細な画像特徴量の活用による予測精度の向上
    • ユーザ行動の詳細分析に基づくパーソナライズ提案の質的向上
  2. MLOps基盤の構築
    • 継続的なモデル更新パイプラインの実装
    • データドリフト検出と自動対応の仕組み化
    • 効率的なモデル管理とモニタリング体制の確立

さいごに

今後もML技術を活用して、一人ひとりの好みや思い出の文脈を深く理解した、より価値の高い自動提案の実現を目指します。技術の進化とともに、ユーザ体験の向上に継続的に取り組んでいきます。

おすすめ記事

記事・ニュース一覧