MBaaS徹底入門――Kii Cloudでスマホアプリ開発

第14回 A/Bテストによるアプリケーションの改善(実装編)

この記事を読むのに必要な時間:およそ 7.5 分

前回は,⁠なぜA/Bテストを行うのか」⁠ABテストを行う際に気をつけることはなにか」を解説しました。

第14回となる今回は,本連載で開発したチャットアプリケーションを題材として,Kii CloudでA/Bテストを実施する手順を解説します。チャットアプリケーションについては第5回第12回で詳細に解説しています。興味がある方はこちらもご覧ください。

今回使用したソースコードについては,GitHubで公開しています。こちらもあわせてご覧ください。

以降ではチャットアプリケーションの実装をある程度知っている前提で解説しています。そのため,第13回までの連載を事前に確認して頂くと分かりやすいと思います。

A/Bテストのシナリオと手順

前回例として示した,チャットアプリケーションの改善シナリオを引き続き使用します。本シナリオでのA/Bテストの目的は「ユーザにもっとチャットを楽しんでもらうため,スタンプ機能をもっと知って(使って)もらう」ことです。

前回立てた「スタンプ一覧表示ボタンをもっと目立つようにすることで,目的が達成できるのではないか」という仮説はそのままに,今回は「スタンプ一覧ボタンの色を変える」という改善をA/Bテストで検証する場合を考えてみます。

  • (パターンA)⁠スタンプ一覧ボタンをデフォルトの色のままにする(現実装)
  • (パターンB)⁠スタンプ一覧ボタンを赤色にする(改善実装)

パターンAのスタンプ一覧ボタン

パターンAのスタンプ一覧ボタン

パターンBのスタンプ一覧ボタン

パターンBのスタンプ一覧ボタン

パターンの良し悪しは,一覧ボタンの表示回数と実際にスタンプが投稿された回数を元に算出します。

  • (パターンの評価尺度)(目的を達成した回数)⁠ / ⁠全試行回数)
  • (全試行回数)⁠スタンプ一覧ボタンが表示された回数(=スタンプ機能を使用できる状態になった回数)
  • (目的を達成した回数)⁠スタンプが投稿された回数(=スタンプ機能が使用された回数)

上記のA/Bテストを実施するためには,2つの手順が必要です。これらを順に説明していきます。

  • A/Bテストの設定:作成したシナリオに基づいたA/Bテストを開発者ポータルから設定する。
  • クライアントの実装: 開発者ポータルで設定したA/Bテストの情報をKii Cloudから取得して,ユーザインターフェースに反映する。その後,⁠スタンプ一覧ボタンの表示」⁠スタンプの投稿」が行われるたびに,Kii Cloudにイベントを送信する。

A/Bテストの設定

開発者ポータルからA/Bテストを設定します。まず対象のアプリケーションをクリック後,⁠A/B tests⁠タブを選択しA/Bテストの一覧画面に移動します。A/Bテストをまだ追加していないため,一覧には何も表示されていません。

A/Bテスト一覧画面

A/Bテスト一覧画面

次に⁠Add⁠ボタンをクリックして,A/Bテスト作成画面を表示します。A/Bテストの設定項目は以下の通りです。

TitleA/Bテストの開発者ポータル上での表示名です。今回は「スタンプ一覧ボタンの色変更」と設定します。
DescriptionA/Bテストの概要です。今回は「A/Bテストのシナリオと手順」で記載した説明をそのまま使用します。
EventsA/Bテストのパターンを評価するためにクライアントから送信するイベントです。クライアントはここで設定したイベント名を使用して,イベントインスタンスの生成・送信を行います。具体的には以下の2つのイベントの名前を設定します。
ViewイベントConversionイベント:
「A/Bテストのシナリオと手順」で説明した (全試行回数)に相当するイベントです。今回は⁠stamp_button_viewedEvent⁠と設定します。「A/Bテストのシナリオと手順」で説明した (目的を達成した回数)に相当するイベントです。今回は⁠stamp_postedEvent⁠と設定します。
Distribution parametersA/Bテストの各パターン(パターンA/パターンB)の内容を設定します。具体的には次の2つを設定します。
Ratio of distributionVariables
各パターンを適用する割合です。今回はパターンA:50%,パターンB:50%とします。この場合,50%のユーザにはパターンA(一覧ボタンの色がデフォルトのまま)が,別の50%のユーザにはパターンB(一覧ボタンの色が赤色)が適用されます。各パターンで使用する変数です。具体的には(変数名)⁠⁠変数のパターンAでの値)⁠⁠変数のパターンBでの値)を定義します。クライアントは,この変数を用いて各パターン毎のユーザインターフェースを生成する必要があります。今回は,⁠変数名)=stamp_button_color,⁠変数のパターンAでの値)=default,⁠変数のパターンBでの値)=redとします。なお,今回は1つの変数しか設定していませんが,変数は複数設定可能です。

A/Bテスト作成画面

A/Bテスト作成画面

設定後,右下の⁠Save⁠ボタンをクリックしてA/Bテストを保存します。保存後に一覧画面を見ると,A/Bテストの作成が確認できます。

新規作成したA/Bテストには,⁠Draft⁠という表示がついています。⁠Draft⁠はA/Bテストのステータスを表しており,このステータスでは作成したA/Bテストは有効ではありません。A/Bテストを有効にするためには,ステータスを⁠Running⁠に変更する必要があります。

A/Bテスト保存後の一覧画面

A/Bテスト保存後の一覧画面

ステータスを変更するため,作成したA/Bテストのステータス(Draft)部分をクリックして詳細画面を開きます。詳細画面ではステータスの変更の他,設定内容の確認,A/Bテストの結果確認が行えます。今回はステータスの変更が目的のため,右下の⁠Start⁠ボタンをクリックします。

A/Bテスト詳細画面

A/Bテスト詳細画面

その後に一覧画面を見ると,A/Bテストのステータスの変更(Draft→Running)が確認できます。なお今回は解説のため,A/Bテストの作成後すぐに有効にしましたが,実際にはA/Bテストを開始するとき(例:キャンペーンの初日からA/Bテストを開始する)に有効にすればOKです。

A/Bテストのステータス変更

A/Bテストのステータス変更

著者プロフィール

藤井達朗(ふじいたつろう)

Kii株式会社

http://www.kii.com/

コメント

コメントの記入