誰でも簡単にA/Bテストが作れるOptimizelyを実際に使ってみた

こんにちは、ShareWisの辻川です。
「ユーザーの反応を見ながら、小さな改善を繰り返そうぜ！」
スタートアップにとっては、とっても大切な教訓です。
今日はそんな「小さな改善」を実施する手法の一つ、A/Bテストについて書きたいと思います。

A/Bテストとは読んで字のごとく、AとBの2種類のページを準備して（実際は3種類でも4種類でもいいですが）、ユーザーをランダムにAとBのページに振り分け、どちらのページがクリック率やコンバージョン率などの成績がいいのをテストするものです。
すごくシンプルなテストに見えますが、実際にテスト環境を作ろうとすると、ページの準備、ユーザーの振り分け、結果の集計など、めんどくさいことずくめ。
しかし、世の中には便利なツールがあるもので、今日紹介するOptimizelyを使えば、誰でも簡単にA/Bテストを実施することができます。

Optimizelyに登録後、発行される<script>タグをテストしたいページの<head>内にコピペするだけで、準備はOKです。
OptimizelyからテストしたいページのURLを入力すると、早速テスト用のページを編集することができます。
そしてこの、ページ編集機能がOptimizelyのすごいところ。
HTMLやCSSの知識は必要なく、プレゼンテーション資料を作るように、文章を編集したり、画像サイズを変更したりできます。

ブログ感覚でテキストを編集

画像サイズの編集も直感的に操作

編集が終わったら、後はゴールを設定し（どこをクリックされた回数を測定したいか指定する）、スタートを押せば、自動的にそれぞれのページにユーザーを振り分けてくれます。

では、実際にShareWisで実行したテストの結果を報告したいと思います。
今回テストを実行したのは下のTopページ。
AとBの違いが分かりますか？

Topページの下にサービスの特徴を説明する文章を3つ掲載してるのですが、Bでは、1番目と3番目の順番を入れ替えています。

実は、サービスをリリースする前のユーザーテストで、サービスのどこに魅力を感じるかを友人・知り合いに聞いてみたところ、多くの人が「学習コンテンツの時間が短いところ」を挙げられました。
なので、A(オリジナル)では、「超気軽なサクサク学習！」を1番目に掲載していたのですが、サービスリリース後、実際にアクティブにShareWisを利用していただいているユーザーに、サービスの魅力を聞いたところ、「学習コンテンツの時間が短いところ」ではなく、「学習結果が地図上に記録されていくところ」を挙げられる方が多くいました。
もしかすると「学習結果が地図上に記録されていくところ」を前面に押し出した方がいいんじゃないか？と考え、Bのページでは「あなたの学びが目で見える！」を1番目に掲載してみました。
ゴールには「今すぐ始める」と書かれた登録ボタンのクリックを指定し、クリック率を計測した結果が以下です。

テスト開始直後は、結果が乱れますが、テスト回数が増えるにつれ安定していきます。
結果は、
A(サクサク)　がクリック率58.1%(±7.1%)　に対し、
B(目で見える)がクリック率63.0%(±6.4%)、
改善率8.5%と、Bのページでクリック率の改善が見られました。
ということで、現在のページではBを採用しています。

注意点を一つ。
実は上記のテスト結果を得た後、テスト人数増やせば統計的な有意性を上がんじゃね？と、テストを走らせ続けていたのですが、Optimizelyではテストするユーザー数が増えると、料金プランが高くなってしまいます。
１番安いプランだと、月額$19で2,000人までテスト可能、その後は1,000人追加ごとに$9追加の費用が発生します。
テストを走らせているとご丁寧にもOptimizelyからメールが来て、
「このままだと2,000人超えて追加の費用いるよ」
と注意喚起してくれたので、すぐにテストを止めることができました。
ですので、あまりお金をかけずにテストを実行したい場合、統計的にある程度有意な結果が得られたら（Optimizelyでは100コンバージョン/作成したページ、で統計的にある程度の有意性が確保されると説明しています）テストを止め、別のテスト開始する、というのが賢い使い方のようです。
初めの1ヶ月は無料なので、みなさんもOptimizelyを使ってA/Bテストをやってみて下さい！
（辻川）