バージョンBがリードしています。誰かがスクリーンショットを共有します。デザイナーは喜び、販売者はすぐに展開したいと考え、次のコレクションのブリーフもすでに新しい方針で書き始められています。
しかし、実験はまだ続いています。
陥りやすい失敗は、序盤の順位をそのまま事業のルールにしてしまうことです。クローズアップはライフスタイル写真に勝つ、短いタイトルは長いタイトルに勝つ、技術的な説明は情緒的な文章に勝つ、といったルールです。1回の結果で、ここまで広い結論が導けることはほとんどありません。終わっていない結果なら、なおさらです。
役に立つ問いは、もっと範囲の狭いものです。このテストの条件のもとで、この変更はお客様がこの商品を選ぶ助けになったのか、という問いです。
AmazonのManage Your Experimentsは、商品ページの訪問者を複数のコンテンツのバージョンにランダムに振り分けます。利用するには、Professionalアカウント、該当するBrand Representativeの権限、ブランドの登録が必要で、個々の商品にも最近の十分なトラフィックが求められます。チームがこのツールを前提にテストの予定を組む前に、Seller Centralで利用資格を確認しておきましょう。
対抗案を作る前に、何を決めるのかを書き出す。
例として、ラスト色の犬用ハーネスを考えます。調整できる箇所が2つあり、サイドバックルで留める仕様です。現在のA+コンテンツは屋外のシーンから始まります。代わりの案では、ハーネスの着け方をわかりやすく説明するところから始めます。
「もっと上質に見せる」は弱い仮説です。見栄えのよいデザインなら、ほとんど何でも成功とみなせてしまいます。
役に立つ仮説は、たとえば次のようなものです。「留め方の手順を冒頭に置くと、このハーネスを判断しやすくなり、選んだ購入指標が現在の導入部より改善する」
これで、チームはバージョンBが何のためにあるのかを理解できます。どの解釈が広すぎるのかもわかります。仮にBが勝っても、ライフスタイル画像がカタログ全体で効果がないとは言えません。
意味のある違いをつけ、正直に推論する。
商品の事実は同一かつ正確に保ちます。2つの案には、仮説を検証できるだけの目に見える違いをつけます。小さなアクセントカラーを変えただけで決定的な結果を期待しても、トラフィックを消費するだけで、学べることはあまりないかもしれません。
一貫した新しい見せ方をテストするなら、ページの複数の要素をまとめて変えることもできます。Amazonは複数の属性を対象にした実験に対応しています。その場合、結果は組み合わせた変更全体についての根拠として説明します。タイトル、画像、箇条書きがすべて変わったのなら、成果をタイトルだけの手柄にはできません。
編集部オリジナルの、リサーチに基づくフレームワークです。ツールの利用権限やASINの利用資格は異なり、成果の向上を約束するものではありません。
ペット用品の販売者が繰り返し使える、簡潔な実験ブリーフの例を紹介します。
| 項目 | ハーネスの例 |
|---|---|
| 判断すること | 現在の冒頭部分を残すか、留め方の説明に切り替えるか |
| 仮説 | 着け方の情報をわかりやすくすると、選んだ購入指標が改善する |
| 変更内容 | A+の冒頭の説明を差し替える。確認済みの商品の事実は変えない |
| 主要指標 | 開始前に、利用できる購入指標を1つ選ぶ |
| 終了のルール | プラットフォームで選んだ期間または終了設定に従う |
| 解釈の範囲 | このSKUとこの変更に限る。自動的にカタログ全体の結論とはしない |
実験を終わらせてから、結果全体を読む。
序盤の結果が有望に見えても、選んだ終了時点まで待ちましょう。Amazonのワークフローには、有意差が出るまで実施する期間のオプションと、自動公開の設定があります。開始前に、これらの設定を意識して確認してください。結果ページには複数の指標と、一方のバージョンのほうが成果が高い確率が表示されます。
判断に使う主要指標は事前に決めておきます。そうすれば、あとからいちばんよく見える数字を選ぶことができなくなります。ほかの指標は、サンプルサイズも含めて状況を把握するために確認します。表示された訪問者数を見ずに注文数だけを比べると、誤った比較につながりやすくなります。
すべてのストアに当てはまる信頼度のしきい値やサンプルサイズを、独自に決めるのは避けましょう。プラットフォームが示す完了済みの結果を使い、それが何を表しているのかを理解します。将来の売上の予測は計画のための見積もりで、確定した売上ではありません。
テスト期間中に起きたことを記録する。
在庫の状況、価格の変更、プロモーション、普段と違う出来事を簡単に記録しておきます。同時期にランダムに振り分けるテストと、今月コンテンツを差し替えて先月と比べることは別物です。後者では期間も変わり、訪れるお客様の層も変わるかもしれません。
結果を次のシーズンや別の商品の判断に使うかどうかを考えるときも、こうした状況は重要です。プロモーション期間中にテストしたハーネスの説明は、恒久的な新しいデザイン基準にするより、範囲を絞って展開するほうが適しているかもしれません。
根拠から結論が出なかった場合は、その結果も記録します。商品をよりわかりやすく説明できる、あるいは維持の手間が少ないという理由で、一方のバージョンを選ぶこともできます。その場合は、編集上または運用上の判断として扱います。それを正当化するために、測定された成果を作り上げてはいけません。
トラフィックの少ない商品では、特に辛抱が必要です。ASINが利用資格を満たさない場合、インタビューや理解度の確認で誤解を見つけることはできますが、ランダム化した販売実験の代わりにはなりません。
最も価値のある成果は、次に問うべきことがより明確になることである場合も少なくありません。このハーネスで着け方の情報が勝ったなら、構造の複雑な別の商品でも、着け方をわかりやすく説明すると効果があるのか。それが新しい仮説であり、次のテストの出発点になります。
スクリーンショットは残しておきましょう。結果が出るまで待ちましょう。そして、その結果から何を信じてよいのかを、正確に書き留めておきましょう。