アマゾンアメリカ限定で、でブランドレジストリーをしているメーカー限定で、商品タイトルと、A+コンテンツのAB testができる機能が実装されました。
Digital Marketing界隈では、バナー、LP、LP内の文言を細かく修正し、数値が改善するためのAB testをどんどん回していくというのは一般的なマーケティング手法ですが、アマゾンでAB testをするとなると、X月X日～Y日まではA、Y月Z日～W日まではBといった手動のAB testはできていたのですが、商品が売れる売れないというのは、季節指数、競合他社の動きなど、複数の要因が大きく影響することや、イレギュラーなケースというのが外部からだと判断しにくく、統計的なデータにすることが難しいという課題がありました。
同時に、アメリカでは Splitly社 (https://www.splitly.com/)などが、商品画像、タイトル、商品仕様、A+コンテンツ、キーワードなどのAB testを実施できるtoolとして人気でしたが、なかなか外部のtoolだと正確なデータの取得ができずに、精度がどの程度なのかがわからないという不安がございました。（とは言っても、splitlyはかなりの精度でパフォーマンスの高い低いを比較することができていましたが）
今回Amazonが実装したAB testは
- まずはタイトルとA+コンテンツのみが対象。
- 実験できるのは a) ブランドレジストリーをしているメーカー b) 閲覧数の高いASINのみ
となっています。また実験方法詳細は、
- ランダムに選ばれたユーザーに対して、ABのどちらからのコンテンツを表示する
- 統計的はずれ値は削除する
- 実験結果の分析にはベイズ的アプローチをする
- 平均効果量と、事後確率分布の95%信頼区間をレポートする
- データは毎週更新
- 年間の予測値をレポートする
-
といった感じでしょうか。
AmazonでのAB testは各メーカーがこれまで「こうではないか」「こう感じる」、「別のサイトではこうだから」といった感覚的な判断基準でのみ行われていた印象が強く、その精度にも内部からみても大きな疑問があったのですが、今後これらのテストもアマゾンが主導することによって、より精度の高いAB testの実施ができるかと思われます。
Amazonはどんどん便利になるなと感じると同時に、実は当社でもAIを使ったAmazon Detail PageのAB testができるtoolの開発を、それなりの投資をして進めていたこともあり、いろいろ複雑な気持ちでもございます。。
