A+とtitleのAB testについて(アマゾンアメリカ限定)

2020年9月27日
Amazon AB test

アマゾンアメリカ限定で、でブランドレジストリーをしているメーカー限定で、商品タイトルと、A+コンテンツのAB testができる機能が実装されました。

アマゾン AB test
アマゾン AB test

Digital Marketing界隈では、バナー、LP、LP内の文言を細かく修正し、数値が改善するためのAB testをどんどん回していくというのは一般的なマーケティング手法ですが、アマゾンでAB testをするとなると、X月X日~Y日まではA、Y月Z日~W日まではBといった手動のAB testはできていたのですが、商品が売れる売れないというのは、季節指数、競合他社の動きなど、複数の要因が大きく影響することや、イレギュラーなケースというのが外部からだと判断しにくく、統計的なデータにすることが難しいという課題がありました。

同時に、アメリカでは Splitly社 (https://www.splitly.com/)などが、商品画像、タイトル、商品仕様、A+コンテンツ、キーワードなどのAB testを実施できるtoolとして人気でしたが、なかなか外部のtoolだと正確なデータの取得ができずに、精度がどの程度なのかがわからないという不安がございました。(とは言っても、splitlyはかなりの精度でパフォーマンスの高い低いを比較することができていましたが)

今回Amazonが実装したAB testは

・まずはタイトルとA+コンテンツのみが対象。
・実験できるのは a) ブランドレジストリーをしているメーカー b) 閲覧数の高いASINのみ

となっています。また実験方法詳細は、

AB test methodology

・ランダムに選ばれたユーザーに対して、ABのどちらからのコンテンツを表示する
・統計的はずれ値は削除する
・実験結果の分析にはベイズ的アプローチをする
・平均効果量と、事後確率分布の95%信頼区間をレポートする
・データは毎週更新
・年間の予測値をレポートする

といった感じでしょうか。

AmazonでのAB testは各メーカーがこれまで「こうではないか」「こう感じる」、「別のサイトではこうだから」といった感覚的な判断基準でのみ行われていた印象が強く、その精度にも内部からみても大きな疑問があったのですが、今後これらのテストもアマゾンが主導することによって、より精度の高いAB testの実施ができるかと思われます。

Amazonはどんどん便利になるなと感じると同時に、実は当社でもAIを使ったAmazon Detail PageのAB testができるtoolの開発を、それなりの投資をして進めていたこともあり、いろいろ複雑な気持ちでもございます。。

こちらもいかがですか?