2013年3月1日金曜日

サンフランシスコ近況報告とOptimizelyの話

アメリカに来てまだ数日ですが、色々面白い。

日曜日の夕方にサンフランシスコに到着して、ホテルにチェックインして一息ついたら Twitter に @harper から「サンフランシスコなう。誰か飲まない?」みたいな投稿が。Harper Reed さんとは、オバマキャンペーンのCTOを務めた人で、結構前からの友人なのですが、偉くなっちゃったので滅多に会えないのかな〜と思ったらこの気軽さ。ツイートでレスしてからバーに行ってみたら、面白い人がたくさん集まってる。

「彼はさ、起業してAOLに売却して、9ヶ月の牢獄生活を脱して、今は次のスタートアップを立ち上げている。このサイトは超cool。」

「その隣の彼はさ、起業してAOLに売却したんだけど、自分でその会社を買い戻してるんだ」「えー。AOLから買い戻すのって売却より大変なんじゃ。。。」「大変だったよー」

「彼女はさ、オバマキャンペーンのテクニカルチームで唯一のPMだったんだよ。GoogleでPMをやってたけど、辞めてオバマキャンペーンを手伝いに行ったんだよね。僕が知っている中で、最も優秀なPMだよ」しかもなんと28歳。ビビる。。。

Harper もすっかり次に立ち上げる予定のスタートアップの準備の話に夢中。みんなすごくワクワクしてて、面白かった。シリコンバレーだなーと思った。

月・火はマウンテンビューで会社に缶詰だったのですが、今夜は早めにサンフランシスコに戻ってきて、イベントに参加し、「Best Practices from 100,000 AB tests - Dan Siroker, Co-Founder & CEO, Optimizely」という講演を聞いてきました。Optimizelyについては以前書いた「オバマ再選メモ」というブログ記事でも紹介しました。ダン本人の話が、無料で聞けるとは!

というわけで全部じゃないけどメモ取ってたところだけシェアします。後日動画も公開するとのこと。

Dan は、オバマキャンペーンに参加する前は、Googleで働いていた。彼の人生を変えてしまった瞬間がこれ↓

Googleにオバマさんがやってきて、すごくいい講演をして、"I want you to be involved"と最後に言って帰っていったので、それを本気にしてすぐに飛行機に乗ってシカゴにオバマキャンペーンをボランティアで手伝いに行ったと。熱い!噂では聞いてたけど、本当にそうなんですねえ。その伝説の講演の動画がこれ。よっぽど気に入っていたのでしょう。今日もこの動画のパーツパーツを見せて、話をしていました。



「皆さんのようなイノベータ、科学者、エンジニアの力がアメリカの政治を変えるには必要です」「理性と事実に基づいた政策を実現して行きたいのです」「ぜひ皆さんに関わって欲しいのです」もうねえ、すごいいい講演。これは行っちゃうよね。Google辞めて、飛行機に乗って、何か貢献できることはないかって。

ちなみにこれがボランティアに行って割とすぐに編成した時の「ニューメディアアナリティクスチーム」の画像。ニューメディア。。。なんかよくわからない物は全部ニューメディアってことにされてたらしいw


IMG_20130227_190656.jpg

こちらは就任演説の時の画像。みんながテレビを見ているのに、パソコンに向かってサイトのオプティマイゼーションをずっとやってて、背中を向けているのがDan。

IMG_20130227_190738.jpg


さて、本題の「10万件以上のA/Bテストをやってきてわかったこと」


Lesson #1 Define quantifiable success metrics 成功指標を数値で定めること。

数値を見るためには、色々なツールがあります。Google Analytics、mixpanel、Omniture Site Catalystなどなど。

オバマキャンペーンでは、まず、サイト訪問→メールアドレス登録→募金。。。という流れの中で、どこが詰まっているのかを調べてみたところ、メアドを登録した人の募金率が非常に高いのに、サイト訪問からメアド登録の歩留まりが非常に低いことがわかった。じゃあまずはそこからやろうと。

上にあるメディアと下の登録ボタンを変えていく。


まずはボタンを変えてみる。sign up、learn more、join us now、sign up nowの4つ。どれが一番クリック率が高いと思いますか?





私はjoin us nowだと思ったんです。直接的に登録してって言うより参加を促した方がいいのかなと。ところが、一位はlearn more だったんですよ。

メディアも見て行きましょう。get involvedの画像、家族の画像、changeの画像、オバマがカメラに向かって語りかける動画(barak's video)、springfieldでのイベントの動画、sam's videoと呼ばれる講演動画。動画をここでは見せられないので判断に困ると思いますが、どれが一番クリック率が高いと思いますか?ちなみに barak's videoは正直カメラに向かってポジショントークをしてる感じでつまらない。sam's videoは観客に向かって熱く講演している動画で、めちゃめちゃ素晴らしい。





私は一番いいのは sam's videoだと思ったんですが、動画はどうかなー(自分だったら嫌かなー)と。画像の中ではchangeの画像だと思ったのですが、インパクトはsam's videoが一番。

蓋をあけてみたら家族の写真が一番効果が高いことがわかった。。。なんだってー。動画は全部、全然ダメ。論外。

ちなみに会場での挙手では、ボタンも画像も、私と同じ選択肢が8割ぐらいだったので、ホントやってみないとわからない。先入観を持たずに、ちゃんとテストをしていかないといけない。

こちらが結果の画像。たしかに learn moreとfamily imageが高くなっている。

IMG_20130227_191541.jpg

組み合わせ結果。Observed improvement 40%って。。。すごい。

IMG_20130227_191641.jpg

A/Bテストの使用前・使用後の比較。メールの登録数、ボランティアの登録数、寄付金額などの全ての指標で恐ろしく効果が上がっている。

IMG_20130227_191725.jpg


Lesson #2 Explore before you refine 改善する前に実験してみよう

自分のサイトはイケてるという意識を持っていませんか?その思い込みをまずは捨てましょう。自分のサイトがちゃんとしていると思ってそれを改善することだけを考えていると、その改善ステップには入ってこない全然違うところに正解があったりするものです。思い込みを捨てないと、最善策にはたどり着けない。

IMG_20130227_191828.jpg

Crate & Barrel の事例。商品数が多いので、カテゴリを全部見せてあげないとユーザーは困ると思っていたけど、なくした方が効果が高かった。

IMG_20130227_192048.jpg

よかれと思って色々突っ込むけど、なくした方が AOV (average order value)も RPV(revenue per visitor)も高い。

IMG_20130227_192107.jpg

ちなみにこちらは今この瞬間行われている A/Bテスト。たくさん exploreして、今はrefineしてみている。

IMG_20130227_192233.jpg

CB2。縦のロゴを変えるなんて考えもしなかったのだけれど、やってみたら効果が高かった。

IMG_20130227_192440.jpg

Lesson #3 Less is more. Reduce choices. 選択肢を減らせ。少ないことは、よいことだ。

普通はナビゲーションは全部のステップで共通の物を見せるのだけれど、購入の時にナビゲーションを取っ払ってみたら、訪問者毎の購入金額が上がった。

IMG_20130227_192346.jpg

要素を減らすべし!減らすべし!減らすべし!エンゲージメント600%向上って一体。。。



画像があった方がよさそうに見えるんだけど、シンプルな方が効果が高いらしい。。。



Lesson #4 Words matter. Focus on your call to action. 言葉遣い重要。呼びかけは特に重要。

こちらは再びオバマキャンペーンのA/Bテストから。寄付を募るボタンに表示した文字を変更して、どれだけ効果が上がったかという事例なんだけれど、ここでは「未登録の人」「登録はしているが寄付はしていない人」「既に寄付をしたことがある人」など、色々なセグメントで見た時の効果について見ていく。登録したこともない人には「寄付してプレゼントを受け取ろう」が効くし、登録したけれど寄付をしたことがない人には「寄付をお願いします」が効き、既に寄付をしたことがある人には「貢献しよう」がきく。もちろんこれらは状況に応じて変更していく。このセグメンテーションはもちろん色々な切り口で見ることができる。


ハイチ基金のサイトでは、「登録」というボタンにするよりも「ハイチを支援しよう」の方が一人あたりの寄付金額が高くなった。


動画を見せるリンクには、「エピソードを見る」にするより「全てのエピソード」と書いた方がクリック率が高い。


「無料トライアル」より「無料で試してみよう」の方がクリック率が高かった。


ただ、この辺はサイトの特性や来訪者特性やクリエイティブなど色々な変数があるので、「この通りにすれば完璧」という方程式はない。実験を繰り返すべし。

なお、「ユーザーに何かアクションをとってほしいと思ったら、それをきちんと伝えないとダメ」だそうです。If you want people to do something, tell them to do it.

一度テストしてみて結果が出ると、どんどんほかも試したくなる。1つのA/Bテストの結果を見ると、10個ぐらいの次の案が出てきてしまうクライアントもいる。ただ、色々やっても大してかわらないという場合も、もちろんある。

IMG_20130227_193117.jpg


Lesson #5 Fail fast. 失敗はお早めに。

A/Bテストは万能ではないし、もちろん失敗もある。早く失敗して、原因を究明し、すぐに直して、よりよい物にしていくのが大事。Launch & iterate ですねえ。

失敗事例も色々ご紹介。IGNのサイトでは、動画のビューが高かったので、ナビゲーションでVideoの位置を改善し、もっと押しやすくしようと考えて一番左に持っていった。その結果、動画リンクのクリック率が92.3%ダウンという目も当てられない状態に。これは、IGNのユーザはいつもの動画のリンクを探しに行ってはないじゃんといって帰ってしまうということ。。。


Amazonの登場以来、「商品にはレビューを載せる」が常識となってきているが、レビューを乗せた途端コンバージョンが10%ダウン。なぜか。当然会社が推したいのは新商品。いいとこに掲載する。ところが、新製品には新しいのでレビューがついていない。よってレビューがついている物とレビューのついていない商品が並べられていると、ユーザーは不安に感じて買わなくなる。

IMG_20130227_193416.jpg

ユーザーのためによかれと思って購入前に税金を表示したところ、こちらも10%のコンバージョンダウン。

IMG_20130227_193523.jpg


Lesson #6 Start today 今日から始めよ!

Google Website Optimizer (Google Analytics)やOmniture Test &Target、そしてOptimizelyなど色々なツールがあるので、ぜひ使ってみましょう、とのこと。

ここで Optimizelyのデモ。すごくよく出来てる。

Optimizelyを使って、自分のサイトのURLを入れると、サイトが要素にわかれてそのまま編集できるようになる。コードを書けなくても、文字を変えたり、画像を変えたり、色々な変更をサイトに加えることができる。もちろん大企業のサイトではこんなこと許してもらえないけれど、スタートアップで、コードが書けないマーケッターで、エンジニアはクールな新機能を開発するのに夢中で、デザイン変更を依頼してもそうそう受けてなんかくれない。(あったあった。。。私も昔スタートアップやってんたんで、そういう時あった。。。)そんな時に、コードが書けなくても自分でサイトの変更がかけられちゃうというもの。まあ、これを読んでる皆さん思うところはおありだと思いますが (^^;;

IMG_20130227_193748.jpg

デモの動画。携帯で慌てて撮ったのでクオリティは低いですが雰囲気わかって頂ければ。



サイトの管理者の了承を得た後に、こういうスクリプトをコピペして埋め込みます。そう、コピペです。怖くない。(逆の意味で怖いけど)

IMG_20130227_193832.jpg

A案とB案のテスト結果。

IMG_20130227_194149.jpg

ページ毎の部分変更ではなく、テンプレートみたいなページ横断の変更もできる。

IMG_20130227_195635.jpg

モバイル対応は?と思ったら、iOS, Android, BlackberryなどのモバイルOSを選択すると、該当端末でのエミュレーション結果が出るというデモ。なので、たくさんの端末をテスト用に購入しなくてもいいという。(はい、これを読んでいる皆さん、言いたいことはわかるけどこらえてこらえて。。。w)

IMG_20130227_200612.jpg

Optimizelyで取れた膨大なデータは、ワンクリックでcsvでエキスポート出来る。

IMG_20130227_200747.jpg

ちなみにこの Optimizelyを使っているというクライアントリスト。結構すごい。



QAも面白かったので、ぜひ動画が公開されたらどうぞ。なお、「Be humble and admit that your site sucks -謙虚になって、自分のサイトがひどいって自覚するところから始まるんだよ」だそうです。

イベントの締めは、「人を採用したい会社の人、スタンダップ。どういう人材が欲しいかアピールどうぞ!」で、ものすごい数の会社の人が人材募集に来てました。司会の方も、実は今の会社に転職したのはこういうミートアップでの出会いがきっかけだったとか。みんな常に面白い仕事を探しているし、企業の側も常にいい人材を求めているので、こういうのはよい機会なんでしょうね。スピーカーのDanもすかさず「Optimizelyも今25個のポジション募集中なんでよろしく!」と一言 :)

IMG_20130227_200936.jpg

今までも出張で何度も来ていたのだけれど、出張だと朝から晩まで、ディナーも含めて会社の人達と缶詰になっちゃうので、外に出られない。会社の中の人の話ももちろん面白いんだけど、シリコンバレーは外に面白いことがいっぱいある。特に今は、オバマキャンペーンで頑張ってた人達がシカゴからバレーに戻ってきているので、色々な話がもっと聞けそうで楽しみ!

Disclaimer このブログは山崎富美の個人的なものです。ここで述べられていることは私の個人的な意見に基づくものであり、私の雇用者には一切の関係はありません。