事例を参考にする際の注意点
中山陽平氏：皆さん、2014年明けましておめでとうございます。ラウンドナップコンサルティング代表の中山です。年が明けてしまいました。もう5日ですね。既に4日から仕事始めの方もいらっしゃるのかなと思います。
ということで1年のスタートアップですね。年度としては3月まである方もいらっしゃると思うんですけども。とは言え、新年というのは1つの区切りですから、ここからまたスタートダッシュかけていただければと思います。
週明けからお仕事という方はやっぱり一番最初が一番大事ですから。一番最初でほとんどその1年が決まっちゃいます。1月にできないことはたぶん12月になってもできないです。ということで必ず先鞭をつけると。自分を奮い立たせるということをやるのが実は1月としては一番大事なことだったりしますね。
今回ですけれども、皆さんが今年Webサイトを改善したいですとか、いろんなことをやりたいというふうに考えていらっしゃると思うんですけれども、その時にやっぱり参考にする情報としてはケーススタディ、つまり事例というものをすごく重要視される思うんですね。
事例というのは広く言えば、例えば私はこういうことをしたらこうふうになってこう上手くいきました。こういったものも事例です。いわゆる事例ってよく「ナントカ企業がこういったことをやってこういう成功を収めました。こういうところが駄目でした」、こういうものが事例というふうに思いがちですけれども。
でも、もっとミニマムな事例で言えば、例えば私もそういうことを書いていますけれども、「こういう実験をしてこうふうになったから、こういうふうにしたほうがいいんじゃないですか？」みたいなことですね。これもある意味事例ですよね。
なのでおそらく世の中にあるいわゆるナレッジの半分以上はこういった事例というものが占めていると思います。とは言え、この事例というもの、非常に怖い存在です。使い方によっては本当ミスリーディングをする非常に危険なコンテンツであります。
逆の言い方をすれば、いかにこの「事例・ケーススタディ」というものをうまく使うかどうかが、特に高額商品、あるいは実際にものを売る時に目の前にものがない、いわゆる通販ですね。そういったものですとか、イメージが大事な商品。そういった物を売る場合には非常に重要になってくる。これを上手くいかに使うかということがコンバージョン（成約率）を非常に左右する。
情報収集の際に気をつけるべきバイアス
ということでもあるんですが、そういう売り手の理論はさておきとしてですね、皆さんが情報収集をするときにこういった事例というものはぜひ気をつけていただきたい、というのが今回の趣旨です。
じゃあ、なぜ気をつけなくてはいけないのかというと、非常にバイアスがかかりやすいんですよね。
バイアスというのは、後ろにある環境ですとか、それから前提条件・隠れた条件、事業環境、いろいろなものに支えられてその事例はあるんですけれども。意図してか意図しないでかはわかりませんが、そういったものをすべて書かないで、あるいは敢えてわかりづらい書き方をしてしまっている事例というのはたくさんあります。
気づいていないことも多いです。よくよく見てみると、これってその記事に書いてあることが原因ではなくて、例えば「季節要因じゃないの？」、あるいは「サラッと書いてある、バナーの文言を変えた。そこじゃないの？」とか。著者が意図していないところが原因になっているということもよくあります。そういう意図しないものもあります。
我々はやっぱり、相手が意図しているか・意図していないかはわかりませんが、情報というものをちゃんとそういうバイアスのかかっていない使える情報として取り込まなくてはなりません。
その時に大事な考え方っていうものをブログのほうに8つ書きました。1月4日ですね。ぜひこれを御覧ください。今回はそれをかいつまんで説明をいたしますけれども、詳しいところはそちらの記事をぜひご覧いただければと思います。「Web戦略ラウンドナップ」ですね、「Web戦略」で検索をすると、1番に出てきます。
ノウハウではなく、ノウホワイ
その8つの項目というものを説明する前に、根本的なこと、これをまず必ず抑えてください。それは「ノウハウを持っていっては駄目」。ノウハウないしハウツーですね。これだけを事例から持っていくとだいたい失敗します。つまり、ここはこういうことをやって成功したんだ。そこだけ見ていくと失敗します。
なぜならば、こういうことをしたから成功したというのは、その後ろにある沢山の要因・ファクター、そういったものに支えられているものなので、そこまでちゃんと吸収しないと意味がないんですね。
だから、誰かが例えばソーシャルメディアを使ったら集客ができました。こういう非常にざっくりとした情報が流れてきた時に、「じゃあ、うちもソーシャルメディアやれば集客できるんだな」というふうに考えるのが駄目ということです。
じゃあ、それに対してどう考えるべきか、いったいどう考えるべきなのかっていうと、ノウハウではなく、まあ、ハウっていうのは方法論ですけれども、ノウホワイですね。これよく私もいろいろなところでしゃべる。ノウホワイ、なんでそうなったのかなというのを事例から汲み取る。これが一番大事です。
例えば先ほどのソーシャルメディアを使ったら集客できましたっていう情報＝事例というものを得た時に、なんでこの企業っていうのはソーシャルメディア、例えばそれがFacebookページか何かを活用したら効果が上がったのか、なんでだろうなって考えて、わかる範囲で調査をして。
そしたら、例えば、この企業というのは実はたくさん口コミがされやすい商品を扱っていたんだけれども、それを共有する場というのがなかったんだ。あるいは何かの原因でその商品やサービスを買った後に人にしゃべりたくなるような仕掛けがしてあったにも関わらず、それをしゃべる場所というのがオンライン上になかったなとか。
それで、偶々ソーシャルメディアを使ったら、皆さんがそこを自分の言いたいことを書くところとして活用したから、そこから成長してそれが有名になり、そして友達の友達がそこにさらにFacebookページに「いいね！」を押して、情報を得られるようになってくれたり、ということで、雪だるま式にその企業のサービスに興味を持ってくれる人が増えていって、そして集客につながった。こういうことがあったのかもしれません。
これっていうのはやっぱりホワイ、なぜっていう部分をたくさんたくさん考えて、それによって、「あ、こういう原因だから、ここがうまくいったんだな」。「じゃあ、その上でうちはそれを実現するためにどういうハウ（方法）を取ればいいんだろう？」というふうに考えることが必要です。
なんでかな？ どういう原因かな？ どういう要因かな？ それを知ったあとに、じゃあうちでやる場合にはどうしたらいいか、という順番で考えるんですね。それをふっ飛ばして、あそこと同じことをやればうちもうまくいくはずだ、というふうに思ってしまうと駄目。これが一番今回お伝えしたいこと。
ぜひネット上で魅力的な事例であったり、こういうことをやったらうまくいったという情報ですね。そういったものを見つけた時にもそれがそのまま使えるとは基本的には考えない。これを必ず押さえておいて下さい。
ビジネスモデルやKPIは同じかどうか
その上で押さえておいていただきたいポイントというのをブログで8項目に分けて書きました。今回は見出しだけご紹介しますけれども、内容というのはぜひブログほうで御覧ください。「Web戦略ラウンドナップ」「Web戦略」で検索すれば1位に出てきます。
8項目、具体的にいきますね。
1つ目は、ビジネスモデルやKPIというものが私と同じか？ 私というのは皆さんですよね。皆さんと同じか？ あるいは少なくとも似ているものだろうかと。事例というのは本当にそういう前提条件などをすっ飛ばしたりしています。
とくにビジネスモデルなんていうのは見えてないものもあります。それがあなたのビジネスモデルと同じかどうかっていうのはちゃんと調べないといけないですね。
それからKPI、どういう指標をもって成功と不成功というものを考えているか。実は皆さんとは全然違うような要因をKPIとして設定して、その上でそれを元に成功・失敗を判断しているかもしれません。だとしたら、そのまま使ってもあまり意味がなかったりしますよね。
もちろんこうしたビジネスモデルとかKPIの形というものは、完全に一致するということはまずないと思います。なので、少なくとも似ているものかどうかと。ビジネス的に似ているものなのか。物販とツーステップのビジネス、そういうレベルで似ているのかどうかというのを必ず確認すると。これが1つです。
その事例が起きた時期はいつか
そして2つ目は時期ですね。その事例の記事が書かれた時期。あるいは書かれた時が最近でもその事例自体が起きた時期。2014年に書かれていたとしても、その事例は2012年の事例でした。そういうところも含めて、その事例というのはいつ発生したものなのかと。それを前提にして、じゃあ、今でもその事例は通用するものなのだろうかというのを必ず押さえてください。
これ、ネット上でノウハウを検索する時に本当にありがちです。
例えば、動画のマーケティングを成功させたいという時に「動画 マーケティング 成功」とかで検索をして3年前くらいの記事がヒットしましたとか。それを見ると、大手のコカ・コーラとかメントスとかがバズるようなおもしろコンテンツみたいなものをYouTubeに投稿したらすごい沢山見られましたよ、みたいな。
それを今やれば成功するかっていったら、もうそういうのはそういうブームというか流れって過ぎ去っちゃってますよね。っていうような話です、例えば。
今のような話というのは本当に水物です。ソーシャルメディアというものが始まったばっかりで、それで何かやれば話題になるような時期だったから成功しただけですから、ということですね。
つまり賞味期限ありますノウハウというのは基本的には、もちろんビジネスに根幹に関わるような部分というのは賞味期限あまり無いですけども。だいたいインターネット上のノウハウっていうのは賞味期限があります。なので、今見ている事例っていうものがいつ書かれてのか、そしてそれは賞味期限切れではないのか。これは実に押さえておいて下さい。
データは同じ時期に計測されたものか
それからですね、細かいデータの部分になってくるんですけれども。例えば事例の中で出てくるノウハウ、その元になってるデータというのは、例えば2つの状況を比較したものだったとしたら、それは同時に行なわれたものなのかどうなのか。それとも1つ目が行なわれた後に2つ目が行なわれた。これはシーケンシャルに行なわれたものなのか同時期に行なわれたものなのかというところなんですけれども。これも大事です。
時期がずれてしまうといろいろな要因が影響してきますよね。季節要因であったり何らかのインシデント・出来事が起きたからかもしれません。そういうノイズがありますので、できるだけそれは同時期に一緒にテストした、つまり同じ時期にスプリットテストをしたようなものである。そういったものをできれば選ぶべきですね。
そうじゃない場合は季節要因とか時期的な要因が関係しているかもしれないなというのを必ず頭の中にいれておいてください。
サンプル数はどれくらいあるのか
それから。サンプル数ですね。当然、これ10件とか15件ぐらいやって良くなったというふうに考えるのは非常に早計です。統計学的に言えば、その差というものが有意である、意味があるというものを判断するためには非常に多くのサンプルが必要です。少なくとも10、20では駄目です。桁が1個、2個増えるような状況ですね。
とはいえ、そんなにやってられないよという場合もありますので、これについては昔サンプル数が少ない・アクセス数が少ないサイトでどうやったらABテストやるべきなんですかっていうのを「Web戦略 ラウンドナップ」のほうにも書きましたので。
それはそれとしてサンプル数というものを気にする。サンプル数があまりに少ない。これは統計でもそうですね。Nの値があまりにも少ない場合には「それって結局統計的に意味があると言えるの？」「もっとたくさんやったら変わるんじゃないの？」という疑いの目で見てください。母集団少ない統計というのは意味がありません。
変数となっているものは何か
それから、少し飛ばしますけれども、変数となっているものは何なのかと。これは結構無意識に、事例で出てくる場合ってもともと比較テストをしようと思わないで始めたようなものも多いんですよ。そうすると、こういったことを変えたらうまくいった、こういう事例っていうものの情報があった時に、担当者が把握していないところで何かが変わっているかもしれないですね。
その何かが変わっているかもしれないっていうことをちゃんと押さえておかないと本当はそれが原因かもしれないと。ということで変数となっているものをちゃんと把握する。そういう実は変わっていたもの、それはつまり変数ですから、variableですね。それがその記事に書いてあるもの以外にもあるんじゃないのと。これは必ず押さえてください。
それから、明記されていないもので「何か変化してる仕様ってあるんじゃないの？」というところですね。なんでかというと、だいたいこれ、反動が来るんですね。
例えば、検索結果からのクリック率「CER」というものが改善した場合、つまり検索結果でたくさんの人がクリックしてくれるようになった場合、これSEOで言えばスニペットの改善ですし、リスティング広告で言えば広告文ですよね。
そういったものを改善した場合、その時やっぱり同時にクリック率が上がればコンバージョンレートが下がるみたいなことが起きます。それはなぜかっていうとターゲットじゃない人が当然入ってきてしまって。その人たちは直帰してしまったり、あるいは成約はしない。
こういうことが起きますので、必ず何らかのバーターというものが起きてきます。そのバーターを最低限にするためにいろいろな仕込みであったり、PPCで言えば除外キーワードを設定したりだけれども、0にはまずなりません。なので、むしろ下がっているところはないかなということですね。
よく「アクセス数が2倍になりました」というのがありますけれども、アクセス数が2倍になってコンバージョンレートどうなったんだという話ですね。アクセス数が2倍になってコンバージョンレートは1／3になりました、といったら実はトータルでコンバージョン数落ちてますよね。2／3だから1／3くらい減っちゃってますよね。
という他のファクターが書かれていないことも多いです。やっぱり良いところを書きたいんで、事例って。そういう時にはわかる範囲で探る。なかなか聞き出せないかもしれないですけれども「探る」ということが大事です。
ということでバーターじゃないですけれども、書かれていないところでこういうところが実は悪化しているんじゃないのかなというところは必ず目を光らせるようにしてあげてください。
どれくらい効果が持続するか
そして、最後はこれは時間的な問題です。それは行なった改善というものはある程度長く続く効果が出るものなのかというところです。これは非常に大事です。
Webサイトを運用する時に一番大変なのは、その名の通り「運用」なんですね。その「運用」というものがちゃんと行なっていけば、その効果というものが持続していくかというのは非常に大事です。
なので、例えばその施策をやったら確かに効果あるけども、1ヶ月しか持ちません。こういうことがちゃんと書いてあればいいですけれども。書いてない場合も多いので、「この施策ってやった時に本当に効果は続くんだろうか？」そういう目線で見てあげてください。短期的にしか効果を上げないんであれば、それに対して、「じゃあ、それ本当にペイするの？」と。
1ヶ月間アクセス数が1.5倍になる。でも、そのために100万円必要だ。じゃあ、それ100万円の価値あるのかなと。ずっと1.5倍になり続けるんだったら、100万円って多分価値あると思うんですけれども、1ヶ月で終わっちゃんだったらどうなのかなというふうに変わりますよね。
ということで、どのくらい続くものなのかというのを読み取るように。あるいは目算をつけるようにしてみてください。ということで詳しい内容は記事のほう見ていただければと思うんですけれども、押さえていただきたい点はこのような内容です。
事例というのは非常にミスリーディングされやすいものなので、基本的にまず自分に当てはめて、その上で良い意味で疑ってみる。良いところだけ奪っていく。ノウハウではなくノウホワイということを考える。こういったことを考えて見ていっていただければその事例というものは必ず皆さんのプラスになると思います。
ということで、今回のPodcastは今年いろいろなことやられると思います。その時に事例とか参考にする時に気をつけていただきたいポイントでした。
