「仮説を出すための分析方法は？」「課題以外でどんなデータを見ている？」　リクルートのプロダクトマネージャーが答える、データ分析のQ&A

「仮説を出すための分析」はどう実践するか

加藤舞子氏（以下、加藤）：ということで（ここまでで）3つ聞きましたが、視聴してくれている方がたくさんいて、質問もたくさんもらっているので、質疑応答に移れればと思います。

1つ目。「仮説を出すためのデータ分析には、どのような分析が効果的なのか聞いてみたいです」。確かに「仮説を持て」と言うけれど、その足がかりもない時はどうすればいいのかということで。じゃあ、厳しそうだったまーいー（今井氏）に聞いてみようかな。

永石陽祐氏（以下、永石）：（笑）。

今井隆文氏（以下、今井）：仮説を出すための分析と、課題を具体化するための分析はやはり違うんだろうと思っています。仮説を出すための分析は、「数値の前にユーザーの行動がどうなのか」ということにフォーカスする。自分はそう意識していると思います。

具体的には、例えば「ここのパネルが悪い」という分析は、そこを改善する時の分析としてはいいと思うんです。だけど、そこがなんで下がるか、そこがなんで悪いかという意味で仮説を見つけるためには、もう少し連続線で分析をしないといけないと思っています。

1個気になる数字とか気になる動きがあった時に、「なんでこんな動きをしちゃっているんだろう」と思ったら、徹底的にそこの行動を追ってみることを、今はカスタマーサイドのプロダクトをやっているのでよくやると思います。

加藤：じゃあ、よりどころをちょっとは信じてやってみる感じなのかな。

今井：それでちょっと深掘りしてみて、「違う道に入っちゃったな」と思ったら、戻って探索していくことが多いです。

加藤：それは時間を決めている？

今井：時間を決めることはけっこうあります。

加藤：そうだよね。海に入っちゃうもんね。

分析結果と真因に因果関係がない場合どうするか？

加藤：たくさん来ているので、サクサクいこうと思います。続いて、バイネームで永石さんに（笑）。「データの結果と真因が相関はあっても実は因果関係がない場合もあるのかと思うのですが、そこの構造や結びつきはどのようにして分析しているのでしょうか？」。

永石：難しいですが、結論を言うと、こうなったらもう分析はしない気がしますね。おそらくそこまで来たら実際にやってみると思います。たぶん分析は真実がわかるものというよりは、確実性が上がっていくものだと思います。なので、事実はあくまで事実を知るのが一番手っ取り早いと思うので、事実を知るにはプロダクトをリリースしないといけない。

リリースのコストに見合う不確実性になっているかどうかまで掘り下げられたら、それが本当に疑似相関か因果があるかは、たぶん今のデータをドリルダウンしてもわからないと思います。

いったんその仮説をベースに、真実かどうかがわかるようなプロダクトだったり、改善や試作をしてリリースするのが早いんじゃないかと。ものによるけれど、ここまで来るとそう思いますね。

加藤：わかるまでやるか、わからないという結論を出すかという感じ？

永石：そうですね。たぶんゼロイチじゃないので。「たぶんこうだと思うけど、確証はないです」というものだと思っています。リスクに対してのリターンで経営判断がされるので、「これはこうだと思うけど、真実かどうかはわからないです。だけど、これをやって僕の仮説が当たっていたら、これだけ利益が出ます」としっかり言います。

加藤：そういうことね。「僕を信じてください」パターン。

永石：「これをやります」は経営層の判断なので。「虎をびょうぶから出せ」という話をしっかりしてくる経営層は弊社にいないので（笑）。いつまでたっても出せないものを数字の周りでぐるぐるしているよりも、下げられるリスクまで下げきったら、あとはリターンでうまくいったらこのぐらい見込めるから（ということで）プロダクトとしてリリースをして、その数字をもって「評価してくれ」とする場合が多いですかね。

仮説の出し方を間違えた悪い分析手法は？

加藤：では、次の質問にいこうと思います。「仮説の解像度をあげるための分析手法も」……これは先ほどの（質問）だな。これはまーいーが答えてくれたので、「一方で、仮説の出し方を間違えた悪い分析手法もあればうかがいたいです」。仮説を持たないまま進んじゃった以外で、間違えた悪い分析手法。じゃあ、みきちゃん（松本氏）！　悪い分析手法（とは）？

永石：難しいですね。

松本美希氏（以下、松本）：難しいですが、先ほど今井さんが言っていたように、打ち手につながらないじゃないですが、そういう仮説は自分でもけっこうドツボにはまって、結局いろいろ数字をいじったけど何もわからなかったことはけっこうあります。

例えばHRとかだと、「こんな類のカスタマーとこんな類のカスタマーで、傾向が違うんじゃないか」と仮説を立てるのですが、「それでどうするんだっけ？」「サイト上のコミュニケーションを細かくわけていくんだっけ？　いやそれは現実的じゃないな」みたいな。「それは変に的を絞っただけだな」というところはあるかもしれないです。

加藤：確かにありそう（笑）。たぶん悪い手法はいっぱいあると思います。思いついたら教えてください。

「有用だけれど取得が困難なデータ」の場合どうするか？

次、「『手元にあれば非常に有用だが、実際問題、取得が困難なデータ』がもしあった場合、どのようなアプローチをとっていますでしょうか？」。

永石：「データを作る」だと思います！

（一同笑）

加藤：そうね。

永石：先ほどと同じ。

加藤：先ほどのとおりね。

永石：そうですね。“作りにいく”ということが、けっこうみんな見落としがちなポイントだと思っています。元のデータで納得しようと思う系の話かなと思っています。

加藤：確かに。まさに本当にそうだと思います。「データを取りにいってください」という感じですね。

デプスインタビュー対象者の集め方と、回答の割合

加藤：続いて……これは事前質問なので、更新されていないのかな？　いくつか質問をもらっているので、他の（質問）も聞ければと思います。永石さんにもう1つ来ていますね。

「デプスインタビューする学生はどうやって集めたんですか？　何人ぐらいの意見を聞いて十分だと思ったのか、『出席登録がわからない』と言ってくれる人の割合はどのぐらいだったのか、可能な範囲でご教示いただけるとありがたいです」。

永石：どうやって集めたかというと、デプスインタビューは定常的にやっていたりするので、それぞれ違ったり調査会社経由だったりします。リクナビの会員さんに募集をかけたりする場合もあったり、という感じですね。何人ぐらいかもケースバイケースなので、実際には10人前後が多い気がしますね。

これは先ほど言ったように割合で判断するという感じではなく、100パーセントになるまでやるかというと、たぶんそういうわけでもないです。ある程度の傾向値が見えた段階で、「確かに」という仮説にみんながなったら、いったんプロダクトをリリースしてみて事実を確かめる仮説検証に入ったほうがいいと思っています。

正直あまり覚えていないですが、「確かに」と思った段階で「これは確かに見にくいな」「説明がないな」と思って、直近のリリースポイントに「ちょっとここを変更した状態でやってみよう」みたいにしてやった思い出がありますね。

なので、「こうなったらこう」とロジカルに数字で判断しているというよりは、仮説が確かなものと肌感覚を持った段階で、世の中に出して事実かどうかを確かめるというアプローチをとっていた感じですかね。ごめんなさい、あまり回答になっていないかもしれないんですけど（笑）。そんな感じです。

加藤：いえいえ。

そもそもどんなデータをウォッチしているのか？

加藤：あともうちょっとだけ聞こうと思います。「課題に対してのアプローチでデータ検証を用いる事例はイメージが付くのですが、そもそもどんなデータをウォッチしているのかを教えていただけないでしょうか？」。まーいーは、どういうデータをウォッチしているか、思いつくものをバババッとお願いできますか？

今井：3つぐらいあると思っています。1個は、KPIに明確に紐付くものたち。その数字が上がることが、我々が最終的に追いかけている数字に対してどういうインパクトを与えるのかというレバーになるものたち。

2つ目が、定常的に観察をしていかないといけない時期やトレンドがあったり、何かが起きた時にアラートを上げてくれる数字たち。1個目のKPIがユーザー数とかCVR（Conversion Rate）だった時には、2個目がトレンドだったり、曜日別だったり、そういう話ですね。

3つ目が、どこでも出していないというか、事業にとって重要性はないものの、「この数字が伸びてくれると良いプロダクトになってくれると思うんだよな」という自分の思いがある数字。以上の3つですかね。

加藤：サラッとCVRと言いました。例えば飲食だと、予約完了を起点にすると思うんですが、どこからのCVRを見ていますか？

今井：画面別で見ています。検索ページ、詳細ページ、フォームを分けて見ていますね。

加藤：そうだよね。そうやって見ないと、どこでしくじったかわからない。けっこう細かくCVRと言いながら、みんなが見ている感じですね。

「データに逃げるな」「書いてみろ」

加藤：ということですみません。今の質問を最後にさせてもらえればと思います。残りの質問に関しては、Zoom上のチャットで答えられればと思います。送ってくれたみなさま、すみません。ありがとうございました。

今の私たちの議論の内容を、社内のグラフィックレコーダーが記載してくれています。ちょっとタイムラグがあるようなので、先にお知らせにいかせてください。

私たちは、一緒に働いてくれるみなさんをすごく待っています。みきちゃんが言ってくれたように、経験はなくても本当に大丈夫です。ただし実践ベースです。なので「こういうことができるようになったら、次にここにいこうね」とか、そういうのじゃないです。

すぐに実践できます。楽しいと思うので、ぜひ来てもらえればと思います。

予告なんですけど、プロダクトデザイン室の戸田が「プロダクトマネージャーカンファレンス2022」に登壇します。プロダクトマネージャーの育成と成長の観点の話をするので、興味がある方はぜひ出席をお願いします。

そして次回、5回目の「プロデザ！BYリクルート」ですが、デザインディレクターの2人に来てもらって、「リクルートが欠かせないデザインレビューのポイント」について対話してもらいます。

高橋さんと私は住まい（領域プロダクトの同じメンバー）で、いつも一緒にしゃべっています。データ分析もできるディレクター兼デザイナーという感じなので、ぜひ話を聞いてみてください。数値感覚を持っているデザイナーなので、すごくおもしろいと思います。

加藤：グラレコが更新されたかな？　資料を更新してみようと思います。ありましたね。

ということで、今日の話をちょっとラップアップ的にまとめようと思います。「ふだんどんなデータ分析をしているか」でいうと、アクセス解析や定量分析、定性分析のこの3つから、いろいろなところを取りにいっているということです。

「データ分析スキルの重要性」でいくと、目線合わせに使ってみたり、プロダクトの変動が起きた時にいつもちゃんと分析ができているからこそ、変動に気付けるというところがあります。

そして、「リクルートのPdMとして求められること」に型はありません。なので「適切な好奇心」があればどんな方でも入っていけます。そして大切なのは「SQLが書ける！」とか「クエリが組める！」とかそういうことじゃなくて、それを合わせて企画につなげる力。なので、企画は国語力と算数力というところです。今日出たお話の中で、「データに逃げるな」「書いてみろ」というこの2つを大事にしたいと思います。