“Quick” and “Dirty”で早速テストを実施
朝井大介氏：その次に、実際にどういうことをやっていたかを簡単にご紹介します。「Pre test」のところですね。7月にスタートして、その次の週にはテストを開始しています。
これはPreliminary testと呼んでいたものなんですけど、企画するにあたって必要なこととして、Smart Channelの領域においてユーザが受け入れてくれるようなコンテンツはどういうものなのかを調べていこうとしました。
ただ、その当時はSmart Channelのシステムもできていないので、ありものでやるしかないんですね。既存の仕組みで、それが模擬できるようなかたちでテストをしています。例えば、（スライドの右側を指して）これは弊社の「LINEデリマ」というサービスです。ポイントというインセンティブを出してみて、こういうものを出すとユーザはどういう反応を起こすんだろうみたいなことを、いろいろなコンテンツを比較しながらテストをしていました。
ちなみに、去年の7月とか8月ぐらいに「こういう怪しいコンテンツを見たことあるわ」という方はいらっしゃいます？
（会場挙手）
お！ すごい。どうでした？ ……とか言って（笑）。これはけっこう数を絞っていて、本当に10万人ぐらいの規模でやっていたんですけど、これをいろいろなユーザに対して出しています。
1週間に5回ぐらいいろいろなテストをしていて、ただ、スタートしてからすぐにやってしまうところもけっこう、「“Quick” and “Dirty”」と書いていますけど、このあたりも弊社のLINEらしいスタイルなのかなと思っています。
こういうことをやっていく中で、実際にいろんなコンテンツというのを出してみて、（スライドを指して）これは先ほどと同じで、青がすごくポジティブな評価で、グレーがネガティブな評価になっています。
これでわかってきたことがあって、当たり前かもしれませんけど、コンテンツによって受け取られ方がぜんぜん違うということが見えてきました。
さらに、コンテンツでも「こういうコンテンツだったら受け取っていただける」みたいなことがこの実験を通して見えてきたので、実際にはこういったすごく手運用なテストをやってきたんですけど、このあたりの知見というのもレコメンデーションのエンジンには反映されています。
実際にいろいろなテストはしつつ、もちろんテストだけをしていてもモノづくりはできないので、開発ですね。裏でアーキテクティングというところは進んでいます。
別のセッションでSmart Channelの機能の発表もあったと思うんですけど、エンジニアが「クソ」が付くぐらい優秀でして、開発要因で遅れることがなくて、だいたい企画の整理が追い付いてなくて怒られるほうが多いぐらいなんですけど、それぐらいすごく優秀なメンバーで開発が進行していっていました。
このあたりの詳しい内容は、昨日の渡邉さんによる「The Art of Smart Channel」というセッションで紹介されていますので、ぜひご覧ください。後日、映像もログミーも公開されると思いますので、よろしくお願いします。
100万人に対して限定公開、ユーザの声を集める
このようなかたちで、企画サイドではいろいろなコンテンツをテストしていったりしている一方で、エンジニアリングサイドではモノづくりが進んでいきます。そうやって進めていきながら、実際には次のリリースというフェーズになっています。
注目していただきたいのは、2018年7月にプロジェクトが開始して……7月もほぼ終わりの頃だったんですよね。息子が夏休みに入った記憶があるので、おそらく7月の末ぐらいに始まって、11月にはシークレットリリースをしています。なので、実質4ヶ月ぐらいで、リアルのサービスのリリースに至っている、というのを聞いていただけると、弊社のエンジニアの優秀さというのが伝わるのかなと思っています。
ここから実際のリリースなんですけど、ここはわりと慎重にやっています。実際のステップとしては、まずは100万人のユーザに対して限定公開をしています。そこで指標としているKPIのモニタリングはもちろんしますし、あとはSNSの声ですね。それからユーザのアンケートみたいなこともしながら、もちろん事前にいろいろなテストをしていますけど、本当に公開しても問題ないのかというところはじっくりと調べています。
ちなみに、100万人にリリースすると、だいたいみなさん優しいのでTwitterにいろんな声を上げてくれるんですね。「なんだ、このクソコンテンツは」「トークリストの上に変なものを出しやがって」「アンインストールしてやる」みたいなこともすぐに反応が出てきていて、このあたりはSmart Channelチームとしては真摯に声は聞いていました。
その中からいろいろ改善したほうがいいことも見えてきたので、実際に改善をしたりもしています。実際にどういうデータや情報を集めながら見ていたかというと、例えば左に示しているのがダッシュボードというものなんですけど、ここはSmart Channelに関わるような数値的な部分を集めています。
ここで現状の数値、KPIに関わることはすぐに確認できるようにしています。あとは右側の部分に関しては、ソーシャルの声のモニタリングをしています。いろいろな声が出てきていて、その声の内容を分類して、声の量であったり、あるいはネガティブとポジティブの比率がどういう遷移をしているんだろうということも見ながらやっています。
本当はここ（スライド）にTwitterで頂いた声を貼ったらおもしろいなと思ったんですけど、ちょっと良くないと言われたので、こういう柔らかい表現で出しています。本当にみなさんの正直な声を頂きましたね。
ちなみに1つ余談ですけど、声を上げてくれる人がTwitterとかに発信してくれると思うんですけど、本当の一般の人はどういう反応を示すんだろうということも知りたかったので、こっそり妻もターゲットユーザにして妻にも表示するようにしました。僕は何も言わないですよ（笑）。どういう反応を示すんだろうとずっと観察してました。
結論から言うと、いまだに何も言及してくれない（笑）。なので、いつ聞こうかなと思ってるんですけど。そういうふうに実際に聞くといろいろ言ってくれるんですけど、その聞く行為自体がバイアスを生んでしまいますよね。その代わりに、ユーザがどのような反応を見せるのかということをバイアスなしで正直に知りたいと思った際に、妻、あるいは身近な人を利用したというのも1つの手ですね。これはみなさん使ったほうがいいかもしれないです。
こういうふうにリリースをしていって、実際には段階的にユーザの入る数を増やしています。最後には100パーセントリリースを達成しているかたちになっています。
このリリースの順番が、日本のものを今お伝えしましたけど、タイと台湾でも同じようなかたちで進めています。いずれのところも段階的にリリースをしていくようなかたちにしています。
リリース後のサービス改善
これで晴れてリリースができたので「やったー！ もう終わりだ！」と思って、南の島に行ってサーフィンをしようと思ったんですけど、実はみなさんもモノづくりをされているとわかると思いますが、リリースしたあとが本番ですね。なので、実は終わったんじゃなくてスタート地点だったというところで、ここからはそのあとのお話をさせていただければと思っています。
現状でどういう取り組みをやっているかというところを簡単にご紹介させていただきたいんですけど、まず1つ目が一番大事な部分ですね。ここがSmart Channelというものが成功するかどうかという非常に肝だと思っているんですけど、いかにユーザに合ったコンテンツを出すかというところのロジックの改善を行っています。
ここに関しては、さまざまなABテストをしながらデータドリブンで改善を図っています。この詳細に関しては、昨日並川から「Building a smart recommender system across LINE services」というタイトルで発表させていただいておりますので、そちらを見ていただければと思っています。本当に日々いろいろなABテストを掛けていて、そこから改善をしていっているというかたちですね。
2つ目の改善は、UXの改善です。ちなみにこれは左がbeforeで右がafterなんですけど、どこが変わってるかわかる方いらっしゃいます？
（会場挙手）
はい、そうですね。2割から3割ぐらいですね。変わったところはここですね（スライドの青い丸で囲まれた箇所）。ここはニュース記事のレコメンドなんですけど、そこにこのニュース記事がどこの発行主から出しているかという、発行主名を追加してみました。
もう1つお聞きしますが、これによってクリックのCTRが上がったと思う方はどれぐらいいらっしゃいます？
（会場挙手）
ありがとうございます。じゃあ逆に下がったという方。
（会場挙手）
ありがとうございます。上がったのほうが圧倒的に多いですね。正解はケースバイケースでした（笑）。
これはクイズとして成立していないですよね。ケースバイケースとは何かと言うと、この発行主の名前によってCTRが上がるコンテンツもあれば下がるコンテンツもあるというのが結果として見えました。
こういうのでも如実にKPIに差が出てくるのが非常におもしろいところかなと思っています。
もう1つは、UX改善というよりもチャレンジの例なんですけど、単純に表示されるだけでなくて、タップすると（枠が）広がって映像が流れるという取り組みも行っています。
これは別にあえて聞きません。これが好きな方というのはあまりいらっしゃらないと思うんですけど、これも「ここで広げちゃうのか～」みたいな感じがするじゃないですか。まさにそうで、社内でもいろいろと議論をしました。ただ、社内で議論をしても解がないので、実際に出してみてユーザの反応を見てみようということでトライしたものですね。
これに関しては、企画のリリースまでのスピードがすごく早くて、これは今年の4月中旬ぐらいにこれをやろうという話になって、5月の中旬にはリリースができたので、1ヶ月ぐらいで出した爆速案件ですね。
このあたりのスピード感、やると決まったらどんどんやるみたいなところもLINEらしいところなのかなと思っています。
ユーザにとって本当に役に立つ場所に
最後の改善はこちらです。コンテンツの改善ということもやっています。ここに関して言うと、トークリストという非常に重要な場所をお預かりして使わせていただいていて、ユーザは別にLINEに限った情報が知りたいのではないのかなと思っています。
あの場所は、朝起きたときや電車の中でメッセージを送ろうとして、あるいは読もうとして、目に入ってくるというすごく重要なメディアになっているのかなと思っているので、そこを運営していく上では、そこにふさわしいコンテンツを配信していく責任があるのかなと思っています。
なので、これから取り組もうとしていることは、あそこの場所を借りて、LINEに限らずもっと生活に重要な情報をきちんと出していきたいと思っています。
例えば、実は既に始めているんですけど、こういう情報ですね。
不審者情報とかを最近見られた方はいらっしゃいます？
（会場挙手）
そうですね。近くで不審者が出たという情報を出したり、あるいは台風が来たときの緊急情報ですね。あとは、最近リリースしたんですけど、電車の遅延情報みたいなこともあそこからお伝えしていきたい。あそこがみなさんにとって本当に役に立つ場所にしていきたいという方向に邁進しています。
“LINEらしいプロダクトマネジメント”の3つのポイント
Smart Channelはこういうかたちでモノづくりをしてきたんですけど、最後に本題です。「LINEらしいプロダクトマネジメントって何なのよ」ということをまとめさせていただきたいと思っています。私が感じるところでは、大きく3つあるのかなと思っています。
1つ目は「Always Data-driven」です。これに関してはSmart Channelのモノづくりの中でもたびたび「データ」や「ユーザの声」という言葉が出てきたと思うんですけど、基本的にはそこで判断しています。誰か声の大きい執行役員が「これをやれ！」と言ったからこれをやるわけではなくて、データで判断しています。
あるいは、もともとこのプロジェクトを潰してやろうと思った私が心を入れ替えたのも、もちろんデータドリブン……。これは説得力がないですよね。ですけど、データをすごく大事にしているというのはすごく大きなところかなと思っています。いろいろな声を聞いていましたというところです。
2つ目は「Stay a Step Ahead」ですね。Smart Channelでご紹介しましたけど、例えば、やると決まったら1週間後にはいろいろなテストを開始していたことや、プレのテストもありました。あるいは、これはご意見はいろいろあると思うんですけど、トークリストの上が開いて動画が流れるようなものに関しても試してきたりしていました。
事前に社内でいろいろ議論はできると思うんですね。「あれをやったほうがいい」「これをやったほうがいい」という議論はできると思うんですけど、実はそこはファクトではないなと。1つ前のユーザの声のところにつながると思うんですけど、さっさと出してみてユーザの声を聞くというところがすごく大きいのかなと思っています。
とにかく、ここにとどまらずに一歩踏み出すというところを常に仕掛けているということは、すごくLINEらしいところなのかなと思っています。
プロダクトマネージャーからすると「ちょっと落ち着きたいな。南の島に行きたいな」と思うんですけど、それがないですね。終わったと思ったらどんどん新しいことが……やりたいことは山ほどあるんですけど、それができていくというのは、辛いというか幸せな状況ですよね。そこが1つ大きなところかなと思っています。
災害情報の配信を例に見るOpen Communication
最後は「Open Communication」ですね。
これは簡単に言うと、チーム内での役割や所属組織が関係ないようなフラットな議論を指していて、エンジニアがUXに対して普通に文句も言ってきますし、戦略に対してもすごく正直な意見を言ってくれます。これはすごくいいところなのかなと思っていて、その1つの事例をご紹介して終わらせていただきたいと思っています。
Open Communicationの1つの事例ですね。これは今年の9月に上陸した台風15号のときの話なんですけど、千葉に上陸して大きな被害をもたらしたときですね。
そのときに、Smart Channelでこういう情報を出しています。被災された千葉エリアの方に対して生活のための情報ですね。具体的には、押すと停電の情報とか給水所の情報というのを表示するようなことをやりました。
これがどう意思決定されたのかというのがすごくOpen Communicationっぽいので事例として持ってきたんですけど、実際にこれをどうやって決めたかというと、こんな感じでLINEで議論しているんですね。ちょっとモザイクを掛けています。いくらアップしても中身は見えないようにしているんですけど、流れを簡単にご紹介したいと思っています。
一番上は13時です。13時にある人から依頼がありました。ただ、最初の依頼というのが「『千葉の被災状況というのを幅広く全国の人に伝えたい』というリクエストをもらっています」ということでした。ただ、Smart Channelチームで考えたときに、こんな目立つところで伝えるべき情報というのは、外に向けてではなくて、むしろ千葉に住んでいる人に対して今必要な情報を届ける必要があるんじゃないかという議論が誰ともなく起きるんですね。
そして、その後続くのは、「給水所がいいですね」と。そういうかたちでみんなでやろうとなって、実際にはその20分か30分後にはランディングページができたという状態になって、そのあと1時間後ぐらいに配信対象を決めて、2時間後ぐらいには「配信しました」みたいなかたちになっています。
これってすごくおもしろくて、2時間で出しているんですけど、別に誰か上長の許可を得たわけではなくて、Smart Channelチームで議論をして、良いと思ったことはやっちゃおうみたいなことがあります。これはまさにOpen Communicationを象徴しているのかなと思っていて、ご紹介させていただきました。
最後にまとめになるんですけど、お題として「LINEらしいプロダクトマネジメントは」ということに対して、3つを挙げさせていただきました。
これはLINE STYLEというものがあるんですけど、その中で、特にSmart Channelプロジェクトで重視した3つを持ってきました。この3つがすごくおもしろいところなのかなと思って、挙げています。
以上になります。ご清聴ありがとうございました。
（会場拍手）
