LINE公式アカウントの“メッセージ送りすぎ問題”　機械学習でどのように解決したのか

LINE公式アカウントの「メッセージが多すぎる」問題

西手嘉昭氏（以下、西手）：本セッションでは「自社LINE公式アカウントのメッセージ送りすぎ問題をデータサイエンスで解決する」というテーマで、Data Scienceチームの西手とMachine Learning Solutionチームの吉永の2名でお話しいたします。

すでに実感されている方もいるかと思いますが、LINE公式アカウントは「メッセージが多すぎる、ウザイ！」と感じられたことがあるかもしれません。実は私もその1人なのですが、本セッションでは特にLINEが自社で運用しているLINE公式アカウントに焦点をあてて、この課題を解決するためにどのようにデータを活用しているのかについて、事例としてみなさんに持ち帰ってもらえればと思います。

本セッションのアジェンダは、4部構成となっています。1つ目は、私たちの所属組織であるData Labsの紹介。2つ目は、メッセージ送りすぎ問題の背景と課題解決の方向性について。3つ目は、機械学習モデルの構築と展開について。4つ目は、結果と今後の展望について、それぞれお話しいたします。

それでは初めに、私たちのチームについて紹介します。Data ScienceチームとMachine Learningチームは、ともにData Labsというチームに所属していて、主に自社のLINE関連サービスを横断的に扱うデータ分析の専門組織です。

Data Scienceチームは、主にサービスのデータに基づいた意思決定の支援、Machine Learningチームは、機械学習プロダクトの企画から運用をミッションとしています。

Data Scienceチームは、それぞれ4つのチームに分かれています。LINEマンガやLINE MUSICを扱う1チーム、LINEのメッセンジャー、LINEスタンプ、LINEポイントを扱う2チーム、金融サービスを扱う3チームは、基本的にB to C向き合いとなっています。

そして私が所属しているData Science Team 4は、主にB to B向けのサービスとなっていて、LINE公式アカウントとLINE広告を扱っています。

機械学習チームは、役割によってチームが分かれています。機械学習基盤を開発するチーム、機械学習のフレームワークやライブラリを開発するチーム、機械学習のサービス適用を推進するチーム、機械学習関連のプロダクトマネジメントやプロジェクトマネジメントを行うチームです。

本日開発部門を紹介する吉永は、Machine Learning Solutionチームに所属しており、機械学習エンジンのプロダクト適用は、それぞれのチームと協働しながら行っています。以上が、所属組織の説明となります。

LINE公式アカウントについて

すでにみなさんはLINE公式アカウントについてご存知かと思いますが、本題に入る前に少し補足いたします。また、ここ以降はLINE公式アカウントを略称のOAという呼び方に統一いたします。

OAとは、LINE上でユーザーが企業や法人と友だちのようにつながることができるサービスです。今画面に映しているのは管理画面の一部ですが、左からメッセージの一斉配信機能、1 to 1でのチャット機能、外部API連携機能など、多様な機能を備えています。顧客の獲得から育成、リテンション施策などビジネスコミュニケーションを一通りサポートできるのがこのサービスの特徴となっています。

中でもメッセージの一斉配信機能はOAの核となる機能の1つでして、広告用途やブランディング用途で広く利用されています。友だち全員に配信する機能だけではなくて、推定属性や友だち追加からの経過日数、特定のグループに対しての絞り込みなどの機能が搭載されています。この配信ロジックは、ビジネスニーズに合わせて常に開発・拡張が行われています。

LINE公式アカウントのメッセージ量についてのユーザー調査

前置きが長くなってしまいましたが、ここからが本題となります。今回のメインテーマは、自社のOAがメッセージを送りすぎているという問題です。自社のOAは、LINEが運営・管理しているアカウントのことで、LINEスタンプやLINEショッピングみたいに、アカウント名に「LINE」と付くものが対象になっています。

もともとは、経営層でこのテーマがホットトピックになり、この問題をなんとかできないかという相談がData Labsに出されたことがきっかけでした。まず初手として「送りすぎ」とはどういう状態なのか、どういう問題を引き起こしているのか、現状認識するところから始めました。

まず最初に定性的なアプローチとしてユーザーアンケートを実施しました。左側の緑色の円グラフを見てほしいのですが、こちらは「OAから受け取るメッセージの量は適量ですか？」という問いに対する結果になっています。グラフからは、「メッセージの量が多い」と感じるユーザーが75パーセント以上いることがわかります。

次に、右側のオレンジ色の円グラフを見てください。こちらは「OAから配信されるメッセージは有用ですか？役に立ちますか？」という問いを行った結果ですが、「有用だ」と答えたユーザーが50パーセント近くいることがわかります。これらをまとめると、メッセージの内容によっては有用だが、量は多いと感じているユーザーが多いことが、このユーザーアンケートからわかることになります。

LINE公式アカウントのメッセージ量についての定量調査

次に定量的なアプローチとして、ユーザーが1日に受け取っているメッセージの量とユーザー分布、それから開封率を可視化しました。まず青い棒グラフのほうを見てください。こちらの横軸がユーザーが1日に受け取っているメッセージの量です。縦軸がユーザー数です。

1日に受け取るメッセージ数が増えていくごとに、ユーザー数が少なくなっていく傾向にあるのですが、ここからわかることは、1日に30通以内がだいたいユーザーの95パーセントぐらいで中央値、一般的にはだいたい1日5通ぐらい、などということが読み取れます。

下の緑の線グラフは、開封率のグラフです。開封率は分子が既読をつけたメッセージ数、分母が受け取ったメッセージ数で算出をしています。この結果から、ユーザーはメッセージを受け取れば受け取るほど、既読を付けなくなっていく傾向があることが読み取れます。

この分析は、ユーザーの状態を客観的に捉えるための、基礎の基礎分析にあたりますが、この分析にプラスして、OAの観点を組み合わせて分析した結果を次にお見せします。

ここでは、OAのメッセージの送信頻度を横軸にさらにつけ足しています。ユーザーのメッセージの開封率は縦軸、先ほどのユーザー分析で行った棒グラフの分析からユーザーの層をLow FrequencyとHigh Frequencyに分けて2分割したものになっています。青いほうがLowでオレンジがHighですね。

3つの分析軸があり、理解しづらいと思うので、1つずつ視点を固定して行きながら見ていきましょう。

まず右側の高頻度にメッセージを配信するOAから。高頻度というのは毎日配信しているようなOAのことですが、そのOAのメッセージ開封率はユーザーのメッセージの受信頻度によって異なることがわかります。低頻度に受信しているほうが、もちろん開封率は高い。

次に視点を左側の低頻度に配信するOAに移してください。ここで何が起きるかというと、低頻度で受信するユーザーの開封率は比較的高くなるんですが、高頻度で受け取っているユーザーの開封率はまったく変化がないことがわかります。これはどのように理解したらいいか、みなさんがOAを運用する担当者というイメージでいったん例え話をします。

みなさんが、例えばアカウントのブロック率を下げるためであったり、単価を抑えるためといった目的でメッセージの配信頻度を落としたとします。しかし、みなさんの周辺にいるOAが、高頻度にメッセージをバンバン送っていると、メッセージを高頻度に受信しているユーザーは、開封率が上がらないことを示しています。

これは、みなさんの努力で解決できない問題であり、OAプラットフォームの課題である、ということが理解してもらえるかと思います。

ITの技術による解決

さて、これまでの分析結果をもとに、メッセージ量が多すぎてメッセージが開封されないという問題があることがわかりました。そのため、解決方針は、メッセージ量が適切にコントロールされて、メッセージがなるべく開封される状態になります。では、それを具体的にはどうやっていったらいいかという話を次にします。

例えばメッセージを送りすぎるOAについては、料金を引き上げる方法もありますし、OAの運営体制を強化して、メッセージの配信コストをかけてでも配信メッセージのターゲットを細かくする方法が考えられます。いわゆる問題の2大解決方針と言われていて、「ルールの変更」と「リソースの再配置」という方法です。

ただ現実的にはルールの変更は、対外的に軋轢を伴うこともあります。そしてリソースの調整は、社内での闘いが待っているというのが、よくあるお話です。私たちはどうしたかというと、両方のデメリットをそれぞれ解決するために、ITによる解決を解決策として挙げ、機械学習でメッセージの開封予測をして、開封予測の結果読まれないユーザーには送らないように、メッセージ量のコントロールする、という解決策を立てることにしたのです。

機械学習によるメッセージ量コントロールの仕組み

吉永尊洸氏（以下、吉永）：ここからは吉永が担当します。先ほど西手からお話があったように、ここからはメッセージの開封予測に基づくメッセージ量のコントロールを行う仕組みについてお話しします。

まずはシステムのコアとなる機械学習エンジンについて紹介します。LINEでは、みなさんが受け取っているメッセージの量を最適化すべく、機械学習を活用しています。

こちらのスライドがその機械学習エンジンの概要です。我々はこの機械学習エンジンをOpen Score Generatorと呼んでいます。過去にアカウントからみなさんに届いた履歴を基に、各アカウントとユーザーのペアに点数をつけていきます。この点数をスコアと呼びます。このスコアは0から1の数字をとり、より開封する見込みが高いユーザーにはより高いスコアが割り当てられる仕組みになっています。

スコアが一定以上のユーザーにだけ配信することで、必要なメッセージは届けつつ、全体に送られているメッセージの総量を減らすことができます。

なぜ機械学習を活用しているのか。それはLINEのデータ量が非常に膨大なため、人手でルールを作ることが非常に難しいためです。LINEの月間アクティブユーザーは、日本だけで8000万人を超えていて、さらに国内のアクティブなLINE公式アカウントの数は24万を超えています。そのため、LINE公式アカウントからみなさんに届くメッセージの総量も非常に多くなりまして、1日あたり日本全体で10億件以上のメッセージが届く可能性があります。このような膨大なデータの量から自動的にルールを見つけ出す仕組みとして、機械学習が有効だったわけです。

ではこの機械学習でどのような量を使っていて、どのような量を最適化しているのでしょうか。

こちらのスライドが、それぞれ機械学習の入力と出力を表しているフィーチャーとターゲットです。左側の図がフィーチャーで右側の図がターゲットを表しています。フィーチャーには、過去のメッセージの配信の履歴や開封やクリックといったイベント、さらに各ユーザーの属性やアカウントの属性といったものが使われています。

こちらのフィーチャーを使って、アカウントからみなさんにメッセージが届けられた時に、みなさんが開封するかどうかの関係を機械学習によって求めています。Open Score Generatorでは、みなさんに届けられたメッセージが能動的に開いたという観点を取り込むために、メッセージが100パーセント表示されたことを開封の定義としています。

Open Score Generatorには、データ分析で明らかになった知見もフィーチャーとして活用されています。西手から話があったように、メッセージを受け取れば受け取るほど、または受け取る頻度が高ければ高いほど、開封率が低くなっていく傾向がありました。これらの特徴は、過去にメッセージを受け取った回数やメッセージを受け取った日数というかたちのフィーチャーになっています。

2つ図があると思いますが、上の図がアカウントからメッセージを受け取った回数とスコアの関係です。上の図の左側が各アカウントからのメッセージ回数が横軸に、右側がアカウント全体からのメッセージ回数が横軸になっています。これらの図を見ると、メッセージを受け取った回数が増えれば増えるほど、スコアが低くなっていくことがわかります。

次に下の図を見てください。下の図は、過去1週間でメッセージを受け取った日数とスコアの関係です。あるしきい値を定めて、それよりも上のスコアをもったユーザーをHigh Score User、それよりも下のスコアをもったユーザーをLow Score Useerとします。この下の図の左側が、過去1週間メッセージを受け取った日数とHigh Score Userの割合を表していて、右側は逆にLow Score Userの割合を表しています。

こちらの図を比較すると、High Score Userはメッセージを受け取った日数が少ないほうに若干偏っていて、Low Score Userはメッセージを受け取った日数が多いほうに偏りがあることがわかります。

これらの特徴は運用改善の可能性を示唆しています。各アカウント、もしくはアカウント全体が、配信の回数や頻度を抑えていくことで、ユーザーのスコアが上昇し、結果メッセージが届きやすくなるといったことが起きるためです。このように、Open Score Generatorにはデータ分析で得られた知見がフィーチャーとして取り入れられているだけではなく、その知見を活用して運用改善をする仕組みも搭載されています。

以上が、機械学習エンジンの紹介でした。

実際の配信システムの仕組み

次に実際にどのようなシステムで配信がされているのかについて紹介します。こちらのスライドがOpen Score Generatorを使ってみなさんに適切にメッセージを届ける仕組みです。このシステムは、3つの開発組織によって共同開発されています。

1つ目はアカウントのメッセージ運用者が使う管理画面、これをOA CMSといいますが、こちらの開発を行っている部署であるOA Dev。2つ目は管理画面からのリクエストを基にメッセージ配信を行う仕組みであるMessaging APIを開発する部署であるB-part。最後にOpen Score Generatorを開発している我々DataLabsです。この仕組みのことを、社内ではOpen Score Targetingと呼んでいます。

次に簡単に配信の流れを説明しましょう。右下のOA CMSというところに着目してください。まずOA CMSから配信したいメッセージの内容を登録します。実際に配信がある際には、この管理画面のシステムからMessaging APIでリクエストが飛びます。このリクエストを基にメッセージ配信が行われますが、そのためには、誰に送るかというデータが必要になります。

その誰に送るかのデータをData Labsが提供しています。そのフローがこのスライドの真ん中の上から下に流れているフローになっています。誰に送るかに関しては、スコアを基に決められていて、そのスコアを基に、ターゲティング配信が行われる仕組みになっています。配信されたそのデータは、安全かつ適切にLINEの分析環境のHadoopクラスタに蓄積されて、次のメッセージ配信のために利用されます。

Open Score Targetingでは、運用者の目的に応じて2種類の配信オプションを提供しています。1つ目はAuto Targeting、2つ目はManual Targetingと呼ばれるものです。Auto Targetingは文字どおりスコアの高いユーザーへ自動的に配信する仕組みになっています。一方でManual Targetingは、High Score UserとLow Score Userに分けて、どちらかに絞って手動で配信する機能になっています。

1つ目のAuto Targetingは、自動配信なので運用は簡単なのですが、細かい調整はできません。2つ目のManual Targetingは、手動運用なので若干運用は大変ですが、High Score UserとLow Score Userでメッセージの内容や配信頻度を調整したりと、きめ細かな運用が可能になっています。

また機械学習だけで無理に最適化するのではなくて、別途ビジネスロジックを組み合わせていることも、このOpen Score Targetingの特徴になります。

まずアカウントをフォローして7日以内のフォロワーに関しては、アカウント運用者がきめ細かなコミュニケーションをして、ユーザー育成を図るという目的で必ずメッセージが届く仕様になっています。また一定期間ユーザーにメッセージを送信していないアカウントは、そのアカウントはプラットフォーム全体の観点でいうと配信頻度が十分に低いだろうということで、必ずメッセージが届く仕様になっています。

さらに、自分たちの情報が勝手にLINEに使われているのではないかと、みなさんが気にされるかもしれません。この点に関しては、プライバシーを守った上でサービス向上のためだけに適切にデータを利用するといった「通信の秘密に関する同意のお願い」をみなさんにしており、同意した方だけのデータを使っています。

さらにいうと、同意があった場合でも、ユーザー個人個人のメッセージの中身を見るといったことは絶対にありません。このように、機械学習で最適化すべきところは機械学習を利用して、そうでない部分は別途ビジネスロジックを入れていくことで、よりユーザーのみなさんにあった、より安全なメッセージを配信するシステムとなっています。

以上、システムについての紹介を終わります。

Open Score Targeting導入結果

西手：ここからは最後のセクションになります。Open Score Targetingを導入した結果と今後の展望についてお話しします。

まず事前シミュレーションを行いましたが、自社OAのトップ5アカウント、メッセージを多く送っているトップ5だけにOpen Score Targetingを導入した場合、なんと43パーセントのメッセージ通数を削減でき、かつ開封率も最適化できるという見込みになりました。

それだけメッセージの無駄打ちが多かったということもありますが、それから自社OA全部にこのOpen Score Generatorを導入すると、自社OAすべてで18パーセントのメッセージ通数の削減、日本全体で見ると24パーセントのメッセージを削減できるという事前シミュレーション結果になりました。

これはあくまで事前のシミュレーション結果でしたが、実際の結果はどうだったのでしょうか、というのが次のスライドになります。

まず結論から言うと、メッセージ数はあまり大きな削減ができなかったという結果になってしまいました。左側のグラフはOA CMS で配信されたメッセージ通数で、全体配信が青色のBroadcastという棒グラフで、紫色のOpen Score Targeting、です。Broadcast は Open Score Targeting に代替されつつあり、減少傾向になっています。

しかし、オレンジ色のManage Audienceという配信方法と右側のグラフにあるAPI配信のメッセージ通数が増加してしまい、結果的にメッセージ通数が増加も減少もしないという結果になりました。

なぜこういうことが起きたかと言うと、今回のOpen Score Targetingは通数削減と開封率の最適化を狙ったもので、社内OAのコンバージョン最適化までをカバーできていないことが原因だと考えています。

Open Score Targetingを利用する社内サービスは、そのOAのメッセージ配信でコンバージョンの目標をそれぞれ事業部がもっていますが、開封を最適化するだけでは、短期的にはサービス側の事業部の目標を満たすことはできないのです。

そのためOpen Score Targetingの適用制限がかからない配信方法、すなわちAPI配信やManage Audience配信で事業目標を達成しなければ流れになってしまったことが原因です。

吉永：そこで、先ほど西手からお話があった現状を踏まえて、我々は今後メッセージの総量を減らすだけではなくて、自社のサービスの事業目標の達成を両立するという目標も考慮してモデルを改善していくことになりました。

今後システムをどのように改善していくか

最後に、そのために今後システムをどのように改善していくかの展望をお話していきたいと思っています。今後考えている改善は、こちらのスライドにある3つになっています。まず1つ目にあるとおり、Open Score Targetingが適用されていないオプションへの拡大は引き続き進めていきます。これによりみなさんが受け取るメッセージ量を適宜減らしていく努力は、引き続き進めていきます。

ただし、それだけでは各社内サービスの事業目標の達成を阻害しすぎてしまうことが課題となっていたため、より社内サービスの運用効率を上げる改善もしていきたいと思っています。それが2つ目と3つ目の項目になります。こちらをそれぞれ簡単に紹介したいと思います。

まず1つ目はOpen Score Generatorのカスタマイズを目指していきます。Open Score Generatorの欠点として、開封後の行動が最適化される機械学習エンジンでないということがあります。

そこで、開封後にメッセージをクリックしてサービスへ流入して、実際に購入などのコンバージョンを行うといった行動まで含めて、機械学習エンジンを作り込んでいって、それらをカスタマイズしていくことで、よりサービス側が運用しやすくより売り上げに直結するかたちでターゲティングできる仕組みを目指していきたいと思っています。

さらに、画像などのメッセージのコンテンツの内容を活用していくということも考えています。Open Score Generatorは、アカウントとユーザーのペアにスコアをつける仕組みになっていて、どのコンテンツを送るべきかといった情報は入っていませんでした。こちらは、コンテンツの内容そのものが開封に効果があるかという観点もありましたが、データ量の観点で画像データなどのコンテンツを使うというシステムがチャレンジングだったことが大きな理由でした。

しかし開封後の行動を最適化していこうと思うと、開封後に目に入るメッセージの内容が非常に重要になってきます。そのため、今後はみなさんに届けたいメッセージの内容を加味した配信システムの構築にも挑戦していこうと考えています。

そしてみなさんへはより有用なメッセージが届くようになって、同時にアカウントを運営しているサービスの売り上げにも同時につながっていく。

結果、よりLINE公式アカウントのプラットフォーム自体が使われるようになっていくといった三方よしを目指していくプラットフォームを実現したい、そう思っています。現状はまだまだ道半ばだと思っていますが、データサイエンスの力を最大限に発揮していって、実直なプロダクト改善を繰り返していくことで、この課題を解決していきたい。そう思っています。

以上で我々のセッションは終わりになります。ご清聴ありがとうございました。