有益な情報をLINE Pay公式アカウントから届けるために　データサイエンス技術を用いた、メッセージ受け取り体験改善の取り組み

セッションのアジェンダ

椙本功弥氏：みなさん、こんにちは。Financial Data Science Teamの椙本と言います。本セッションでは、データサイエンスの技術が、どのようにLINE PayのLINE公式アカウントの情報受け取り体験を改善しているのか、というテーマでお話しできればと思います。

本セッションでは、まずLINE公式アカウントの情報受け取り体験の改善を行った背景と、ミッションについて説明します。

それから、ミッションを達成するために行った2つの改善事例として、1つ目は、LINE PayのLINE公式アカウントのメッセージの有益性の定量化。2つ目は、メッセージ内容に応じて、ユーザーターゲティングの精度の改善について紹介します。最後に、本セッションのまとめという順番でお話しします。

取り組みの背景とミッション

背景とミッションです。LINE Payは、LINEが提供するモバイル決済送金サービスです。ユーザーは、LINE PayのLINE公式アカウントを友だち登録することで、LINE Payの新しい機能のアップデート情報やキャンペーン情報など、さまざまなメッセージをLINEアプリ内で受け取れます。

今までLINE Payを利用しているユーザーを中心に、約4,800万人が友だち登録をしており、そのユーザーに情報を届けるための重要なコミュニケーションチャネルとなっています。

しかし、2019年8月頃には、1ユーザーが1ヶ月間に受け取るメッセージ数が平均30通を超えていました。つまり、誰にどういうメッセージを送ればその人にとって有益な情報なのか最適化されていなかったので、ユーザーは有益でないメッセージをたくさん受け取る体験となっていました。

このような問題を解決すべく、「一人ひとりのユーザーに有益な情報を届ける」というミッションを設定し、改善を行いました。

有益性のあるメッセージの定量化

ここからは、そのミッションを達成するために、データサイエンスの技術を用いて行った2つの改善事例を紹介します。

最初に、ユーザーに有益性のあるメッセージかどうかを定量化しました。ユーザーに有益性のないメッセージの内容が明らかになれば、そのようなメッセージの配信数や内容を見直すことで、ユーザーは有益性のあるメッセージをより受け取れるようになると考えました。

ユーザーにとってメッセージが有益性があるかどうかは、Message click rateと、LINE公式アカウントのNon-block rateという2つの指標で評価しました。

Message click rateは、メッセージを受け取ったユーザーが、メッセージ内のリンクをクリックした比率です。内容を詳しく知りたい時、ユーザーはリンクをクリックします。したがって、Message click rateが高いほど、多くのユーザーが有益な情報を受け取っていると考えられます。

Non-block rateは、メッセージを受け取ったユーザーが、LINE公式アカウントをブロックしない比率です。ユーザーは自分に有益でない情報ばかり受け取るとブロックする傾向があるので、Non-block rateが高いほど、多くのユーザーが有益な情報を受け取っていると考えられます。

（スライドを指して）この2つの指標を利用し、どちらも高い図の右上を、多くのユーザーに有益性のあるメッセージ、どちらも低い図の左下を、多くのユーザーに有益性のないメッセージであると定義しました。

Message click rateは、メッセージのクリックログがあるので容易に計算できます。Non-block rateは、1-Block rateで計算できるので、この先はBlock rateに置き換えてお話をします。

Block rateの計算において利用可能なのは、理由はわかりませんが、いつどれぐらいブロックされたのか、いつLINE公式アカウントがメッセージを配信したのかというデータのみです。

（スライドを指して）図で示しているように、メッセージを配信した時間は、ブロック数が急激に増えています。前後比較で計算できないかも検討しましたが、1日に2、3通のメッセージが配信されることもあり、前後比較のような単純な集計ロジックでは、Block rateが計算できないことがわかりました。

ユーザーのブロック行動の分析

この問題に対して、時間帯ごとのブロック数の時系列データに統計モデルを当てはめて、メッセージが原因で起こったブロック数と、それ以外が原因で起こったブロック数に分解できれば、Block rateを計算できると考えました。

そのために、まずユーザーのブロック行動について分析を行いました。分析の結果、ユーザーのブロック行動には規則性があることがわかってきました。

（スライドを指して）左の図では、メッセージを配信していない時のブロック数は、曜日と時間帯の周期性を持っていることを表します。「この時間帯、曜日であればブロック数は統計的にこれぐらいの値になる」ということがわかりました。

真ん中の図は、メッセージが配信されたあとのブロック数を表しています。メッセージが配信された時間帯でブロック数が最も多くなり、時間が経過するにつれて減少していく曲線になっていることがわかりました。

さらに、この曲線は、べき乗曲線にぴったり当てはまることがわかりました。右の図は、Message click数の累積比率を見ています。全クリックの約80パーセントは、メッセージ配信から約6時間以内に起きていることがわかりました。

つまり、メッセージに対するアクションは配信後6時間以内に発生しており、ブロックも6時間以内に発生している可能性が高いことが示唆されました。

ユーザーの行動を定式化する統計モデル

このブロック数に対する、ユーザーの行動を定式化する統計モデルを考えました。

メッセージを送っていない時のブロック数は、μという平均ブロック数に対して、時間と曜日で相対的に変動しているとして、メッセージを送った時のブロック数は、配信から6時間以内に発生しており、ブロック数はべき乗曲線に従うとしました。

メッセージによってブロック数が異なるので、べき乗曲線のパラメーターはメッセージごとに異なる値にしています。

図のように、メッセージを送っている時間でも送っていない時間でも、実測値と統計モデルの当てはまり値が重なっており、現状をよく反映できたモデルを作れました。

メッセージごとに、Message click rateとNon-block rateを計算し、可視化することで、メッセージの有益性の傾向が見えてきました。

ユーザーにとって有益なメッセージの特徴は、お得な情報やLINE Payの新機能のお知らせでした。これらは多くのユーザーにとって有益なメッセージと考えられ、多くのユーザーに配信しても問題ないことがわかりました。

一方、ユーザーにとって有益性の低いメッセージの特徴は、LINEの金融サービスやファミリーサービスと、LINE Payが共同で行ったキャンペーンなどが該当しました。

LINE Payは、金融サービスなどの支払いにも利用できるので、共同でキャンペーンを行っていましたが、金融サービスを使わないようなユーザーには、有益性の低いメッセージになっていることがわかりました。

これらは配信数を減らし、ユーザーターゲティングの改善を行うことで、ユーザーに有益なメッセージがより多く届くように対策を行うことになりました。

新規ユーザー数を増やすための「Lookalike Audience Targeting」

メッセージの有益性を可視化することで、多くのユーザーに送るべきでないメッセージの特徴がわかりました。ユーザーに有益なメッセージが届くようにするためには、有益でないメッセージの配信数を減らすことにより、ユーザーターゲティングを改善する必要が出てきました。

ユーザーターゲティングを改善する上で、新規ユーザー数を増やす事業目標があります。新規ユーザー獲得を目的としたメッセージのユーザーターゲティングの精度を改善すること。すなわち、新規ユーザー数の獲得をしながら、配信数を減らすように改善することが求められていました。

そのために、LINE社内のMachine Learningチームが開発した、Lookalike Audience Targetingという手法を活用しました。

Seed userを入力とし、z featuresと呼ばれる、LINEサービス上のさまざまな行動に基づくユーザーの特徴量を用いて、すべてのLINE PayのLINE公式アカウントをフォローしているユーザーから、Seed userに類似したユーザーを探せます。

Seed userに既存ユーザーを設定し、類似ユーザーをターゲティングすることで、新規ユーザー獲得を目的としたメッセージのユーザーターゲティング精度が改善できると考えました。

Lookalike Audience Targetingの導入を意思決定する上で、配信数を減らしても、既存手法と比べても新規獲得数が維持、あるいは上回ることが可能かという問いがキークエスチョンとなっていました。その問いに対する答えを出すために、ABテストを行いました。

複数のメッセージに対しテストを実施しましたが、そのうちの1つの結果を紹介します。

LINEの暗号資産取引サービス「BITMAX」とLINE Payで行った、共同キャンペーンでの結果です。既存手法は、すでにBITMAXを使っている既存ユーザーに多い、30代の男性会社員というユーザーの推定属性に基づいたターゲティング方法でした。

しかし、この方法では条件に該当するユーザーが多く、有益性が低いと感じるユーザーが多く含まれている課題がありました。

そこで、Lookalike Audience Targetingの結果で得られた、BITMAX既存ユーザーと類似性の高いユーザー群と、推定属性に基づいたユーザー群で、配信数と新規獲得数の精度を比較しました。

テスト結果として、Lookalike Audience Targetingは、既存手法の10分の1にしか配信していないが、新規獲得数は2分の1を獲得できることがわかりました。

当時は、配信数を固定して、配信結果がよければ配信数を拡大する運用方針でした。Lookalike Audience Targetingの初回配信の結果がよければ、さらにターゲティングする類似ユーザー数を増やすことで、ユーザーに有益でないメッセージの配信数を減らし、効率的に新規獲得数が増やせることがわかりました。

このようなテストの結果を踏まえて、Lookalike Audience Targetingの導入が決定され、企画担当者がLINE公式アカウントのメッセージ配信を管理するCMSから、Lookalike Audience Targetingを実行できるようにシステム開発がされました。

Lookalike Audience Targetingのプロダクトは、すでにAPIが提供されており、CMSにSeed userのリストをアップロードすると、CMSからAPIをコールし、類似ユーザーのリストを生成できます。

Seed userは、社内のプロダクト「OASIS」からSQLで抽出を行い、APIでCMSにアップロードします。このシステムにより、企画担当者はCMSで生成された類似ユーザーにメッセージ配信できるようになりました。

統計モデルとLookalike Audience Targetingのシステム化で改善

セッションのまとめです。本セッションでは、LINE PayのLINE公式アカウントのメッセージ受け取り体験を改善するというテーマで、どのようにデータサイエンスの技術を使って改善に貢献したのかを紹介しました。

直接観測が難しい、配信が原因となったブロック数を、統計モデルで推定しました。この値とMessage click rateを用いることで、有益でないメッセージの傾向が明らかとなり、メッセージ配信数を減らしながら、ユーザーターゲティングの精度を評価すべきメッセージの方針が決まりました。

新規ユーザー獲得を目的とした施策では、Lookalike Audience Targetingを用いることで、ユーザーに有益でないメッセージの配信数を減らしながら、新規獲得数を増やせることを検証しました。

検証結果に基づいて、Lookalike Audience Targetingをシステム化し、企画担当者も簡単に利用できるようになりました。

発表は以上ですが、LINEのデータサイエンティストがどのような仕事をしているのか参考になれば幸いです。

ご清聴ありがとうございました。