2024.10.01
自社の社内情報を未来の“ゴミ”にしないための備え 「情報量が多すぎる」時代がもたらす課題とは?
データ分析と機械学習開発の協業によるスタンプ推薦ロジックの継続的改善(全1記事)
提供:LINE株式会社
リンクをコピー
記事をブックマーク
大塚優氏:LINEでデータサイエンティストとして働いている大塚です。このセッションでは、LINEのデータサイエンティストとマシンラーニングエンジニアがどのように協力してプロダクトの改善に貢献しているのか、具体的なプロジェクトの事例を交えてお話しします。
簡単な自己紹介です。私は2019年にLINEに入社して、「LINEポイントクラブ」など、LINEのファミリーサービスが複数にまたがる領域でのサービス横断の分析を担当しています。今回は、横断の分析事例ではなく、LINEスタンプ事業の分析事例についてお話しします。
セッションのアジェンダです。最初にイントロダクションとして、LINEにおけるデータサイエンスとマシンラーニングの組織について簡単に触れていきます。
次に、データサイエンティストとマシンラーニングエンジニアの具体的な協業事例として、LINEスタンプのレコメンドエンジン改善プロジェクトについてお話しします。
LINEのデータサイエンス、マシンラーニングの組織であるData Science室、Machine Learning室は、Data Scienceセンターというセンターに所属しています。
Data Scienceセンターは、データ活用全般を統括する全社横断の組織です。その中でData Science室は、統計解析などのデータ分析によって、事業の重要な意思決定をサポートします。
Machine Learning室は、各事業に対して、例えばレコメンドエンジンのようなマシンラーニングのソリューションを提供していたり、また、各事業で共通利用できるTargeting APIといった、全社共通のマシンラーニングのプラットフォームを開発しています。
では、データサイエンスとマシンラーニング。この2つの組織による、プロダクト改善の流れを見ていきます。
まずは、マシンラーニングの設計です。事業サイドの要求を整理し、マシンラーニングで実現することを明確化した上で、マシンラーニングエンジニアは、目的に合った適切なモデルを検討します。
次に、マシンラーニングの開発です。パラメーターチューニング、特徴量エンジニアリングを通じて、モデルの精度を高めていきます。
その後、A/Bテストによって、モデルの検証を行います。データサイエンティストは、オンラインA/Bテストを通じて、当初の要求が実現されているか、定量的な指標に基づいて多角的に検証を行います。
最後に改善点の発見です。A/Bテストによって得られた知見から、モデルの改善点を見つけ出し、モデル設計へフィードバックします。
これらのサイクルを回し続けることで、プロダクトで運用されているマシンラーニングの仕組みを、継続的に改善していきます。
ここからは、先ほど説明した改善プロセスの具体的な事例として、LINEスタンプのレコメンドエンジン改善プロジェクトについてお話しします。
LINEスタンプのマーケットプレイスであるスタンプショップにアクセスすると、トップ画面に「あなたへのおすすめスタンプ」というスタンプのリストが表示されます。こちらにレコメンドエンジンが活用されています。
「あなたへのおすすめスタンプ」は、LINEスタンプ事業において重要な役割を担っています。具体的な数字で見ていきましょう。
まずは、事業収益の観点です。おすすめスタンプ経由での購買は、スタンプショップのトップ面における売上の40パーセントを占めているため、事業収益に大きくかかわっています。次は、ユーザートラフィックの観点です。デイリーで100万クリック以上の膨大なトラフィックがあり、多くのユーザーのスタンプ購入の接点になっています。
最後はユーザーエクスペリエンスの観点です。直近では1,000万種類以上のLINEスタンプが販売されています。そのように膨大な選択肢がある中で、ユーザーによい購買体験を提供するには、レコメンドは必要不可欠な機能です。
「あなたへのおすすめスタンプ」は、長年運用されていますが、求められている役割は変わりつつあると、我々は認識しています。どういうことなのか、背景について説明します。
これまで多くのユーザーは、スタンプの購入を検討する際、スタンプショップを訪れていました。現在ではLINEのUIが変化し、スタンプへの接点が増えたことで、ユーザーはスタンプショップに訪れなくても、LINEアプリを使っているだけで、自然とスタンプの情報を得られます。
実際のユーザー行動を見てみましょう。「あなたへのおすすめスタンプ」からスタンプを購入したユーザーのうち、およそ9割のユーザーは、別の購入経路からもスタンプを購入しています。つまりユーザーは、複数の接点でスタンプに関する情報に触れていることが、こちらのデータからわかります。
以上の状況を整理して、これからの「あなたへのおすすめスタンプ」に求められる役割について考えます。
これまではスタンプへの接点が限られており、ユーザーが欲しいと思うスタンプを、なるべく広範囲にカバーするようなレコメンドが求められていました。そのためには、ユーザーの嗜好を広く浅く捉えた、シンプルなレコメンドが必要でした。
スタンプへの接点が多様化した現在では、「あなたへのおすすめスタンプ」を閲覧するユーザーは、非常に能動的な姿勢でスタンプを探しにきています。そのようなユーザーに対して、今までにない新たなスタンプとの出会いを提供することが求められていると我々は考えました。
これには、今まで以上にユーザーの嗜好を深く捉え、多種多様なスタンプをレコメンドすることが必要となります。キーワードは、レコメンドの多様化です。
ここからは、レコメンドの多様化を実現するために行った、具体的な取り組みについてお話しします。
先ほどもお話したように、今まではシンプルなレコメンドが求められていました。レコメンドのモデルとしては、Naive Bayesモデルを利用していました。Naive Bayesモデルとは、特徴量間の従属性を扱わないことでパラメーター数を抑えた、シンプルなレコメンドモデルです。
(スライドを指して)そして、レコメンドの多様化を実現するための新たなモデルとして、最初に検討したモデルがこちらになります。利用したモデルは、グラフ構造のニューラルネットワークです。ユーザーとアイテムの情報を高次元の特徴ベクトルにすることで、従来のNaive Bayesモデルと比べ、ユーザーの嗜好をより深く捉えられます。
ここからは、データサイエンティストがモデルの検証を行っていきます。まず、モデルの評価指標を選びます。これにはいくつかのパターンが挙げられます。
1つ目の指標の候補は、レコメンド経由で発生した売上です。このようなレコメンドに閉じた指標は、A/Bテストにおいてよく使われるものですが、例えばスタンプのランキングや検索といった、レコメンド以外の部分から発生する売上への影響を見逃してしまう可能性があるため、レコメンドに閉じた指標だけの評価では、誤った判断をしてしまう可能性があります。
2つ目の指標の候補は、スタンプショップ全体の売上です。こちらは、漏れがないという点ではよいですが、ただ全体だけ見ていても、当初の目的であるレコメンドの多様化が実現できているのかを検証できません。
3つ目の指標の候補は、メジャーなスタンプ、マイナーなスタンプといった、アイテム別の売上です。仮にマイナーなスタンプの売上が伸びていたとすると、それは今までレコメンドされていなかったスタンプがレコメンドされ、購入されるようになっていることを意味しているため、レコメンドの多様化を検証するための指標として適していると考えられます。
最終的に利用する指標としては、全体の売上、メジャー・マイナーのアイテム別売上の2つの指標を併用して、モデルの検証を行っていきます。
このように、目的によって適切な評価指標は変わるため、事業のデータを理解しているデータサイエンティストが指標を検討することは、モデル検証の重要なプロセスです。
実際にA/Bテストを行ってモデルを評価します。こちらのグラフは、これまでのモデルに比べた売上の増分をパーセンテージで示したものです。中央の棒グラフを見てみると、我々の狙いどおり、マイナーなスタンプの売上が伸び、レコメンドの多様化が実現できていることが確認できました。同時に、全体の売上も向上しています。
この結果自体には、特に何の問題もないように思います。しかしこの時点ですぐにリリースは行わず、データサイエンティストがA/Bテストの結果をより詳細に分析することで、モデルの改善点を見つけ出します。
ここでレコメンドの表示回数の変化を見てみます。(スライドを指して)中央の棒グラフから、マイナーなスタンプの表示回数が大きく増加していることがわかります。
ここで注目したいのが、赤い矢印で示されている、売上と表示回数の増加率のギャップです。このギャップは、トータルの表示回数が増えた一方で、売上に結びついていないケースが今までよりも増えていることを意味します。
つまり、レコメンドの精度になにかしらの課題があるのではないかと思い、原因を探っていきました。
そして、実際のレコメンドのケースを見ていく中で、我々は1つの仮説にたどり着きました。それは、スタンプの特徴が、過度に抽象化されているのではないか、ということです。実例で説明します。
例えば、大阪弁のスタンプを購入したユーザーに対し、このモデルは、ほかの地域の方言のスタンプをレコメンドしているようなケースが見られました。これらのスタンプは、方言という抽象的な意味では似ていますが、実際に両方購入するユーザーは少ないと考えられます。
そこで、特徴量の抽象化レベルを抑制することで、レコメンドの精度が改善するのではないかと思い、Machine Learning室に仮説をフィードバックしました。
先ほどの仮説をもとに、再度モデルの検討を行います。特徴量の抽象化レベルを抑制するために、よりシンプルなネットワーク構造のモデルを検討しました。
先ほどのモデルと異なる部分は、Light Graph Convolutionと呼ばれる、畳み込み層を導入した点です。これによりレイヤー内での特徴量変換が簡素化され、シンプルなネットワーク構造となります。
再びA/Bテストにより、モデルの評価を行います。(スライドを指して)比較のために、初回に検証したモデルを再度A/Bテストした結果がこちらになります。
そして、右側のグラフが2番目のモデルのA/Bテストの結果です。2番目のモデルでは、マイナーなスタンプの売上がさらに改善しています。これによって、売上とレコメンド表示回数の増加率のギャップが小さくなり、レコメンドの精度は、より向上していることがわかります。
さらに、全体の売上の増加率も約2倍に改善する結果が得られました。最終的に、2番目のモデルがリリースされ、現在ではさまざまな地域のスタンプショップで、こちらのモデルが運用されています。
事例は以上となります。
最後にまとめです。このセッションでは、LINEにおけるデータサイエンティストと、マシンラーニングエンジニアの関係について、具体的なプロジェクトの実例を通じて説明してきました。
マシンラーニングエンジニアが高度な技術に基づいて開発したモデルを、データサイエンティストが事業全体の視点から検証し、改善点をフィードバックします。LINEではこれらのサイクルを繰り返すことで、継続的にプロダクトの改善を進めています。
以上になります。ありがとうございました。
LINE株式会社
2024.10.29
5〜10万円の低単価案件の受注をやめたら労働生産性が劇的に向上 相見積もり案件には提案書を出さないことで見えた“意外な効果”
2024.10.24
パワポ資料の「手戻り」が多すぎる問題の解消法 資料作成のプロが語る、修正の無限ループから抜け出す4つのコツ
2024.10.28
スキル重視の採用を続けた結果、早期離職が増え社員が1人に… 下半期の退職者ゼロを達成した「関係の質」向上の取り組み
2024.10.22
気づかぬうちに評価を下げる「ダメな口癖」3選 デキる人はやっている、上司の指摘に対する上手な返し方
2024.10.24
リスクを取らない人が多い日本は、むしろ稼ぐチャンス? 日本のGDP4位転落の今、個人に必要なマインドとは
2024.10.23
「初任給40万円時代」が、比較的早いうちにやってくる? これから淘汰される会社・生き残る会社の分かれ目
2024.10.23
「どうしてもあなたから買いたい」と言われる営業になるには 『無敗営業』著者が教える、納得感を高める商談の進め方
2024.10.28
“力を抜くこと”がリーダーにとって重要な理由 「人間の達人」タモリさんから学んだ自然体の大切さ
2024.10.29
「テスラの何がすごいのか」がわからない学生たち 起業率2年連続日本一の大学で「Appleのフレームワーク」を教えるわけ
2024.10.30
職場にいる「困った部下」への対処法 上司・部下間で生まれる“常識のズレ”を解消するには
2024.10.29
5〜10万円の低単価案件の受注をやめたら労働生産性が劇的に向上 相見積もり案件には提案書を出さないことで見えた“意外な効果”
2024.10.24
パワポ資料の「手戻り」が多すぎる問題の解消法 資料作成のプロが語る、修正の無限ループから抜け出す4つのコツ
2024.10.28
スキル重視の採用を続けた結果、早期離職が増え社員が1人に… 下半期の退職者ゼロを達成した「関係の質」向上の取り組み
2024.10.22
気づかぬうちに評価を下げる「ダメな口癖」3選 デキる人はやっている、上司の指摘に対する上手な返し方
2024.10.24
リスクを取らない人が多い日本は、むしろ稼ぐチャンス? 日本のGDP4位転落の今、個人に必要なマインドとは
2024.10.23
「初任給40万円時代」が、比較的早いうちにやってくる? これから淘汰される会社・生き残る会社の分かれ目
2024.10.23
「どうしてもあなたから買いたい」と言われる営業になるには 『無敗営業』著者が教える、納得感を高める商談の進め方
2024.10.28
“力を抜くこと”がリーダーにとって重要な理由 「人間の達人」タモリさんから学んだ自然体の大切さ
2024.10.29
「テスラの何がすごいのか」がわからない学生たち 起業率2年連続日本一の大学で「Appleのフレームワーク」を教えるわけ
2024.10.30
職場にいる「困った部下」への対処法 上司・部下間で生まれる“常識のズレ”を解消するには