強みは「モデルの柔軟性」「包括性」「プライバシー性」　バンダイナムコネクサスが実装したMMMの利点

バンダイナムコネクサスのデータストラテジーオフィス

山田元太氏（以下、山田）：では最後の発表になります。長丁場でみなさんお疲れかと思いますが、最後もう少しだけお付き合いください。「アプリゲームにおけるMMM開発と実装」というテーマで発表を始めます。本日のアジェンダはこの4点で、まず自己紹介と会社紹介をいたします。

あらためまして、山田元太と申します。所属はバンダイナムコネクサスのデータ戦略部データストラテジーオフィスというところで、BNXと略される会社です。あと、兼務もしていて、親会社のバンダイナムコエンターテインメントの、CX戦略室データマーケティング部に出向もしています。

興味は、データ分析の結果や技術をどうやって組織に実装していくか、意思決定にどうつなげていくかというところに、今は向いています。BNXでの役割としては、宣伝費分析PJのプロジェクトマネージャーで、その中で主要テーマとして扱っているのがこの「Marketing Mix Modeling」という、今日のテーマになります。

会社紹介ですが、ちょっと時間もないのでサラッといきますと、バンダイナムコネクサスという会社です。IPを軸に、さまざまなエンターテインメント商品を組み合わせて新しい価値を生み出し続けていく、というミッションを背負いつつ、お客さまとの接点を最も多彩に持っていくことをビジョンとして目指す企業になります。

データ戦略部に所属していますが、大きく分けて3チームあります。プロダクトアナリティクスオフィス。これは初めに発表した齊藤が所属しているところです。ゲームのタイトルを分析するチームですね。（この前に発表をした）原が所属しているのがデータサイエンスオフィスで、高度な分析を提供することをミッションとしたチームです。

私がいるデータストラテジーオフィスというところは、このデータサイエンスオフィスと連携しながら横断的なデータ活用をして、組織に対して価値を届けていくようなチームです。

MMMとは

本題のMMMについて、これからお話しします。MMM、Marketing Mix Modelingの頭文字3つ取ってMMMですがも、概要としては、各マーケティング施策が目的KPIにどの程度影響したかを推定するようなモデリング方法です。

これがどんな問いに答えられるかというと、例えばKPIを最大化するために広告媒体をどのように予算を割り振ればよいかという問いであったり、ある広告媒体の予算を変えるとどれだけパフォーマンスが変化するのかというような問いであったり、プロモーションと同時期にイベント施策が行われたりあるいはそのIPの劇場版が公開されたりした時に、そのような別の要素と切り分けたプロモーションそのものの効果はどの程度あったのかというような問いであったり、そのような疑問に答えられるような分析方法です。

MMMの強み3つ

MMMの強みと弱みがそれぞれあると思っています。まず強みの1つ目としては、モデルの柔軟性ですね。自社のビジネスに合わせたモデリングが可能となっていて、例えば弊社のバンダイナムコエンターテインメントのビジネスであれば、IPビジネスであるのでその特色を活かしたモデリングができますし、消費財だったり飲食店だったり、もしそういうようなビジネスをやっている会社だったら、その業界特有のドメイン知識を入れることも可能です。

2点目ですが、包括性。包括性という言葉が正しいかわからないのですが、これがたぶん一番合ってるのかなと思っています。異なるチャネルの媒体や非プロモーション施策の効果も推定できます。テレビであったりオンライン広告だったり、あるいは街頭屋外広告だったりと、いろいろなところに出稿すると思うのですが、そういうのも同時に推定できます。

3つ目の強みとしては、プライバシー性ですね。一言で言える良い言葉を思いつかなかったので、こういう書き方になっています。プロモーションに関わられた方はたぶんご存じかと思いますが、最近はCookieレスという風潮が進んでまして、ブラウザであったり携帯であったり、個人に対してCookieを付与してその個人を追跡するようなことが、どんどんできなくなっていく流れがあります。

プロモーション出稿の効果検証でそういう個人レベルのデータが必要な手法の活用ができなくなりつつある中で、Marketing Mix Modelingは、ある程度サマられたデータで実行ができるので、昨今の情報保護法制の強化の風潮にもマッチしているっていうことが強みです。これが、バーッと僕が考えるところで挙げていった強みです。

MMMの弱み

弱みとしては、実装コストがけっこう高い。それなりに大量のデータが必要で、かつ高いビジネス理解とデータサイエンス力を要求されるところが、まぁ弱みと言えば弱みです。手軽に実行しようと思ったら、なかなか障壁になるところかなと思っています。

BNE、バンダイナムコエンターテインメントにおけるMarketing Mix Modelingというところで、弊社特有の事例で話させてもらうと。どんな課題があったかと言うと、IPビジネスの会社なので、その大元のIPの動きに大きく影響されることが多いです。つまりその時々で、見かけの広告効果のブレが大きい。

例えばアプリゲームであれば、周年の際にお祭り的なイベントが開催されるのでその時に同時に広告を打ちますが、その周年というゲームそのものの盛り上がりと広告効果がお互いに影響し合って、KPIの跳ねがすごいことになったりします。実際そういう特徴があるので、そういったビジネスに対応した表現力がある分析方法が必要となりました。

あと周年であったり、先ほど原の発表にもありましたが、イベントがあったり、そういういろいろな施策を同時に行うこともあるので、例えばインストールを促すような顧客獲得型の施策と、これからもなにか新作が出ます、周年をやります、という施策を同時に行うので、媒体ごとの比較が同じ基準でできませんでした。ただ、同じ基準で評価したいというところで、Marketing Mix Modelingが解決策としていいんじゃないかということで、選択されています。

MMMの現状

現状はどういうことになっているかというと、先ほど紹介した原と協力しつつ、BNEのスマホゲーム・アプリゲームのビジネスに合わせたモデル構築が完了しまして、データさえそろえば分析ができる状態にはできました。

必要データの要件定義やデータ取得のフローも構築が進んでいます。収集の自動化が容易なデータについては自動化を進行中です。ただ自動化の難易度が高いデータについては、現状恥ずかしながらマンパワーに頼る他にないのが現状です。

データ収集の負荷が高いこと、解釈が難しいということから、組織の浸透と実装にはまだまだ課題が残っていて、僕のこれからの大きなテーマかなぁとなっています。

予算とKPIの関係性についてのデータ分析

MMMのアウトプットイメージを簡単に載せています。まず1つ目、予算とKPIについての関係性がわかります。横軸が予算で縦軸、KPIはなんでもいいというか、その時々によって変わります。あるさまざまな媒体が予算に対してどのくらいKPIに影響するかというのがこれです。

イメージがつくかと思うのですが、広告予算をどんどん増やしたところで、線形に伸びるということはなくて、基本的に効果は低減していきます。

なので、例えば図の中の水色の媒体は、このへんから予算を増やし続けても、サチってしまって効果の幅は少なくなっていますね。この赤い媒体だったら、まだまだ伸びる余地があるので、この赤い媒体はもうちょっと予算を増やしてもいいんじゃないですか、というようなことがここから解釈ができます。これがまず1つの流れになってます。

予算最適化

次は予算最適化ですね。横軸は先ほどと一緒で予算、縦軸が配分割合なのですが、総予算を増やしていった・変えていった時に、目的としているKPIを最大化する配分をちゃんと計算して可視化します。媒体ごとにこのようにサチる速度が違うので、投下する予算によって、最適な割合は異なります。

例えばこの真ん中のところが予算100万円だとすると、このような配分で出稿を行うことで、もう目的変数KPIが最大になるような予算を提案できるような状態になっています。

（こちらは）MMMの実行フローとPDCAサイクルっていうタイトルのスライドです。データ分析に関わったことがある方や、何かこう学習された方だったら、もうたぶんこのような図は、何回も見られてるかなと思いますが。

どの分析でも一緒なのですが、基本的には目的を設定し、データを集め、モデリングや推定をしつつ、レポーティングして意思決定につなげていく。これを繰り返していくのが基本の流れなので、MMMもその例に漏れず、このようなフローで進めていって実行していくようになっています。

時間もないので、本日話す部分はこのデータ収集のところかなと思っています。

広告出稿のデータ

データ収集の話しになるのですが。MMMに必要なデータは主に大きく分けてこの3つです。左から収集の自動化難易度が低く、右にいけばいくほど収集難易度が高くなっているのですが、それぞれについて具体的にお話ししたいと思います。

まず広告出稿のデータです。広告媒体のレポートデータですね。テレビCMであったり、TrueViewというGoogleのYouTubeなどで流れてくるような広告ですね。そういう認知系の広告も含みます。　

多くのプラットフォームからちゃんとAPIが解放されていたり、管理画面からそもそもダウンロードできるので、わりと他のものに比べれば収集が容易で、あと測定できる項目もたくさんあります。これに使った予算を最適化したいというところで、収集は簡単ですが、重要度は高いです。

それをどのように集めているかというと、以下のような構造で広告データの定期取得・加工を行なっています。媒体のAPIだったり管理画面からデータを落としてきて、弊社はGCPを使っているので、クラウドストレージでバケットを用意し、毎日とりあえずローデータをガンガン入れていきます。

ある一定の時間になると、Airflowがワークフローエンジンとして起動して、さまざまな技術処理を挟みつつ、BigQueryにどんどんデータを溜めていき、あとはサイエンティストやアナリストがSQLをたたいて、ここからデータを収集していくような構造になっています。

現状すべての媒体に対応はできていませんが、順次対応しており、だいたいの主要媒体については自動化が完了する見込みで進めています。上記実行処理中にエラーが起きた場合の検知や通知の仕組みも作成しており、これから安定運用を担保していくように見込んでいます。

ゲーム内のイベントデータ

次はゲーム内のイベントデータですね。ガシャ実装や無料配布など、スマホゲームをやられたことある方にはお馴染みかなと。あとは特別なキャラの強いイベントが発生して、それにみんなで挑戦しましょうなど、そのようなものも含まれています。

周年の時などはデカく打つけど、ふだんのお客さまにも飽きられないように、楽しんでいただけるように、周年に比べたら普通の規模なイベントもあったりします。さまざまな種類のデータがあって、効果の幅は大小さまざまです。

それらを現状集めるために、なかなかタイトルごとにイベント内容が違うので完全な自動化は現状できていませんが、ビジネスアウトソーシングの会社さまに外注して、定められたフォーマットにデータを入力してもらい、定期受領するというのを進めています。

現状はこのような流れです。入力データをメールで受信した後に、Google Apps ScriptのScriptが起動して、それを加工してまたBig Queryに入れるようなデータの流れを想定しています。ただ、運用が進むにつれて、すべて変化する可能性があり、これは2023年2月現在の想定だと捉えていただければと思います。

ゲーム外のイベントデータ

最後は、収集とその自動化で最も難易度が高いゲーム外のイベントデータですね。ライブであったり、あとはインフルエンサーが実際にスマホゲームをプレーしてくれたり、Twitterでトレンドが急に上がったり、そういうこちらからコントロールができないような案件の変数も含まれていて、これが最も自動収集が難しいです。

現状はプロモーションの担当者、あるいはプロデューサーが入力しており、業務上の負荷が高くてけっこう苦労しているというところです。これは弊社都合で恐縮なのですが、タイトルごと・部署ごとに管理方法がバラバラなので、1つの方法で集約することが現状できていません。

MMMのトライアルを複数のタイトルで行うことで、イベントの管理方法を業務フローに組み込むことを試み、これから改善していく予定にはなっています。ただ、どうしても想定できないバズなどがあって、そういうのを事前に検知ができないため、現状後追いでしか対応できていません。ドメイン知識のあるプロモーションの当社プロデューサーたちと協力していくことが今のところ一番よい方法であり、かつ、それ以外の方法がないような状況になっているかなと思っています。

今後のデータ分析

ということで、データ収集だけに特化して話しましたが、ここからはまとめと今後について話します。

MMMっていう分析そのものはできるようになっています。データ収集が目下の課題であり、自動化が難しいものをどう集めていくかはまだ模索中です。

僕が担当している宣伝費分析PJにおいて、プロジェクトとして今後やっていきたいことは、自動化が難しいイベントデータ収集の効率化を図り、コストをできるだけ下げていくことをまずやっていきたいです。その中で、それが進んだ後の分析。データ収集がある程度楽になったら分析を回すサイクルも上がると思うので、MMMそのものの精度、精度と一概に言うとあれですが、MMMが生み出す価値をもっと上げていけるように、協力しつつやっていきたいです。

媒体間の効果比較だけじゃなくて、配信手法やクリエイティブごとの効果測定もできれば、よりよいプロモーション、お客さまにうちのIPの価値を届けられる方法がもっと洗練されていくのかなと思っています。こういうこともやっていけたらうれしいなと思っています。

最後に、今スマホゲームビジネスだけに限定して話しましたが、家庭用領域や、バンダイナムコグループはゲーム以外にも、おもちゃなどのさまざまな事業もあるので、そういうところの拡張もできるとなお良いと思っています。ここは僕が勝手に思っていることなので、会社としてどうやっていくかは、今後決めていけたらなと思っています。

すみません、だいぶ駆け足で話してしまったんですが、私からの発表は以上になります。ありがとうございました。

基本的にはベイズモデリング？

司会者：はい、ありがとうございました。3つぐらいになると思いますが、ご質問ある方いらっしゃれば。ちなみにこれって、基本的にはベイズモデリングみたいな形でやられてるのですか。

山田：そうですね。

司会者：やはりMMMとかになるとベイモデリングになりますよね。その場合、ちょっと自分が過去やった時にけっこう課題になったところ、いくつかこれどうしているのかなみたいなところをお聞きできればなと思います。

山田：はい。

司会者：例えば、先ほど話されたサチュレートしたりとか、あとは広告の効果が減衰するみたいな時はモデリングに追加したりすると思うのですが、やはりそういうのを組み合わせると、すぐパラメータが爆発して収束しないだったり、計算量がめちゃくちゃ重くなってしまったりとなりがちだと思うのですが、そういった時のバランスはどうしているのですか。

山田：これ僕よりたぶん原のほうが適切かもしれない。原さんいます？

原拓自氏（以下、原）：はい。

山田：ちょっと今のご質問に答えてもらっていいですか。

原：まず、減衰とかサチュレートするところは、数理モデルで当然入れてます。パラメータが多すぎると収束しない、ベイズモデルが収束しないというのは当然起きています。なので、そういう場合はフローを分割するようにしています。

司会者：なるほど。

原：1回のモデルで全部出すのではなくて、第1段階としてトレンドとかイベントの効果を加味して、どれだけ効果があったのかをまず出して、その効果に対して今図で映っているような、サチってくような曲線をさらにもう1回ベイズモデリングで出す、という相互のイタレーションをして、最終的な結果を出すようにしてます。

司会者：ああ、なるほど。なので対極的な値みたいなものをいったんある程度予測というかモデリングして、その後、結果として出たものに対して、1回で推定するパラメータ数が少なくなるように、分割してやっているみたいなかたちですか。

原：はい。そこを繰り返しイタレーションして、精度の高い値を出していくことをやってます。

司会者：そこをどういう順番でやるかは、なんかこの順番のほうがうまい感じにモデリングができるなど、経験値的なところもあるところなのですか。

原：そうです。KPIが目的のものなので、KPIが主成分のものからモデリングしていきました。数学的に言うと、KPIをテイラー展開した時の第1項、第2項のメインのところをモデル化して、広告効果はメインにはならないので、どちらかと言うと2番と3番とかでモデル化するような順番になっています。

司会者：なるほど。ありがとうございます。

広告予算の配分は？

司会者：あとけっこうよく、ゲームだとあんまりないのかなと思うのですけど、他の業界だと季節性によって広告予算がほぼ一緒なので、要は月初にはこのくらい打つとか。そういった、データのバラつきがあまり発生しないので、モデリングの時に予測しにくいみたいなものが発生したりするのかなと思うのですが。

それが予測しやすいように、予算の配分を変えるとかするのか、それともそういう傾向があった場合はもうやむなしとして、それでもできる限り推測するのか、そのへんってどうですか。

山田：ああ、それで言うと、その時々っていうことになってしまいます。基本、認知施策、例えばテレビとTrueViewの両方を同じタイミングで打ってしまって、どっちの効果かわからないようなことが、この前まさに起きました。そこは本当に、なんて言ったらいいんですかね。

司会者：わかるタイミングでわかる限り、分析するみたいなかたちですか。

山田：そうですね。あとは、原がやってくれるみたいな感じなのですが（笑）。

司会者：はは（笑）。

原：同じ時期にやったとしても、やはりモデルに入力する波が一定になることは、基本的にはないので。そこはデータ数が増えれば増えるほど、うまく分離できるようにはなってます。

例えばTrueViewだと、クリック数や閲覧数がTrueViewにありますし、テレビだとGRP、視聴率など、そういったところの波がやはり完全一致はしないので。もちろん、そこが通年で完全一致するような波があったら、それは当然、分離はできないですが、そこの波がやはり変わっているので、そこの違いをとにかくデータを増やすことで、分離できるようにはしています。

司会者：なるほど。そこである程度データ量増やすために、月単位じゃなくて日単位にしたり、日単位のものを時間単位にしたり。

原：はい。だいたい1年間ぐらいのデータを日単位でモデル化してます。

司会者：でもそれであれば、確かにある程度バラつきはあるような気はしますね。逆にマスデータでも日単位だったら、いけるのか。

原：はい、日単位であれば分離は可能だとしてます。

CMデータはマスデータしか取れない？

司会者：「CMデータはマスデータしか取れないイメージでしょうか」という質問がありました。質問者：すみません。細かいデータじゃなくて、何月何日にどこの番組のCMで流れたぐらいしか見えないのかなと。そこで視聴率というマスのデータしか取れないから、そのユーザー属性とかそこから流入がいくらあったかっていうのは見にくいのかなと思いまして。

山田：ああ、そうですね。

質問者：そこらへんを有機的に利用された事例などはありますか。

山田：そうです。まずどんなデータが取れるかと言うと、基本的には何月何日どの番組でどの素材が何時に何秒間流れた。その時の世帯GRPはこれだ、といったデータを使っています。

コストに関しては厳密な予算は計算できないので、相場表を見て概算で出している感じです。おっしゃるとおり、確かにどんな方がどう流入してきたみたいなことは現実は取れないので、基本的にはその使ったコストとGRPをメインのデータとして使って、そこから判断していくっていうことになってます。そこは折り合いですね。

テレビCMを見た方がどんな方で、インストールしてくれたかしてくれないかみたいなことがハッキリわかれば、もちろん使いたいところではあるのですが、そこはたぶん現状では無理なので。これから急にテレビの機能が強化されたりなど、そういうことがない限りはそういう使い方になるかなと思ってます。

質問者：ありがとうございます。8年ぐらい前に似たようなことやってて、そこがすごくもどかしかったので、なんかそこからこう時間が流れて、テクノロジーが進んでいい感じにやってくれてたらいいなって思いました。

原：補足ですが、そこの点に関してはたぶんデータはほとんど変わっていませんが、技術的な方法で、テレビCMで何人入ったか、どれであったかっていうのが推定できるのが、このMMMになります。

データの粒度は先ほど山田が話したものと一切変わらなくて、日ごとの視聴率、GRPとコスト。それさえあればテレビCMでどれだけの人が入ったのか、どれだけお金を使ったか、といったところも分解して判断できるのが、大きな利点になってますね。

質問者：そこは具体的にはどうやってるのですか。

原：具体的には、そこの内容がここの資料にはなかったので、あれですが。先ほど言ったサチュレーションするであったり、Ad Stockという、当日だけではなくてテレビCM見た人が2日目3日目とかにインストールするような残存する効果であったり、そういったようなそれぞれの広告効果を表す数理モデルを作成します。

それは、パラメータ付きの数理モデルがもうありまして。ありましてというかそれを作るのですが。それを作ってその数理モデルの和でKPI、今インストールだと仮定すると、インストールが表せると。イベントによる効果、広告による効果、オンライン広告による効果、テレビCMの効果。ただ数理モデルで表されてるKPIを実際のデータと照らし合わせて、そのパラメータを解くことで、テレビCMの効果を数学的に出せます。すみません、ちょっと言葉で説明するとなかなか難しくて。

司会者：なので厳密には違うと思いますが、この図でイメージしてもらうとすれば、例えばこの青いのがテレビCMで、赤いのが検索広告など、そういったかたちで予算を増やしていくと、それによるダウンロード数が縦軸です、みたいなかたちで解釈します。そしてこの足し算がダウンロード数になりますよ、みたいなイメージで考えてもらうといいのかなっていう感じですよね。

原：ああ、おっしゃるとおり。これは広告効果だけなので、これプラスそのイベントの効果、周年で盛り上げた時による効果や、いろいろなやつを分解して足し算したやつが観測され、インストール数になるという考えです。

質問者：ああ、なるほど。じゃあそのテレビCM流入っていうものはもうすでにモデルは作っておいて、仮説を作っておいて、そこに当てはめるっていうようなイメージですかね。

原：はい。イメージとしてはおっしゃるとおりです。

質問者：なるほどです。

司会者：そこでどういう係数にすれば一番当てはまりがいいのかをそのシミュレーションで決めるのが、ベイズモデリングという領域なのですよね。

質問者：消去法的な感じですよね。

司会者：消去法と言うか、最適化みたいなかたちですね。なんかシミュレーションをして、一番なんか誤差が少ないようにパラメータをいろいろと変えていくっていうのがあります。

はい、ではちょっと時間もいい時間になってしまったので、ここでこの会に関しては終了したいと思います。山田さん、ありがとうございました。

山田：ありがとうございました。