いきなりAIに結論を言われても、言われた側は納得しにくい…　ChatGPTを使ったプロダクト開発で学んだ「アドバイスの納得感」を作るヒント

SaaSプロダクト「ストレッチクラウド」のデザイナー　亀山航太氏

亀山航太氏（以下、亀山）：「AIからのアドバイスに納得感を生み出すヒント」ということで、リンクアンドモチベーション、デザイナーの亀山が発表いたします。よろしくお願いします。

簡単に自己紹介します。私は2020年5月にリンクアンドモチベーションに入り、プロダクトマネージャーとして2つの新規事業に携わった後、デザイナーに転向したという経歴です。主にデザイナーとして、要件定義や体験設計、いわゆるデザインを担当しています。

弊社リンクアンドモチベーションは組織人事コンサルティングのサービスを提供しているのですが、それ以外にもSaaSのプロダクトをいくつか展開しています。その中の1つに「ストレッチクラウド」というものがあり、これは主にマネジャー向けの360度サーベイであったり、そのサーベイの結果を基に本人の課題を特定して、成長に向けた改善を支援するSaaSです。このデザイナーをふだんはしています。

ChatGPTを使った機能開発　「AI成長支援アドバイザー（β）」

今日のテーマは「AIのアドバイスに納得感を持たせるヒント」ということですが、プロンプトや技術の話というよりは体験寄りの話がメインになってしまうので、そこはご承知おきください。

先日、ChatGPTを使った機能開発を行い、「AI成長支援アドバイザー（β）」というものを作りました。これはマネジャーに対して360度サーベイで見えた課題の改善アクションをアドバイスする機能になっています。

やはりマネジャーの方は、自分のチームの成果に責任を持っているので、いろいろな部下に活躍してもらうとか、目標の進捗を管理するとか、いろいろな課題に直面します。みんながみんな、何がいったい一番大事な課題で、どうやったら解決できるのかがわかるわけじゃないので、そこをアドバイスしていこうという趣旨の機能になっています。

開発の背景としては、今までこういったアドバイスは弊社のコンサルタント、要は人がアドバイスをしていたのですが、ChatGPTの出現によってそれだけではなく、プロダクトでもアドバイスさせることができるのではないかというところで開発をスタートしました。

AIからのアドバイスに納得感を持たせるためには？

開発中に自分の感じたポイントは、本人に改善アクションを実行してもらうには、そのアドバイスに対する納得感がすごく大事だなぁということです。

例えば、ChatGPTにいきなり「360度サーベイの結果、マネジャーとしてのあなたの課題はメンバーの支援不足です」とドンッて言われたとして、いや急に言われてもなと。「私、けっこう支援してると思うんですよね。なにか困ったことあればいつでも相談をしてほしいとメンバーには伝えているし、聞かれたことはきちんと答えてますよ」と（なる）。なので、納得感がないと、本当にその人の課題かもしれないのに、改善アクションにつながらないことになってしまいます。

納得感を持たせるヒントは、最初から結論をいきなり伝えるのではなく、段階的なコミュニケーションを取っていくことだと思っています。

弊社のコンサルタントの会話の一例です。「サーベイの結果を見ましたが、メンバーに仕事を任せた後、そのまま任せきりになっていませんか？」と（伝えます）。（すると、）「ああ、確かにそうですね。基本的になにかに困ったら相談してくれると思うんです」（と答えが返ってくる）。

（その答えが返ってきたら）「メンバーから見ると、実は何を相談していいのかがわからなくて困っているのかもしれません。こちらから声をかけることは少ないのではないでしょうか？」（と聞き）、「おっしゃるとおりです。ちょっと現状はそうなってしまってますね」と返答があったら、「わかりました。あなたの課題は、もしかしたらメンバーの支援不足である可能性があります。まずはあなたから積極的にメンバーに困っていることがないかを聞いて、どんなことでも気軽に相談していいんだと思ってもらえれば、相談が増えて仕事がもっと進むかもしれません」と伝えます。（すると、）「なるほど。そうかもしれない」という感じで、段階的にコミュニケーションしていきながら納得感を作っていくことがすごく大事なのだろうなと思いました。

ChatGPTはけっこう対話型のUIなので、対話しながら納得感を作っていくというところとすごく相性良さそうだなぁと思っていました。

納得感に影響する2つの要素は「論理面」と「感情面」

納得感の要素を一般化して考えてみました。主に論理面と感情面という、この2つが納得感に影響するのかなと思っています。

論理面ではアドバイスの理由はもちろんですが、きちんとロジックがつながった提案になっているのかとか、あと感情面では、気持ちの配慮ですね。

みなさんの中にも「この意見は正論だけど、ちょっと受け止められないな」とか「言っていることはわかるんだけど、ちょっと腑に落ちないな」みたいな時があると思います。論理面と感情面に配慮したアドバイスが望ましいと思います。

これらを段階的なコミュニケーションで醸成することはできると思っています。「こんなことありませんでしたか」と具体的な事実をユーザーに聞いてちょっと内省させたり、あるいは「メンバーとか上司から見たらこんなふうに見えているかもしれませんね」というふうに視点を変えてみるとか。

あるいは押し付けで「これが課題です」と言うのではなくて、やはり自分の意思で決めさせるというのも心理的なテクニックですね。ここを挟み込んでいくことで、納得感が作れるんじゃないかなと思っていました。

「AI成長支援アドバイザー（β）」における3ステップ

ちょっと前段が長くなってしまいましたが、実際に作った内容を共有していきたいなと思います。

ChatGPTを使った機能のアドバイスの流れは3ステップになっています。最初は360度サーベイの結果を基にヒアリングをして、課題と改善アクションをアドバイスして、最後に改善アクションへの質疑応答というこの3ステップになっています。

最初のヒアリングの質問はChatGPTによる自動生成になっていて、あらかじめAPI経由でサーベイの結果だったり、自社が持っているノウハウを事前にインプットしておくという事前の処理があります。

2番目のステップに関しては、ChatGPTを使わずに弊社のノウハウを定型文として出力するかたちになっています。

最後に、提示されたアクションに対して質疑応答というかたちでChatGPTに対して質問をして、ChatGPTがそれを返すというシンプルなものを実装しています。

実際のUIもお見せしたかったのですが、社外秘の情報がかなり多かったので、イメージでお伝えできたらなと思っています。

最初のステップでは、サーベイの結果を基にヒアリングをします。「今のあなたの状況に当てはまるものを教えてください。1番、上司から『もっとメンバーの特徴を把握して、最大限活かしましょう』と言われる。2番、メンバーから『自分たちの課題やトラブルを理解してくれたら、もっとスムーズに業務を遂行できます』と言われる」とかですね。

こういったかたちで、周りから「こんなことを言われていませんか？」みたいなことを投げかける質問を自動で生成して、投げさせています。

マネジャーの方が（質問を）見て、どれかなぁと思いながら「2番です」と決めたら、UIとしてはボタンをクリックするかたちで回答を変えるという実装にしています。ここでは「あなたの課題はこれです」という提案の根拠になるような具体的な出来事を確認させています。

次のステップとして、課題と改善アクションの提示に入ります。「いただいた回答と360度サーベイの結果を踏まえると、あなたの成長に向けた課題はこれかもしれません。1番、顧客目線での行動。この行動が課題の人でよくあることは⚪︎⚪︎、克服すると△△みたいなイメージになりますよ」という情報を提案してくれます。ここではあらかじめ用意した定型文を読み込ませて出力をさせています。

2番かなと思って2番のボタンをクリックすると、「メンバーへの丁寧な支援を実行するアクションは下記です」ということで、改善アクションも提案してくれます。こちらも事前に用意した定型文になっていて、例えば「1on1実施しましょう」みたいなことを言ってくれます。

最後のステップですね。提示された改善アクションに対して質問することができます。1on1したほうがいいと言われたけど何をすればいいんだろう？　具体的に（知りたい）と思って聞いてみると、「1on1とは……」という感じで回答が返ってきます。

これはみなさんもふだん試されているのでイメージがつくと思いますが、ChatGPTに聞いたら返ってくるイメージで（回答を）返させるという処理をしています。

提案したアクションを実際に実行しようとした時に、注意点は何があるんだろうな？　とか、いやいや定常業務で忙しいのにさらに1on1をやるのは大変だよと思う人もいると思うので、そのあたりの懸念を払拭できるような解を出させるという体験になっています。

ここまでが体験の全体図になっていて、繰り返しになりますが3ステップですね。ヒアリングして、課題と改善アクションを提示して、最後に質疑応答という流れで作りました。

テクノロジーが進化しても人の認知やメカニズムはあまり変わっていない

結果として、360度サーベイの結果を基に本人の周辺状況、こんなことありませんか？　という質問を生成することができました。あと当たり前ではありますが、シンプルに質問に対して回答するというシンプルなやり取りをプロダクトに組み込むことができました。

今後やることとしては、本当にこれが納得感あるのかという定性的な結果とか、どのくらいのユーザーが使ってくれているのかみたいな、定量的な結果はまだこれからなので、今後確認しながら検証していきたいなと思っています。

ということで、あらためてまとめです。納得感のヒントとしては、結論をいきなり伝えずに、段階的にコミュニケーションを取っていくといいかなぁと思っています。

開発を通しては、テクノロジーが進化してもあまり人の認知やメカニズムは変わっていないなと思いました。ChatGPTありきになり過ぎず、ユーザーの課題解決のためにどう使えるんだろうかという視点はやはり変わらず大事かなと思っているので、引き続きがんばっていきたいなと思っています。

最後に、弊社は週1ペースでテックブログを更新しています。LLM関連の情報もいろいろあるので、もし興味あれば見てみてください。また、弊社のミッション・ビジョンから照らし合わせると、まだまだ人が足りないなと思っています。エンジニアもデザイナーもPdMもいろんな職種で募集しているので、興味ある方はぜひカジュアルにお話ししましょう。

ご清聴ありがとうございました。

サーベイの結果を元にAIからヒアリングをする

司会者：ありがとうございました。エンジニア的な感覚だと、役立てるためにどう出力させようかという考え方になりますが、人の気持ちに寄り添うという観点がすごく新鮮で、とてもいい登壇でした。ありがとうございます。

亀山：よかったです。

司会者：質問があります。ステップ1、2、3の1番目ですかね。1番目はChatGPTから問いかけをするかたちに見えていたんですけど。サーベイの結果を基にこういったことを聞きますとChatGPT側から聞いている感じですが、これは、受ける人がなにかを事前に送っているんですかね。

亀山：まさにおっしゃるとおりですね。このやり取り自体は、最初からいきなりGPTから質問が来るような体験ですが、この前提となるサーベイの結果、例えば上司、あるいは部下から、満足度と言うとちょっと平たいのですが、そういう調査があって、そこの定量的な数値やデータを事前に読み込ませておいた上で、こういうデータが出てるということは、おそらく上司からこういうことを言われてるんじゃないか？　とか、メンバーからこう思われているんじゃないか？　みたいなものを推定して返しています。

なのでおっしゃるとおり、データをインプットした上でというかたちになっています。

司会者：たぶん社外秘なので、ここはNGだと思いますが、特定のプロンプトを使ってそのデータを読み込ませた上で、実際のヒアリングをする文章をうまく出して社員に伝えるという流れですね。なるほど。

亀山：そうですね、おっしゃるとおりです。

司会者：なるほど、そういう活用の方法があるのですね。ありがとうございます。すごく勉強になりました。

亀山：ありがとうございます。

司会者：ほりゆうさんとさくしんさんもなにか質問などあれば。

ほりゆう氏（以下、ほりゆう）：ちょっと感想みたいになっちゃうんですが、事実と具体的なアクションを出すところがすごくいいなと思いました。

ChatGPTの回答がすごくドライだなというのは、私も開発してる時にすごく感じたのですが、きちんと事実を言ってくれたり、段階的に言ってくれたり、具体的なアドバイスを言ってくれると、「じゃあちょっとやってみるか」みたいな気になるかなと思うので、これはすごくいいなと思いました。

亀山：ありがとうございます。そうですね。確かにそこの段階でドライに言われても、やはり受け入れにくいところがあるので、そこをどう柔らかくしていくかはたぶんこれからも検証する余地があるかなと思っています。

「部下や上司とすごく良い関係である」という制約条件をつけている

ほりゆう：回答する際のこういう言い方をしてくださいというプロンプトもやっているんですか？　（答えるのは）可能な範囲で大丈夫です。

亀山：ああ、そうですね。はい、一応入れています。そのままはお見せできないのですが、1個興味深かったところとしては、このサーベイ受けるの対象の方、つまりマネジャーの方は、部下や上司とすごく良い関係であるという前提条件、制約条件みたいなものをつけると、急に言い方がめっちゃマイルドになるみたいなのがあって。

ほりゆう：なるほど。

亀山：それをつけないとすごく辛辣なフィードバックというか、ちょっとグサッて来るような言い方になっちゃうところを、関係がすごく良好ですよという前提を置くことによって、ちょっと言い方がマイルドになるというのがあります。

司会者：ありがとうございます。「こう言って」じゃなくて、マネジャーと部下ってこう（いう関係性）ですって言うのはおもしろいなと思いました。

亀山：はい。ありがとうございます。

ほりゆう：ありがとうございます。

司会者：ではあらためて、亀山さんからの発表でした。ありがとうございました。

亀山：ありがとうございました。