
2025.02.12
職員一人あたり52時間の残業削減に成功 kintone導入がもたらした富士吉田市の自治体DX“変革”ハウツー
ChatGPTを活用した「AI組織改善アドバイザー」開発の裏側とプロダクト実装の工夫(全1記事)
リンクをコピー
記事をブックマーク
梅原穂高氏:では「『AI組織改善アドバイザー(β)』開発の裏側と実装の工夫」ということでLTを始めます。よろしくお願いします。
始めに簡単に自己紹介します。リンクアンドモチベーションの梅原と申します。僕は、プロダクトマネージャーからエンジニアになるという、ちょっと変わったキャリアを歩んできています。
弊社についても簡単に紹介をいたします。弊社は創業以来、組織人事領域でコンサルティング事業を展開しています。現在は「モチベーションクラウド」という組織の診断や改善を支援するプロダクトを提供しています。
今回お話しするのは(スライド示して)こちらですね。先日プレスも出したのですが、このモチベーションクラウド上に実装した「AI組織改善アドバイザー(β)」という機能で、こちらはChatGPTのAPIを活用して弊社独自のナレッジを基に組織改善のアドバイスをするという機能です。今回は、この機能開発を通じて得られた気づきをお話できればいいかなと思っています。
実際にこのGPTを使った開発を通じて学んだことというか、一番大事だなと思ったことを一言で表すと、「Unlearn」です。とにかく劇的なUnlearnが求められているなとすごく感じています。このLLMやGPTというものが普及する前と後で、プロダクトのいろいろな開発の前提が変わってくるなと感じています。
今までの常識だけで考えていると、適用できなくなってくるものがあるかなと。なので今日は、実際にこの開発を通じてどんなUnlearnが必要と感じたかを、だいたい3つほどの実体験ベースでお話できればいいかなと思っています。
さっそく1つ目ですね。「After GPTのUnlearnその1」というところで、今までだと機能開発をする時に、(スライドを示して)この構造化データというものを大前提にしていたかなと。わりと僕の頭の中は、いつもRDSに囚われているんですけど。After GPTの世界において言うと、構造化されていないデータだったり、先ほど広木さんがおっしゃった自然言語処理みたいなものは当たり前のようにプロダクトに組み込まれないといけないという世界になってきているかなと。
一例として、今回開発した機能の仕組みをちょっと簡単にお話しします。ベースは、LangChainというライブラリのRetrievalQAというものを使っています。この自社のナレッジを事前にVectorstoreに格納しておいて、ユーザーから入力があったらそれをSimilarity SearchでVectorstoreに対して検索をかけて、ユーザーの入力と、この検索結果を組み合わせてLLMに回答を生成してもらっています。
これは何がすごいのかというと、単純にドキュメントの内容を回答するだけではなく、このドキュメントの情報を使って、検索結果を使って推論ができるというのがメチャクチャ優れているなと思います。(スライドを示して)このLangChainのデフォルトで実装されているプロンプトなどを見てもらうと、どういうことが起きているかがわかりやすいかなと思います。
要は、「Vectorstoreからの検索結果を活用して質問に答えてください」というプロンプトが作られているんですね。ChatGPTでも回答例を渡してから質問すると、回答の精度が上がるというのがあると思います。
弊社には、テキストベースで構造化されていないナレッジがたくさんあって、今までこれをプロダクトに組み込むのはメチャクチャ難しいなとずっと考えていたんですよ。
ただ、このLLMの普及によって、Vectorstoreからの検索結果をベースに回答を推論してもらうことで、意外と実用性のあるかたちで簡単にプロダクトに組み込めるようになってきました。なので、機能開発の要件を考え始める前提が変わってきているなとすごく感じています。
次ですね。「After GPTのUnlearnその2」というところで、今まで開発をする時は、明示的なデータやロジックの設計をするのがわりと当たり前だったのかなと思っています。ただ、このGPTを使うと、ロジックの設計をするというよりは、前提となっているものを言語化して自然言語で出力をコントロールしていかないといけません。
いわゆるプロンプトエンジニアリングと呼ばれるようなものに近いところです。メチャクチャありきたりな例を出すと、例えば「ChatGPTって何ですか?」を説明してもらうのにも、ただ聞くのとエンジニア以外にもわかるように教えてくださいだと、回答の結果がかなり変わります。
今開発中のものなので、ちょっと資料に載せられなかったのですが、360度サーベイの結果を基にユーザーにフィードバックするというプロンプトを今作っています。そのプロンプトだと、「この人はまわりの人にすごく好意的に思われています」という一文を入れるか入れないかで、そのフィードバックの質がすごく変わるという、そういうのもあったりします。
ほかにはバリデーションみたいなところですね。今までバリデーションをがんばって設計していましたが、自然言語で「こういうのはやらないでね」と渡すだけでバリデーションができたりします。
(スライドを示して)これは実際に、今回実装しているプロンプトの一部をちょっと抜き出して持ってきたものです。例えば「政治とか宗教に関することは答えないでください」と入れておくと、実際に「政策について教えてください」という質問をした時も「お答えすることができません」というかたちでバリデーションがうまく実装できるようになっています。
最後ですね。「Unlearnその3」というところで、テストのフェーズについて。一定のロジックや構造化データをベースに作っている場合、網羅的なテストケースを作成するというのが基本的な考え方だったと思いますが、GPTを活用すると、ロジック自体がブラックボックスになっているので、今までの感覚でテストケースを作ってテストするというのが通用しなくなってくるかなと(思います)。
代わりとして自然言語データに基づくランダムテストということで、いろいろなパターンの質問を想定してテストを行うというのが必要になってきます。
実際に今回どんなテストを行ったかというと、バリデーションが効いているかどうかはわからず不安になったので、みんなで不適切と思われる質問をいろいろ考えて実装した機能にひたすら投げてみました。あまりに過激な質問がたくさん出てきたので一部しか載せられませんが、こんなことをやりました。
振り返ると、(ここは)僕らがプロセス自体をUnlearnできなかったなと思うポイントの1つです。このランダムテスト自体、GPTが一番得意とする領域なので、このランダムテストをGPTに作ってもらい、さらにそれを開発した機能に対してテストするというのを繰り返すというプロセスでアップデートできていくといいかなと感じています。
今後、もっとこんなところでUnlearnしなきゃいけないなと思っているところでいうと、今までプロダクトでやるのが難しいなと思っていたことを全部見直していかないといけないなと強く感じています。「ここは人がサポートしないといけないな」とか「ユーザーに入力してもらわないといけないかな」と思っていた部分がわりと簡単に実現できるようになっているので、ゼロベースで全部見直ししていきます。
ほかにも構造化されていないデータや、自然言語データの活用幅が一気に広がっていくので、データの取り方などを見直していかないといけないのかなということもこの開発を通して気づいたところです。
最後にまとめです。今はLLMの普及など爆発的なスピードで技術が進歩しているので、明日朝起きたらまた新しいことができるようになっているかもしれない世界です。なのでUnlearnしながら新しいベストプラクティスをみんなで探していけるといいかなと思っています。
最後にちょっとだけ告知をさせてください。このあともChatGPT関連のいくつかのイベントに弊社のメンバーが登壇をします。1つは「ChatGPT×カスタマーサクセス」で、もう1つはこのあと登壇されるファインディさんのイベントで「ChatGPT×エンジニアの組織づくり」というテーマで登壇します。興味がある方もいたら、こちらもぜひ参加をお願いします。自分の発表は以上です。ありがとうございます。
2025.02.13
“最近の新人は報連相をしない”という、管理職の他責思考 部下に対する「NG指示」から見る、認識のズレを防ぐコツ
2025.02.06
すかいらーく創業者が、社長を辞めて75歳で再起業したわけ “あえて長居させるコーヒー店”の経営に込めるこだわり
2025.02.13
AIを使いこなせない人が直面する本当の課題 元マッキンゼー・赤羽雄二氏が“英語の情報”を追い続ける理由
2025.02.12
マネージャーは「プレイング3割」が適切 チームの業績を上げるためのマネジメントと業務の比率
2025.02.12
何度言っても変わらない人への指示のポイント 相手が主体的に動き出す“お願い”の仕方
2025.02.13
「みんなで決めたから」を言い訳にして仲良しクラブで終わる組織 インパクトも多様性も両立させるソース原理
2025.01.07
1月から始めたい「日記」を書く習慣 ビジネスパーソンにおすすめな3つの理由
2025.02.10
32歳で「すかいらーく」を創業、75歳で「高倉町珈琲」で再起業 「失敗したからすかいらーくができた」横川竟氏流の経営哲学
2025.02.14
報連相ができない部下に対するコミュニケーションの取り方 「部下が悪い」で終わらせない、管理職のスキル向上のポイント
2025.02.10
A4用紙を持ち歩いて殴り書きでアウトプット コクヨのワークスタイルコンサルタントが語る、2種類のメモ術
着想から2か月でローンチ!爆速で新規事業を立ち上げる方法
2025.01.21 - 2025.01.21
新人の報連相スキルはマネージメントで引きあげろ!~管理職の「他責思考」を排除~
2025.01.29 - 2025.01.29
【手放すTALK LIVE#45】人と組織のポテンシャルが継承されるソース原理 ~人と組織のポテンシャルが花開く「ソース原理」とは~
2024.12.09 - 2024.12.09
『これで採用はうまくいく』著者が語る、今こそ採用担当に届けたい「口説く」力のすべて
2024.11.29 - 2024.11.29
【著者来館】『成果を上げるプレイングマネジャーは「これ」をやらない』出版記念イベント!
2025.01.10 - 2025.01.10