
2025.02.12
職員一人あたり52時間の残業削減に成功 kintone導入がもたらした富士吉田市の自治体DX“変革”ハウツー
ChatGPTを活用した「AI組織改善アドバイザー」開発の裏側とプロダクト実装の工夫(全1記事)
リンクをコピー
記事をブックマーク
梅原穂高氏:では「『AI組織改善アドバイザー(β)』開発の裏側と実装の工夫」ということでLTを始めます。よろしくお願いします。
始めに簡単に自己紹介します。リンクアンドモチベーションの梅原と申します。僕は、プロダクトマネージャーからエンジニアになるという、ちょっと変わったキャリアを歩んできています。
弊社についても簡単に紹介をいたします。弊社は創業以来、組織人事領域でコンサルティング事業を展開しています。現在は「モチベーションクラウド」という組織の診断や改善を支援するプロダクトを提供しています。
今回お話しするのは(スライド示して)こちらですね。先日プレスも出したのですが、このモチベーションクラウド上に実装した「AI組織改善アドバイザー(β)」という機能で、こちらはChatGPTのAPIを活用して弊社独自のナレッジを基に組織改善のアドバイスをするという機能です。今回は、この機能開発を通じて得られた気づきをお話できればいいかなと思っています。
実際にこのGPTを使った開発を通じて学んだことというか、一番大事だなと思ったことを一言で表すと、「Unlearn」です。とにかく劇的なUnlearnが求められているなとすごく感じています。このLLMやGPTというものが普及する前と後で、プロダクトのいろいろな開発の前提が変わってくるなと感じています。
今までの常識だけで考えていると、適用できなくなってくるものがあるかなと。なので今日は、実際にこの開発を通じてどんなUnlearnが必要と感じたかを、だいたい3つほどの実体験ベースでお話できればいいかなと思っています。
さっそく1つ目ですね。「After GPTのUnlearnその1」というところで、今までだと機能開発をする時に、(スライドを示して)この構造化データというものを大前提にしていたかなと。わりと僕の頭の中は、いつもRDSに囚われているんですけど。After GPTの世界において言うと、構造化されていないデータだったり、先ほど広木さんがおっしゃった自然言語処理みたいなものは当たり前のようにプロダクトに組み込まれないといけないという世界になってきているかなと。
一例として、今回開発した機能の仕組みをちょっと簡単にお話しします。ベースは、LangChainというライブラリのRetrievalQAというものを使っています。この自社のナレッジを事前にVectorstoreに格納しておいて、ユーザーから入力があったらそれをSimilarity SearchでVectorstoreに対して検索をかけて、ユーザーの入力と、この検索結果を組み合わせてLLMに回答を生成してもらっています。
これは何がすごいのかというと、単純にドキュメントの内容を回答するだけではなく、このドキュメントの情報を使って、検索結果を使って推論ができるというのがメチャクチャ優れているなと思います。(スライドを示して)このLangChainのデフォルトで実装されているプロンプトなどを見てもらうと、どういうことが起きているかがわかりやすいかなと思います。
要は、「Vectorstoreからの検索結果を活用して質問に答えてください」というプロンプトが作られているんですね。ChatGPTでも回答例を渡してから質問すると、回答の精度が上がるというのがあると思います。
弊社には、テキストベースで構造化されていないナレッジがたくさんあって、今までこれをプロダクトに組み込むのはメチャクチャ難しいなとずっと考えていたんですよ。
ただ、このLLMの普及によって、Vectorstoreからの検索結果をベースに回答を推論してもらうことで、意外と実用性のあるかたちで簡単にプロダクトに組み込めるようになってきました。なので、機能開発の要件を考え始める前提が変わってきているなとすごく感じています。
次ですね。「After GPTのUnlearnその2」というところで、今まで開発をする時は、明示的なデータやロジックの設計をするのがわりと当たり前だったのかなと思っています。ただ、このGPTを使うと、ロジックの設計をするというよりは、前提となっているものを言語化して自然言語で出力をコントロールしていかないといけません。
いわゆるプロンプトエンジニアリングと呼ばれるようなものに近いところです。メチャクチャありきたりな例を出すと、例えば「ChatGPTって何ですか?」を説明してもらうのにも、ただ聞くのとエンジニア以外にもわかるように教えてくださいだと、回答の結果がかなり変わります。
今開発中のものなので、ちょっと資料に載せられなかったのですが、360度サーベイの結果を基にユーザーにフィードバックするというプロンプトを今作っています。そのプロンプトだと、「この人はまわりの人にすごく好意的に思われています」という一文を入れるか入れないかで、そのフィードバックの質がすごく変わるという、そういうのもあったりします。
ほかにはバリデーションみたいなところですね。今までバリデーションをがんばって設計していましたが、自然言語で「こういうのはやらないでね」と渡すだけでバリデーションができたりします。
(スライドを示して)これは実際に、今回実装しているプロンプトの一部をちょっと抜き出して持ってきたものです。例えば「政治とか宗教に関することは答えないでください」と入れておくと、実際に「政策について教えてください」という質問をした時も「お答えすることができません」というかたちでバリデーションがうまく実装できるようになっています。
最後ですね。「Unlearnその3」というところで、テストのフェーズについて。一定のロジックや構造化データをベースに作っている場合、網羅的なテストケースを作成するというのが基本的な考え方だったと思いますが、GPTを活用すると、ロジック自体がブラックボックスになっているので、今までの感覚でテストケースを作ってテストするというのが通用しなくなってくるかなと(思います)。
代わりとして自然言語データに基づくランダムテストということで、いろいろなパターンの質問を想定してテストを行うというのが必要になってきます。
実際に今回どんなテストを行ったかというと、バリデーションが効いているかどうかはわからず不安になったので、みんなで不適切と思われる質問をいろいろ考えて実装した機能にひたすら投げてみました。あまりに過激な質問がたくさん出てきたので一部しか載せられませんが、こんなことをやりました。
振り返ると、(ここは)僕らがプロセス自体をUnlearnできなかったなと思うポイントの1つです。このランダムテスト自体、GPTが一番得意とする領域なので、このランダムテストをGPTに作ってもらい、さらにそれを開発した機能に対してテストするというのを繰り返すというプロセスでアップデートできていくといいかなと感じています。
今後、もっとこんなところでUnlearnしなきゃいけないなと思っているところでいうと、今までプロダクトでやるのが難しいなと思っていたことを全部見直していかないといけないなと強く感じています。「ここは人がサポートしないといけないな」とか「ユーザーに入力してもらわないといけないかな」と思っていた部分がわりと簡単に実現できるようになっているので、ゼロベースで全部見直ししていきます。
ほかにも構造化されていないデータや、自然言語データの活用幅が一気に広がっていくので、データの取り方などを見直していかないといけないのかなということもこの開発を通して気づいたところです。
最後にまとめです。今はLLMの普及など爆発的なスピードで技術が進歩しているので、明日朝起きたらまた新しいことができるようになっているかもしれない世界です。なのでUnlearnしながら新しいベストプラクティスをみんなで探していけるといいかなと思っています。
最後にちょっとだけ告知をさせてください。このあともChatGPT関連のいくつかのイベントに弊社のメンバーが登壇をします。1つは「ChatGPT×カスタマーサクセス」で、もう1つはこのあと登壇されるファインディさんのイベントで「ChatGPT×エンジニアの組織づくり」というテーマで登壇します。興味がある方もいたら、こちらもぜひ参加をお願いします。自分の発表は以上です。ありがとうございます。
2025.02.06
すかいらーく創業者が、社長を辞めて75歳で再起業したわけ “あえて長居させるコーヒー店”の経営に込めるこだわり
PR | 2025.02.07
プロジェクトマネージャーは「無理ゲーを攻略するプレイヤー」 仕事を任せられない管理職のためのマネジメントの秘訣
2025.02.04
日本企業にありがちな「生産性の低さ」の原因 メーカーの「ちょっとした改善」で勝負が決まる仕組みの落とし穴
2025.02.05
「納得しないと動けない部下」を変える3つのステップとは マネージャーの悩みを解消する会話のテクニック
2025.02.06
落合陽一氏や松尾豊氏の研究は社会に届いているか? ひろゆき氏が語るアカデミアの課題と展望
2025.01.07
1月から始めたい「日記」を書く習慣 ビジネスパーソンにおすすめな3つの理由
2025.02.05
エンジニアとして成功するための秘訣とは? ひろゆき氏が語る、自由な働き方を叶えるアプリ開発とキャリア戦略
2025.02.03
手帳に書くだけで心が整うメンタルケアのコツ イライラ、モヤモヤ、落ち込んだ時の手帳の使い方
2025.02.03
「昔は富豪的プログラミングなんてできなかった」 21歳で「2ちゃんねる」を生んだひろゆき氏が語る開発の裏側
2025.02.10
A4用紙を持ち歩いて殴り書きでアウトプット コクヨのワークスタイルコンサルタントが語る、2種類のメモ術
【手放すTALK LIVE#45】人と組織のポテンシャルが継承されるソース原理 ~人と組織のポテンシャルが花開く「ソース原理」とは~
2024.12.09 - 2024.12.09
【著者来館】『成果を上げるプレイングマネジャーは「これ」をやらない』出版記念イベント!
2025.01.10 - 2025.01.10
片付けパパ対談【特別編】 整理術×行動術×メモ術で、仕事も人生も自在にデザイン!
2024.12.16 - 2024.12.16
日本を変える 中小企業リーダーズサミット2025
2025.01.30 - 2025.02.12
【必見】納得しない部下を動かす!マネジメントの裏技とは?
2024.12.16 - 2024.12.16