2024.10.01
自社の社内情報を未来の“ゴミ”にしないための備え 「情報量が多すぎる」時代がもたらす課題とは?
ChatGPTを活用した「AI組織改善アドバイザー」開発の裏側とプロダクト実装の工夫(全1記事)
リンクをコピー
記事をブックマーク
梅原穂高氏:では「『AI組織改善アドバイザー(β)』開発の裏側と実装の工夫」ということでLTを始めます。よろしくお願いします。
始めに簡単に自己紹介します。リンクアンドモチベーションの梅原と申します。僕は、プロダクトマネージャーからエンジニアになるという、ちょっと変わったキャリアを歩んできています。
弊社についても簡単に紹介をいたします。弊社は創業以来、組織人事領域でコンサルティング事業を展開しています。現在は「モチベーションクラウド」という組織の診断や改善を支援するプロダクトを提供しています。
今回お話しするのは(スライド示して)こちらですね。先日プレスも出したのですが、このモチベーションクラウド上に実装した「AI組織改善アドバイザー(β)」という機能で、こちらはChatGPTのAPIを活用して弊社独自のナレッジを基に組織改善のアドバイスをするという機能です。今回は、この機能開発を通じて得られた気づきをお話できればいいかなと思っています。
実際にこのGPTを使った開発を通じて学んだことというか、一番大事だなと思ったことを一言で表すと、「Unlearn」です。とにかく劇的なUnlearnが求められているなとすごく感じています。このLLMやGPTというものが普及する前と後で、プロダクトのいろいろな開発の前提が変わってくるなと感じています。
今までの常識だけで考えていると、適用できなくなってくるものがあるかなと。なので今日は、実際にこの開発を通じてどんなUnlearnが必要と感じたかを、だいたい3つほどの実体験ベースでお話できればいいかなと思っています。
さっそく1つ目ですね。「After GPTのUnlearnその1」というところで、今までだと機能開発をする時に、(スライドを示して)この構造化データというものを大前提にしていたかなと。わりと僕の頭の中は、いつもRDSに囚われているんですけど。After GPTの世界において言うと、構造化されていないデータだったり、先ほど広木さんがおっしゃった自然言語処理みたいなものは当たり前のようにプロダクトに組み込まれないといけないという世界になってきているかなと。
一例として、今回開発した機能の仕組みをちょっと簡単にお話しします。ベースは、LangChainというライブラリのRetrievalQAというものを使っています。この自社のナレッジを事前にVectorstoreに格納しておいて、ユーザーから入力があったらそれをSimilarity SearchでVectorstoreに対して検索をかけて、ユーザーの入力と、この検索結果を組み合わせてLLMに回答を生成してもらっています。
これは何がすごいのかというと、単純にドキュメントの内容を回答するだけではなく、このドキュメントの情報を使って、検索結果を使って推論ができるというのがメチャクチャ優れているなと思います。(スライドを示して)このLangChainのデフォルトで実装されているプロンプトなどを見てもらうと、どういうことが起きているかがわかりやすいかなと思います。
要は、「Vectorstoreからの検索結果を活用して質問に答えてください」というプロンプトが作られているんですね。ChatGPTでも回答例を渡してから質問すると、回答の精度が上がるというのがあると思います。
弊社には、テキストベースで構造化されていないナレッジがたくさんあって、今までこれをプロダクトに組み込むのはメチャクチャ難しいなとずっと考えていたんですよ。
ただ、このLLMの普及によって、Vectorstoreからの検索結果をベースに回答を推論してもらうことで、意外と実用性のあるかたちで簡単にプロダクトに組み込めるようになってきました。なので、機能開発の要件を考え始める前提が変わってきているなとすごく感じています。
次ですね。「After GPTのUnlearnその2」というところで、今まで開発をする時は、明示的なデータやロジックの設計をするのがわりと当たり前だったのかなと思っています。ただ、このGPTを使うと、ロジックの設計をするというよりは、前提となっているものを言語化して自然言語で出力をコントロールしていかないといけません。
いわゆるプロンプトエンジニアリングと呼ばれるようなものに近いところです。メチャクチャありきたりな例を出すと、例えば「ChatGPTって何ですか?」を説明してもらうのにも、ただ聞くのとエンジニア以外にもわかるように教えてくださいだと、回答の結果がかなり変わります。
今開発中のものなので、ちょっと資料に載せられなかったのですが、360度サーベイの結果を基にユーザーにフィードバックするというプロンプトを今作っています。そのプロンプトだと、「この人はまわりの人にすごく好意的に思われています」という一文を入れるか入れないかで、そのフィードバックの質がすごく変わるという、そういうのもあったりします。
ほかにはバリデーションみたいなところですね。今までバリデーションをがんばって設計していましたが、自然言語で「こういうのはやらないでね」と渡すだけでバリデーションができたりします。
(スライドを示して)これは実際に、今回実装しているプロンプトの一部をちょっと抜き出して持ってきたものです。例えば「政治とか宗教に関することは答えないでください」と入れておくと、実際に「政策について教えてください」という質問をした時も「お答えすることができません」というかたちでバリデーションがうまく実装できるようになっています。
最後ですね。「Unlearnその3」というところで、テストのフェーズについて。一定のロジックや構造化データをベースに作っている場合、網羅的なテストケースを作成するというのが基本的な考え方だったと思いますが、GPTを活用すると、ロジック自体がブラックボックスになっているので、今までの感覚でテストケースを作ってテストするというのが通用しなくなってくるかなと(思います)。
代わりとして自然言語データに基づくランダムテストということで、いろいろなパターンの質問を想定してテストを行うというのが必要になってきます。
実際に今回どんなテストを行ったかというと、バリデーションが効いているかどうかはわからず不安になったので、みんなで不適切と思われる質問をいろいろ考えて実装した機能にひたすら投げてみました。あまりに過激な質問がたくさん出てきたので一部しか載せられませんが、こんなことをやりました。
振り返ると、(ここは)僕らがプロセス自体をUnlearnできなかったなと思うポイントの1つです。このランダムテスト自体、GPTが一番得意とする領域なので、このランダムテストをGPTに作ってもらい、さらにそれを開発した機能に対してテストするというのを繰り返すというプロセスでアップデートできていくといいかなと感じています。
今後、もっとこんなところでUnlearnしなきゃいけないなと思っているところでいうと、今までプロダクトでやるのが難しいなと思っていたことを全部見直していかないといけないなと強く感じています。「ここは人がサポートしないといけないな」とか「ユーザーに入力してもらわないといけないかな」と思っていた部分がわりと簡単に実現できるようになっているので、ゼロベースで全部見直ししていきます。
ほかにも構造化されていないデータや、自然言語データの活用幅が一気に広がっていくので、データの取り方などを見直していかないといけないのかなということもこの開発を通して気づいたところです。
最後にまとめです。今はLLMの普及など爆発的なスピードで技術が進歩しているので、明日朝起きたらまた新しいことができるようになっているかもしれない世界です。なのでUnlearnしながら新しいベストプラクティスをみんなで探していけるといいかなと思っています。
最後にちょっとだけ告知をさせてください。このあともChatGPT関連のいくつかのイベントに弊社のメンバーが登壇をします。1つは「ChatGPT×カスタマーサクセス」で、もう1つはこのあと登壇されるファインディさんのイベントで「ChatGPT×エンジニアの組織づくり」というテーマで登壇します。興味がある方もいたら、こちらもぜひ参加をお願いします。自分の発表は以上です。ありがとうございます。
2024.10.29
5〜10万円の低単価案件の受注をやめたら労働生産性が劇的に向上 相見積もり案件には提案書を出さないことで見えた“意外な効果”
2024.10.24
パワポ資料の「手戻り」が多すぎる問題の解消法 資料作成のプロが語る、修正の無限ループから抜け出す4つのコツ
2024.10.28
スキル重視の採用を続けた結果、早期離職が増え社員が1人に… 下半期の退職者ゼロを達成した「関係の質」向上の取り組み
2024.10.22
気づかぬうちに評価を下げる「ダメな口癖」3選 デキる人はやっている、上司の指摘に対する上手な返し方
2024.10.24
リスクを取らない人が多い日本は、むしろ稼ぐチャンス? 日本のGDP4位転落の今、個人に必要なマインドとは
2024.10.23
「初任給40万円時代」が、比較的早いうちにやってくる? これから淘汰される会社・生き残る会社の分かれ目
2024.10.23
「どうしてもあなたから買いたい」と言われる営業になるには 『無敗営業』著者が教える、納得感を高める商談の進め方
2024.10.28
“力を抜くこと”がリーダーにとって重要な理由 「人間の達人」タモリさんから学んだ自然体の大切さ
2024.10.29
「テスラの何がすごいのか」がわからない学生たち 起業率2年連続日本一の大学で「Appleのフレームワーク」を教えるわけ
2024.10.30
職場にいる「困った部下」への対処法 上司・部下間で生まれる“常識のズレ”を解消するには