大規模言語モデル「LLM」を“価値あるもの”にするために　ChatGPTのAPIを活用する時に必要な心構え

大規模言語モデルのLLMを“価値あるもの”にするために注意すべきこととは？

広木大地氏（以下、広木）：パネルディスカッションのテーマは、「ChatGPT APIを活用する上での工夫や今後の展望について」で4名のスピーカーに参加していただきます。みなさんよろしくお願いします。

一同：よろしくお願いします。

広木：新たに2人参加されている方がいます。「誰やねん」となってしまうかもしれないので、染谷さん自己紹介をお願いします。

染谷洋平氏（以下、染谷）：はい。グロービスの染谷と申します。先ほど話があった「ナノ単科」の責任者でプロダクトマネージャーをやっています。社外では、別のスタートアップでCTOをやっています。よろしくお願いします。

広木：よろしくお願いします。では柴戸さん、自己紹介をお願いします。

柴戸純也氏（以下、柴戸）：リンクアンドモチベーションの柴戸です。よろしくお願いします。僕はリンクアンドモチベーションで執行役員 CTOを務めています。今回、GPTの機能をリリースしたのですが、みんなと一緒にワイワイやっていました。よろしくお願いします。

広木：よろしくお願いします。さっそくパネルディスカッションにいきたいなと思います。1個目のテーマとしてこういうものを用意しました。「大規模言語モデルのLLMを価値あるものにする上で注意すべきこととは？」。いろいろあるかなと思います。

ハルシネイションと言われる中で、それっぽく嘘をついちゃうとか、先ほどもあったような敵対的プロンプトの対策とかもあると思いますが、価値あるものにしていく上でこういうことに注意したほうがいいというのがあれば……松本さんどうでしょう？

松本宏太氏（以下、松本）：Adversarial promptingともちょっと違うんですけど、既存事業の延長線でLLMを考えるよりも、そもそものユーザーの課題をベースに本来ユーザーの課題はどうあるべきなんだっけ？　というのをリフレーミングしていったほうがいいなと最近思っています。

弊社は2つの事業をやっているのですが、採用業務において「求職者はどうあったらいいんだっけ？」みたいなことから考え始めたほうが、実はLLMは得意だったりするので、トップラインの話でいうと、そっちから考えるのが大事なのかなという気がしてきています。

広木：そうですよね。実際にやれることが大幅に変わっている感じがするので、それを前提に「Unlearn」という言葉も出てきました。柴戸さんはUnlearnというところで、価値あるものにする上で注意すべきことはなんだと思いますか？

柴戸：先ほどの松本さんの話と同様に、僕らは逆にUnlearnしないことも大事だなと思うところもあります。やはり、価値を考える時に「Why、Whatを考えることは変わらず大事だったな」とあらためてすごく思いました。逆に「Unlearnしないとヤバいな」と思ったところでいくと、例えば、要件定義などを今までどおり「何であること」と書いたり、ランダムテストをがんばって書いたりなど、今回はUnlearnすべきところとUnlearnしないべきところの両方があるということがけっこう良い学びだったなと思います。

広木：ありがとうございます。染谷さんはどうですか？

染谷：僕も柴戸さんの発表にすごく共感する部分がありました。エンジニアってなるべく楽したいじゃないですか。結局それが価値につながる部分もあるから、（ChatGPTを使って）価値あるものにする前に、楽をするためにいろいろとやってみる、LLMの価値をいろいろ並べてみるアクションがすごく大事。

結局価値あるものも事故ったら「なんかヤバい」と。自動運転もそうですが、「自動運転は便利だ。でも事故っちゃったらヤバそう」となると引いちゃうので。やはりそれ（LLMの価値）をしっかりと並べて、なにか良さそうなところをしっかりピックしていくみたいな。そういう発散と縮小みたいなのをしっかりと活用していくと、世の中がもっと良くなるんじゃないのかなと思います。

広木：そうですよね。発散させて収束させていくみたいな。仕事の中で人間がやっていたフェーズとデザインパターンみたいなちょっと融合していく感じは、実際に触ってみるとより感じるところですよね。笹野さんはどうですか？　なんか「にゃん」って付いちゃうとか言っていたと思うんですけど。

（一同笑）

笹野翔太氏（以下、笹野）：そうですね。Adversarial promptingみたいな文脈でいくと、今回はお問い合わせから気づけた部分だったのですが、語尾の変更ですね。

この要望がものすごく通りやすいものだということが社内でもすごくわかって、逆に「このプロンプトを表示してください」みたいなものについては、比較的対応できていたので、そういった意味で、先ほど二度投げみたいな紹介をしました。

ユーザーにアウトプットを返す前に、1つステップを挟むのはすごく大切なことだと思うし、LLMを実際のビジネス上で運用していく上でも、そこが価値のあるものにつながっていくのかなというのが今回の取り組みを通してわかった部分だと思います。

広木：そうですよね。LangChainとかで、Constitutionalみたいなチェーンが出ていて、それを使うと「ここで校閲してね」みたいなやつも比較的そのまま実装できるようになっていて、意外とそういうパターンを知っておくみたいなのも大事なのかなと（思います）。

今ファインディさんが出してくれたものは、後にどんどんパターン化されていて、今日も『Prompt Engineering Guide』が日本語版を出してくれたという記事が出ています。そういうところをみんなで読んで「あ、こういうことがあるんだな」と知っていくのも大事なのかなと思いますね。

LLMを使うにあたって、各社苦労したことは？

広木：さて、今日集まっていただいたみなさんは、ものすごく早く取り組めている会社ばかりです。「LLMを使っていくにあたって関係者の説得で大変だった」とか「AIに対してちょっとここを誤解しているな」というところの説明や、「『活用していこうよ！』となって前のめりになりすぎちゃって大変だった」とか、そのあたりの話が聞けたらなと思っています。松本さんはどうですか？

松本：プロンプトエンジニアリングレベルが低い時に出したベータ版が、「あれ？　これはあまり価値がないんじゃない？」と思われて、優先度が下がっちゃうケースがありました。ベータ版の出し方がけっこう難しいなと思っています。

先ほどの話でいうと、たぶん（ChatGPTへの）質問の仕方によってクオリティがメチャクチャ変わると思うんです。だけどそのリテラシーが低い状態で作っちゃうと「あれ？　別にこれいらないです」みたいな話になっちゃうのが、けっこう今も大変だと思っていますね。

広木：松本さんが言っていた、ある程度薄いUIを作るとか、あるいはグロービスさんがされた「最初のUIはLINEでいいよね」みたいに縛ることで試行錯誤しやすくなる環境を作るのが大事な反面、最初のプロトタイプが「あれ？」という感じになっちゃうと、熱が下がっちゃうこともあるということですかね？

松本：そうです。

広木：その両方のバランスが重要なところかもしれない。

松本：大事ですね。重要かなと思います。

広木：染谷さんはどうでしたか？　会社としても「やるぜ！」という感じをヒシヒシと感じたので、こういうことがあったのかなと。

染谷：代表に「最初にこれを出すんだ！」感があったので、それはすごい追い風になったものの、やはりヤバい情報が出てきたり「どこかに投稿していたらどうしよう」みたいな話があったり、あとはグロービスは経営大学院をやっていて、いわゆるプロンプト達人みたいな人がたくさんいるんですよ。

その一方で（プロダクトの中で）返してくれるのはChatGPTじゃないですか。なので、そこがグロービスに合っているかどうかはめちゃくちゃチェックをしていました。僕はそんなに関与していないのですが、そこの人間のプロとChatGPTのせめぎ合いみたいなところはメチャクチャ大変そうでしたね。

広木：ビジネスドメインとして、グロービスさんとしてはしっかりしているイメージがメチャクチャ大事だから、そこがちょっと中途半端なものを出しちゃうと「あれ？」みたいに思われちゃう。そこのバランスだと。

染谷：そう。だから松本さんのは、まさにそうだなと思っていました。

広木：ありがとうございます。「モチベーションクラウド」もまさにしっかりしていないといけないプロダクトではあるので、このあたりは大変だったんじゃないかなと思うんですけど。

柴戸：そうですね。一定のクオリティは自分たちで確認しながらも、やはり顧客と接するコンサルタントに見てもらったりしました。最初の質問でいうと、障壁を乗り越えたというよりも、障壁にならないように説明をだいぶ工夫しましたね。

スタートした時は、社内にGPTやAIポジの人はあまりいなかったのですが、逆にネガな人もいなかったですね。ポジティブな人がいたらきちんと「超知能ではない」とか「洞察とかはできない」とかを説明しようとか、いくつかのパターンを考えたのですが、うちはどちらでもない人が大多数でした。

なので、AIという言葉よりもきちんとWHY・WHATにあたる提供価値をできるだけ説明して、そこが通ったらGPTやAIの良さとか、価値向上のためにこういうHOWを使うんですとか、そんな感じの話をしましたね。その上で、うちの会社のビジネスとGPTとの相性の良さなどを説明していった流れです。

広木：ChatGPTのAPIがリリースされて、トークンの単価が説明される前はメチャクチャ高かったので、BtoB領域は使おうと思っても大変かなという感じだったのに、リリースされた直後は「え!?　激安じゃん!!」みたいになることはありましたけどね。

（一同笑）

柴戸：ありましたね。本当に、次の日の朝起きたら変わっていました。

ファインディ社の開発がエンタメ寄りから始まった理由と経緯

広木：ファインディさんの（プロダクトは）けっこうオープンにいろいろな人に使ってもらえる、エンタメ施策寄りのものだったと思うんですが、まずそこからやってみようとなった経緯はなんでしょうか？

笹野：おっしゃっていただいたとおり、弊社はエンタメ寄りから始まった部分があります。2月24日の、確か金曜日だったと思うのですが、そのタイミングで今回のプロダクトマネージャーが「ChatGPTを使ってイベントを作りましょう！」みたいな。

コストの話も先ほどチラッと出たと思いますが、これまで社内で使っている広告費と比べると、比較的最大で想定されるリクエストがあってもかなりコストは低く抑えられるんじゃないかという経営判断があったとは聞いています。

広木：（Twitterの）トレンドに載っていましたもんね。

笹野：本当にいろいろと使っていただいたおかげで、無事にトレンド入りもできて、効果で換算するとけっこうな額だったと聞いているので、取り組んでよかったなと私も感じています。

広木：「この領域で使うぞ！」というところで、関係者を説得しなきゃいけないことは、そんなになかったんですか？

笹野：そうですね。そういった経営層レベルでの話の段階で、「LLMやChatGPTを使ってなにかやりましょう」みたいに、すでにマインドが変わっていたのがありがたかったと思います。

広木：なるほど。（プロダクトを）出している各社だと、比較的説得というほどのことではないものの、期待値調整が一番大事なキーワードだということですね。あとは何に使うかというところなんですかね。本当にほぼ各社がリリース直後に活用されていたと思うので、予算も含めてそうやって走れたところが大きいでしょうね。

（次回へつづく）