プロダクト開発でのLLM活用で何に悩み、どう乗り越えたか　登壇者たちが語る、モックからリリースまでの道のり

モックからプロダクションリリースまで、どのように乗り越えたか

佐藤龍太氏（以下、佐藤）：それではパネルディスカッションで、いろいろと質問させていただきたいなと思っています。「Sli.do」を用意しているので、QRコードを読み取ってもらって、なにか質問があれば書いていただいて。ちょっと時間があるかはわからないのですが、できるだけ後半に読み上げたいなと思っています。

質問に「いいね」を付けてもらえたら、たぶん上位に上がってくると思います。その上位に上がってきたやつを質問していきたいなと思っています。始めに用意しておいた質問ですね、「モックからプロダクションリリースまで、どのように乗り越えたか」について、もうちょっとディティールを聞ければなと考えているので、こちらから質問させていただければなと思います。

会場のみなさんに1つだけ質問をしたいんですけど、LLMを使ってプロダクションリリースをしている方って、どれくらいいますか？

（会場挙手）

佐藤：1割いるかどうかぐらいですかね。LLMで開発していますよという方はどれぐらいいますか？　2つ質問しちゃいました。

（会場挙手）

佐藤：あー、けっこういますね。じゃあちょっと突っ込んだ話もできるのかなと思っているので、まずは「モックからプロダクションリリースまで……」というところで、芹澤さんからお聞きしたいなと思いますが、いかがでしょうか？

芹澤雅人氏（以下、芹澤）：そうですね。先ほど弊社の金岡さん（金岡亮氏）から紹介があったとおり、僕たちは「タレントマネジメントシステム」と呼んでいる領域でLLMを活用しています。物を作って出すみたいなところはけっこうサクサクッと行ったんですけど、やはり金岡さんを含めて現場の人に聞くと「データまわりの法務のクリアランスがけっこう大変だった」みたいなことをおっしゃっていましたね。

僕たちSmartHRは人事データを扱っていて、けっこう機微な情報を含んでいるので、AIとしてそれらをどう活用していくかというところはきちんと法務と相談した上で、データの取り扱いを決めつつ、法的にOKでもやはりレピュテーションリスクなどが常につきまとう領域かなと思っているので、会社としてどういうポリシーで活用していくかというところには、けっこう時間はかかりますね。

佐藤：ありがとうございます。ひととおりお聞きできればと思います。石川さんはいかがですか？

石川佑樹氏（以下、石川）：今は同時多発的にいくつかの施策を開発しているのですが、（その中で）思うのは、そもそもプロダクト開発は、8割ぐらいが2割ぐらいの時間でできるもので、残りの2割を完成させるのに全体プロジェクト開発の8割ぐらいの時間がかかるというのをけっこう念頭に置きながらプロジェクトマネジメントをしています。（LLM開発だと）それがなおさらメチャクチャ難しい。

残り2割を詰める工数が非常に高いというのが、ある種のLLM開発だなと体感をしています。考えるべきところが多いというのは乗り越えるべき壁としてあるのかなと思います。

もう1つ、僕らが思っているところとしては、ある意味OpenAIの「ChatGPT」が切り開いてくれた、LLMを使ったプロダクトに対する、ある意味ちょっと間違っていても許容できるという一定の弾力性というか、そういうものにちょっと（自分たちが）甘えている部分もあるかなと思っていて、もちろん確認すべきところは確認しますし、誰かに対して危害を加えるようなリスクは最低限しっかり見て低減はします。私たちが炎上してしまうリスクは、もちろん一定低減しつつも最後は「Go Bold」に出そうとけっこう話はしています。

先ほど、生成AIで作ったクリエイティブをちょっと試しているという話もしましたが、あそこもよくよく考えると、けっこういろいろなアクションができないというのがあり、もちろんリーガルの観点でしっかりと整理・確認をした上で、燃えたら燃えた時だというかたちで、ちょっとずつ採用向けのクリエイティブで出しました、（結果）燃えませんでした。

その次にキャンペーンのクリエイティブで出しても燃えませんでした。次は動画いきましょうというかたちでステップを踏んで、世の中の動きを見ながら少しずつ進めているというのが、ある種の越え方として私たちがやっていることですね。

佐藤：ありがとうございます。非常に興味深いですね。最後に竹村さんお願いします。

竹村尚彦氏（以下、竹村）：（話すのが）最後は損ですね。ほとんど語られた感もあるんですけども（笑）。「Go Bold」はいいですね。私たちは先ほどお話ししたとおり、まだプロダクションリリース前というフェーズですが、考え方は基本的には変わらないのかなと思っています。

GPT自体、LLM自体新しい技術なので、キャッチアップをやりきっているエンジニアはたぶん社内にはそんなに多くなく、キャッチアップをしながら開発を進めていくというかたちになると思うんですよね。そうした時にどうキャッチアップをしながら開発していくかと考えると、基本的にやはりリスクヘッジ、スモールスタートだと自分は思っています。

私たちの「KARTE」というプロダクトは、顧客企業の先にいるエンドユーザーのデータを扱っているんですよね。相性が良いというのは理解しているのですが、技術的理解をしないまま本丸に踏み込んでいって、それこそレピュテーションリスクもありますが、間違った使い方をしてしまうというリスクもあるのでいきなりそこには行かない。

極力そのリスクを抑えた上でユーザーの価値が最大化するところはどこかを考えながらやってきたみたいなところがありますね。といったところでも今日お話ししたCraft Functionsですね。

要はコード生成における部分は意外とリスクが少ないし、AIは先ほど弾力性の話があったと思いますが、たぶんAIによって一定の許容度が上がった分、コードは生成するんだけど、100パーセントじゃないよ。あとはちょっと話しながら直せるよという状態が作れると思うので、そういったかたちでコントロールはできるかなと思っていて、これもある種のステップなんですが、ステップを考える話とリスクヘッジというところで今は絶賛進めています。

佐藤：ありがとうございます。そもそもチャレンジングな領域だなと（思いました）。特にマーケティング、マーケターのところのコード生成ってなかなか難しいんじゃないかと思って聞いていたんですけれど。ステップに分けてどんどんやられていたというところで、検証などもけっこう大変だったんじゃないかなとちょっと思っていたんですけど。どうやって乗り越えたのか、そういうTipsなどがあればぜひ。

竹村：そうですね。まぁ、実際に今乗り越えている最中だったりもするのですが、検証はそうですね。ちょっとMS（マイクロソフト）のイベントなので宣伝色が出てしまうかもしれませんが、「Prompt Flow」はやはり便利です。

今回のその機能の中にはPrompt Flowは組み込まれていないのですが、やはり検証する時に実際にそのロジックの中にコードを変えたりしてデプロイするまでの手間を省いて検証できるというか。

GUIベースでできるとか、確かエンドポイントの機能もあったと思っていて、それの評価環境などでAPIをサクッとデプロイすることができるので、そこはかなり活用させてもらっている感じですかね。手段としてはそれがかなり便利だったという話と、どうやったらそれが早くなるのかなと考えるところは確かにいろいろと悩みました。

ですが、普通に自分がエンジニアとしてどう考えているのかを振り返ると、自分たちは意外と答えがすんなり出たかなという感じですね。

佐藤：なるほどです。ありがとうございます。Prompt FlowってSmartHRさんやメルカリさんは使っていますか？　芹澤さんはどうですか？

芹澤：どうなんですかね。このタイミングで免責事項を言わせていただくと、私だけCEOで、もうだいぶコードの匂いが抜けてしまっているんですけど（笑）。金岡さん、使っています？　（会場の金岡さんに確認）使っていないそうです。

石川：そうですね。僕らはテストでも使っていますね。実際にプロダクションの出したもので使っている部分としては、自分たちでテスト環境みたいなものを作って、そこでテストをしたりしています。それに至るもっと手前のフェーズでいろいろと触って検証するというのは確かにけっこうやりやすかったなと思っています。

佐藤：ありがとうございます。Prompt Flowがある前って、それこそけっこうExcelとかで泥臭く検証しなきゃいけなかったなと思っているので、すごく助かるというところで、ちょっと使っていけたらなと思っています。

UI以外の部分でLLMをどう活用できるのか？

佐藤：ちょっと時間も押してきたので2個目の質問に入りますね。

「UI以外のところでどうLLMを活用できるか？」というところで、メルカリさんとかはSEOのところなど、わりとUI以外のダイレクトじゃないところで使っていたりしていると思うんですが、それこそSmartHRさんやプレイドさんは直接要約したり、コード生成をしたりというところで使い方としてはダイレクトだと思うんです。

そういうUI以外のところでどう活用できるかという点で考えがあったら、ちょっとお聞きできればなと思います。じゃあ、竹村さんからいいですか？

竹村：ちょっと時間が欲しいなと思っちゃったんですけど（笑）。大丈夫です！　そうですね。先ほど話した部分と重なりますが、私たちはKARTEというプロダクトの中でカスタマーの行動データをけっこうきめ細やかに持っていて、それとLLMをうまく組み合わせれば、きっとエンドユーザーの体験が良くなるというのは、感覚としては持っているので、最終的にその部分に使っていきたいというのはありますね。

コードのデータがJSONみたいなかたちでデータベースに溜まっていっているのですが、それをちょっとLLMで解釈させて、解釈させたデータを活用してアクションにつなげるとか。アクションにつなげるだけじゃなくて今はKARTEの中にダッシュボード機能みたいなものがあるので、そのダッシュボードでKARTEのユーザーにLLMやGPTをかませたりしたデータをかませて、「これはこういった意味があるんじゃないですか？」という示唆を与えることもできるんじゃないかなと考えています。

佐藤：ありがとうございます。初めのほうは、データの整形みたいなところで言うとJSONはけっこうデータクレンジング的な感じなんですかね？

竹村：データクレンジングもありますが、データ解釈ですかね。

佐藤：なるほど。ありがとうございます。芹澤さんはどうですか？

芹澤：そうですね。何を持ってUI以外というのが非常に難しいなと、この質問を見て思うんですけど（笑）。でも僕たちも基本的に考えていることは2つで、目的とはせず手段としてプロダクトに組み込んでユーザーに価値を提供するというところまでどういうふうに運ぶかというのが、まず1つ。

2つ目がみなさんも考えていると思いますが、いかに自分たちの業務を効率化するかというところ。例えば先ほど金岡さんもちょっと言っていたとおり、セキュリティチェックシートの回答をLLMである程度サジェストして、ベースを作るみたいなところは、僕もハッカソンの発表を聞く中でメチャクチャ良いじゃんと思っていました。

プロダクト化するというよりは、自分たちでそういうのをどんどん使って作業を効率化していくといいんじゃないかなというのは非常に思ったところで、チャットみたいなインターフェイスに囚われ過ぎず、いろいろな場面で自然とLLMの技術をインプットとアウトプットの両方で使っていけるようになってくるのが、やはり理想なのかなとは思っていますかね。

佐藤：ありがとうございます。最後に石川さん、なにかお考えはございますか？

石川：僕らは逆に言うと、まだ（LLMを）そのまま使っていなくて、けっこう裏側の仕組みとして使っていて、チャット的に使うやり方は意外と難しいなとも思っています。

これはどの観点かで言うと、お客さまに自由入力をさせると、挙動をコントロールするのもけっこう難しいですし、あとはそのコスト面に関してもけっこうコントロールがしにくいというのもあって、たぶん私たちのサービスでそのまま出しちゃうとけっこうとんでもない金額になってしまうというのもあって。チャットインターフェイスで出すとしても、そのあたりの工夫をした上で、本当にチャットが必要なシーンにおいて使うというかたちになるのかなと思っています。

コスト面と安定性、挙動に関しても本当にまだ発展途上かなと思っているので、そこのクオリティも含めて睨みながらプロダクトを作っているというのが、今僕らがやっている現状かなと思っています。

佐藤：ありがとうございます。ちょっと難しい質問で申し訳なかったです。

（次回へつづく）