LLM実装をした結果、コスパはどうだったか？
佐藤龍太氏（以下、佐藤）：Sli.doを覗いてみて、これですね。上から聞いていきたいなと思うんですが、「取り組んだ結果としてのコスパ」ですね。これをどのように感じていますか？ というところで、LTでもお話があったかとは思うんですけれども。石川さんからお願いできますか？
石川佑樹氏（以下、石川）：そうですね。発表させていただいたとおり、SEOのところとかは一部簡易的な試作では結果がプラスに出ています。ただ、私たちとしては何というのかな。10X（10倍規模）に結果が出ることに期待をしているので、そこに至る施策というのはまだこれから。本当にまだまだこれからかなと思っています。
先ほどとちょっと被りますが、その際にやはりコスト計算は一定できるので、そのコスト計算をした上で、うまく実際のビジネスが伸びうるところに適切に使っていくということと、OpenAIさん、マイクロソフトさんにめちゃくちゃお世話になっているので、引き続きそこをお世話になりつつ、けっこういろいろな選択肢をやはり……。若干言いにくい部分もありますけど（笑）。いろいろな（LLMモデルの）選択肢が本当に出てきているので、そこはけっこうやはり追って見ないといけないなとは思っています。
大味にやるとけっこう大味にできちゃうんですが、やはりここのビジネス的なトンマナを合わせていくためには、かなり細かいところのチューニングまで含めてやった上でようやく大きな成果が出るのかなと思っていて、ちょうどそういったチューニングなどがやれる部隊がけっこう整ってきたなと思っているので、そのあたりを含めてこれから大きく合わせにいく感じかなと思っています。
佐藤：ありがとうございます。じゃあ次に竹村さんはどうですか？
竹村尚彦氏（以下、竹村）：パフォーマンスですよね？ まだ私たちはプロダクション利用はしていないのですが、今の感覚で言うと、けっこういいんじゃないかなと思っていて。先ほどのセッションでもお話ししたとおり、私たちのプロダクトってコードが書ければめちゃくちゃ広がっていくものになっているんですよ。
ただし、ユーザーメインがマーケターだったのでけっこうそこに溝があって、その溝を解く手段が、LLMやGPTが出てくる前って、あまり思い付かなかったんですよね。人で解決するか、めちゃくちゃたくさんAIエンジニアを雇ってがんばるかしかなくて、逆にそれはコスパ悪いというか難しいなと思っていたんですが、GPT-4が出てきたことによって簡易的なコードであれば、けっこう実用的なレベルで作れてしまいます。
今回お話しした機能って、実はAIエンジニアなしで実装していて、実はそんなに（コストが）かかっていなかったりするんですよ。今のところはすごくコストパフォーマンスは良いという実感があって、あとはこれをプロダクションリリースしてみて、実際にユーザーの声を聞きつつかなと思っています。
佐藤：ありがとうございます。なんかすごいですよね。コード生成を顧客にやらせるってけっこうすごいことだなと思っていて。
竹村：（笑）。まぁ、当たるかどうかはちょっとわからないですが、これもね、Go Boldに行って改善していけばいいのかなと思っています（笑）。
佐藤：いいですね。ありがとうございます。最後に、芹澤さん。
芹澤：僕たちもコスパというか、投資対効果みたいなところで言うと、まだ効果を測定するところまでは行っていないなという感じです。ベータ版という建付けで出しているのもあります。投資という観点だとスライドの中にもありましたが、僕たちはお恥ずかしいことにそもそもAIエンジニアにあまり投資をしてこなかった会社でして、やはりLLMの登場によってその第一歩を踏み出すというところのコストやハードルが非常に下がったんじゃないかなと思っています。
専門のスキルを有したエンジニア陣をどんどん雇っていくまでもなく、全社的にハッカソンをしてみんながサクッと試して、それなりのアウトプットを出せるぐらいまでAPIも充実していますし、やはりそういうのはLLM登場のおかげかなと思っていて、投資という観点では非常にコストパフォーマンス良くできる環境になってきているんじゃないのかなと思っています。
石川：ちょっと付け足しで、コスパがけっこう合いやすいなというところで言うと、触れられていたかもしれませんが、人のコストリダクション的な。言い方はあれですけど、できる方を増やすという部分に振ると、基本マイナスはないなとちょっと実感していて、先ほどの生成AIで作ったクリエイティブのところは、散々ああいうクリエイティブを作ってきたクリエイティブデザイナーの方にやってもらって、今はもう完全に習得して自分で作れるようになったんですね。
今度はそこに依頼が殺到していて1人では受けきれないみたいな。結局生成AIを使っても仕事が余計に増えているという状況です。ちょっと踏ん張って、そこで作ってしまわずに逆に「使えるようになりたい人はいますか？」と問いかけて、そこで手を挙げた人にその技を伝授して作れる人を増やしているところで、分散化をしています。これはけっこう堅い使い方なのかなと（思います）。
プロダクト施策ではないですが、生成AIを使える人を増やすことには、けっこう投資としてはわりとシュアなものなのかなと思っています。
佐藤：ありがとうございます。たぶんチャットUIとかを用意されていたと思いますが、先ほどのLTの発表の中で「ああいうのを使って」と言っても、なかなかやはり使わないじゃないですか。それでたぶん勉強会とかをして、どんどん巻き込んでいくみたいな感じだったと思うんですけど、コツと言いますか。どういうふうに使わせるのか、どんな感じで進めてきたのかなとちょっと気になっているんですけど（笑）。
石川：ちょっと僕らも悩んでいる部分があります。全般的にみなさん使ってもらいたいと思っているし、それが僕ら生成AIチームの一部のミッションではあるんですけど、そこはぶっちゃけまだ悩んでいます。
成功しているところは、「やる気ありますか？」と聞いた時にふだんの業務に加えてそういうことをさらにプロアクティブにやりたいという気概がある方に対しては非常にワークしているなと。
そういった方を巻き込んでいって徐々に増やしていきながら横展開していくみたいなのが、一番地道だけど早いのかなとは思いつつ、全体向けに定期的にちょっとやろうかなと思っているのは、ちょっとした講座みたいなものをまとめて、みなさん忙しいのでまずはリーダー向けにちょっと「最近の（生成AI）はこういうことができますよ」ということを発表していこうかなとは思ったりしています。
佐藤：ありがとうございます。
AIによって組織構造はどのように変わってくるか
佐藤：ちょっと付随していろいろ聞きたいんですが、時間もあと10分ないので次の質問にいきます。「AIを踏まえた上での組織構造はどう変わってくるかが気になりました」。これはエンジニアとかの話ですかね。いろいろな観点がありそうな気がするのですが、どうですかね。どなたか軽く。
竹村：じゃあ、話します。今までAIってスペシャリティが必要だったのかなと自分は思っていて、AIチームを組成してAIエンジニアを雇って、その人たちがR&Dみたいなことをして、結果が出たものをプロダクション利用するみたいな構造で、けっこうハードルが高かったというか。GPT-4が出たことによって、それがなくてもそのAIの恩恵をプロダクトに組み込みやすくなったと自分は認識しています。
その結果、AIエンジニアもそうですが、各プロダクトチームの中にGPTを触りたいというエンジニアが溶け込んでいく構造に今後はなっていく気がしているという感じですね。実際に私たちのチームの場合も、こういった開発をする時にスペシャリティがある人が助言をしてくれるんですが、エンジニアが自分で触ってやっていこう。「あ、この機能は組み込めるな！」みたいなことが実際いろいろなところで起きているので、そんなかたちに1つはなっていくんじゃないかなと思ったりもしています。
佐藤：そうですよね。石川さんは特に、今はそういう組織構造なのかなと。ファンクションチームの方がいて、LLMのチームがあって、Enablingするみたいなところだとは思いますが、ご意見はありますか？
石川：そうですね。今おっしゃっていたところとかは、できる方をなるべく増やしていくという構造を試みています。たぶん時間をかければできるかなという感触はありますが、それだとAIドリブンとか言って専任チームを作っているわりにはちょっと足りないなと思っています。次にちょっと試したいなと思っていることがあって、まずは自分たちのチームでやろうとしているんですが、完全にそのAIの方を1人の社員として考えて、いろいろなものを依頼をする代替にできるのか。
それができれば他のところに横展開させていくみたいな。オーガニゼーションの方針のところで掲げましたが、AIを前提とした組織構造とか、そういうかたちに後々はなっていくはずと思っていて、自分たちのチームにとっては実際にどういうことなのかを試したいなと思って、ちょうど本四半期、年内にちょっと試してみようかなと思っています。
佐藤：今後のお話を楽しみにしています（笑）。SmartHRさんはいかがですか？
芹澤：僕も同じような意見で、組織構造の変化ですよね。AIだ、LLMだ、みたいなところで、新しくEnablingチームが生まれるとか、そういう新しくなにかポジションができるというのはすぐに起こっていくかなと思うんですけど。それによって特定のポジションがディスラプトされるというのはまだけっこう先なんじゃないかなと、なんとなく思っています。
というのも今はやはり効率化みたいなところがメインかなと思うんですけど。手でやっていたのがそういう生成AIで簡略化されていくみたいなものがほとんどかなと思うんです。
資本主義社会だと、先ほど石川さんもおっしゃっていましたが、効率化されればその分仕事が増えるというのが本質的なものなので。効率化によってもしかしたら人数を減らすみたいな意思決定もできるかもしれませんが、基本的にはより多くのタスクを処理していこうよという流れになるのが、まだしばらく続くんじゃないかなと思っています。
本当にAIが仕事を完結させる未来を僕も楽しみにはしているものの、まだまだハードルがあるんじゃないのかなというのは、なんとなく思っています。
佐藤：ありがとうございます。
トークン、割り当ての制限によって生まれた課題とは？
佐藤：じゃあラストかな？ これ（「いいね」が）3（個ある質問）が3つあるんですけど、1人1つずつでいきましょうか。でもこれは長すぎて内容がわからない。「エンジニアだけじゃなくて他の組織に響かせるには」というところと、「BtoCとBtoBでのエンドユーザーモチベーションの違い」というところですね。あ、上がってきた（笑）。じゃあ、これでいきましょう！
「制限が厳しめである」。「制限を回避するための……」あぁ、「制限によって起きた課題」は、トークンのことですかね？ それとも割り当てですかね？
石川：どちらもありそうですね。
佐藤：じゃあこのあたりの課題について、ちょっとお答えいただける方。最後の質問になるので。
竹村：自分が登壇した内容とほぼ一緒になるかもしれませんが、GPT-4をけっこう本格的にプロダクション利用するとなると、やはり辛いですね。このリソース制限もそうですし、コストがね、やはり1,000トークン8円とかそんな感じですよね？ なのでこれがtoC向けに展開するのか、チャットサービスで展開するのか、toB向けに展開するのかでまた変わってくるかもしれないんです。
やはりけっこうキツイので、そこはまだコモディティ化しきる前のもので、ちょっとまだ嗜好品気味なのかなって自分は捉えていますね。めちゃくちゃ使うと、コストが跳ね上がる前に制限がかかってしまうみたいなことも一定あると思っていて、その結果機能が扱えないとかは普通にあるかなと思いますね。
解決方法は自分が話したのと被っちゃうんですが、ステップを切って本当にGPT-4に渡すべきところを選択して渡してあげるというところと、あとはマイクロソフトさんと仲良くなってリミットを裏側で上げてもらうみたいなことができれば僕はうれしいなと思っているんですけど、なかなかGPTは厳しいんですよね（笑）。以上です。
佐藤：ありがとうございます。同じ質問のほうがいいですかね？ じゃあ石川さんお願いできますか？
石川：でも、ほぼ一緒ですね。
（一同笑）
石川：そうですね。マイクロソフトさんと仲良くするというところ（笑）。ちょっと質問への回答ではありませんが、初めからケチってGPT-3.5をPoCで使いにいくというよりは、GPT-4で試してそのユースケースにきちんと合うのかを見た上で、実際のプロダクションはちょっとディスカウントしないといけませんが、PoCという観点ではGPT-4とかを、ちょっとコストがかかっても使ったほうが、結果としてはいいんじゃないかなと思っています。
佐藤：ですよね。レスポンスとかもやはり明らかに遅いじゃないですか。使いどころとかにもよるのかなと思いますね。芹澤さん、サマライズとかだとまだGPT-4とかのほうがいいんですかね？
芹澤：サマライズですか（笑）。今僕はレートリミットのことを言おうと思って頭がいっぱいでした（笑）。
（一同笑）
佐藤：レートリミットで大丈夫です。
芹澤：もう「それだけをこの場で言ってくれ」と言付けを預かっていますので。レートリミットにはやはり苦しめられているそうです。
佐藤：ということですね（笑）。はい、じゃあ時間になりましたので、本日のパネルディスカッションは以上となります。懇親会でそれぞれ登壇者の方にいろいろ質問できるかなと思います。僕もぜんぜん質問し足りないなと思うので、いろいろと質問させていただければなと思っています。本日はありがとうございました。
