
2025.02.12
職員一人あたり52時間の残業削減に成功 kintone導入がもたらした富士吉田市の自治体DX“変革”ハウツー
機械学習エンジニアから見るプロダクト開発におけるLLM(全1記事)
リンクをコピー
記事をブックマーク
松村優也氏:それでは、LayerXの松村優也が「機械学習エンジニアから見るプロダクト開発におけるLLM」を副題として、「機械学習の民主化とMLPdMの重要性」というタイトルで10分お話しします。お願いします。
簡単な自己紹介ですが、あらためて、松村です。(スライドの)右上の黒いアイコンでよくSNSをやっています。「Twitter」などのIDはご覧のとおりです。
バックグラウンド的には、もともと京都大学で情報検索とか情報推薦とか、その裏の機械学習とかの研究をしていました。
今は、LayerXの機械学習チームのマネージャーをやっていたり、前職のウォンテッドリーのML領域の技術顧問をやっていたり、最近は、「NewsPicks」でAI領域のプロピッカーをやっていたりなど、いろいろとやっている人間です。
はじめに、LTっぽいことをやりますが、みなさんは「ChatGPT」でもなんでもいいのですが、生成AIを活用していますか? というところで、僕はなんの反応も見られないからアレですが、みなさんが手を挙げているという前提です。
周りやTwitterを見たら、本当にみんなChatGPTを使ったりほかのLLMを触ったりしている感じです。
PwCの統計でアンケートがあって、サンプル数は1,000ちょっとですが、(スライドを示して)こういう結果でした。そもそも、54パーセントぐらいは生成AIのことを知りませんよ、とか、使ったことがある人で10パーセント、業務で活用している人が3パーセントみたいな。実は意外と、生成AIの普及はこれからみたいですね。という結果がありました。
バイアスってすごいなと思うんですが、とはいえ、今回イベントに参加している人たちの間や、いわゆるITやプロダクト作り界隈では普及しているんだろうなと思っています。
今日はその上でお話をしていきます。そんな感じで普及している大規模言語モデルですが、その普及によってどういうことが起こっているんだっけというところで、自分は、「AIや機械学習の民主化」が行われているんじゃないかと考えています。
「民主化って何やねん?」みたいなところでいうと、誰でも容易に高性能な機械学習モデルを活用できるようになったんじゃないかと考えています。
具体的に言うと、なんでもいいのですが、ChatGPTなどを利用することで、機械学習の知識や実装なしで、誰でも文書の要約、情報抽出、あるいは質問応答など、代表的な自然言語処理のタスクを解くことができるようになりました、みたいなことがあると思います。
あるいは、OpenAIのAPIなどを使うことで、機械学習の知識もそんなに要らず、簡単な知識と実装のみで、先ほど言ったような自然言語処理を活用した機能開発が行えるようになっているんじゃないかと思います。
先ほども登場した文書の要約や情報抽出のタスク、機能を簡単に作るなど、本当にいろいろと出てきています。いわゆるChatGPTで、チャットボットを作ってあげるみたいな話とか。
あるいは、APIを使って、文書の埋め込み表現、ベクトルを獲得してあげて、簡単な文書の検索システムを作るとか、こういうことが本当に広く行われているんじゃないかと思っています。
注釈をスライドに書いていますが、ここの実装というのは、いわゆるプログラミングを指しています。プロンプトエンジニアリングは別途必要な話だとは思っていますが、いったん置いておきます。
実際こういうAI・機械学習の民主化は行われていると思っていて、当社LayerXでもいろいろとやっています。当社は「バクラク」というプロダクトを提供していて、その中には請求書や帳票を読み取るAI-OCR機能や、そこへ組み込んでみるPoCとか、あるいは、社内のいろいろな稟議申請を行うプロダクトもあるのですが、そこの効率化をいくつか実験しています。
実は、このあたりは機械学習エンジニアがやっているわけではなく、いわゆる普通のWebエンジニアがやっています。
あるいは、(スライドを示して)これは社内の業務効率化みたいなところでやったものですが、営業の記録、音声ファイルを基に文字起こしをして、しゃべっている人を分離して、文書要約するみたいな、そのあたりを自動的にやってくれる社内用のサービスを作って、商談の後処理を効率化しています。
ここの一部の開発には機械学習エンジニアが入っていますが、いわゆる機械学習独特の知識はあまり使わずに、APIを叩いて、Whisperとか叩いてやっている感じです。
ちょっと大きな動きだと、実は「LayerX LLM Labs」というものを立てています。大規模言語モデルの専任チームがあって、実はここには機械学習エンジニアはいないのですが、LLMの活用等々を模索したり、情報収集したり、PoCしている組織があります。
いろいろ紹介しましたが、ここまでの話には実はそんなに機械学習エンジニアは関わっていません。となると、世の中の人が好きな話が「機械学習エンジニアの仕事、なくなるんじゃね?」。こういう話はよくされると思っています。
「これ、どうやねん?」という話でいうと、残念ながらまだ我々機械学習エンジニアの仕事はなくならないんじゃないかと思っています。
大規模言語モデルによってAI・機械学習の民主化が起きていると言っていますが、そもそもMLモデルの作成だけが機械学習エンジニアの仕事じゃないよねという話が、大前提にあると思っています。
MLモデルあるいは大規模言語モデルは、あくまで道具です。いい道具さえあったらいいものが作れるかというと、そうじゃないということは、みなさんご存じのとおりだと思います。(スライドを示して)右のよくある例のアレですね。
最近、「ChatGPTを使っていろいろなサービスを作りました」「新しい機能をリリースしました」みたいな話があると思いますが、その中で真にユーザーの課題を解決しているもの、継続的に使われるものがどれだけあるかというと、一定そうじゃない部分もあるんじゃないかと思っています。
使われないものを作るだけだったらいいですが、大きくユーザー体験を損ねかねないようなものや、ちょっとevilなんじゃないかみたいな使われ方をしているものや、あるいは、取り返しのつかない事故になってしまうケースもあると思っています。
そもそも個別のドメインやタスクにおいて実用的なモデルを作成するには、まだ追加で学習させることが必要だと思っていて、このあたりで機械学習エンジニアの仕事はまだ残っていると思います。
使えないものも増えているよねという話をしましたが、とはいえ、やはり手を動かしている人は偉いと思っています。実際にものを作って、使ってもらわないとわからないことがたくさんあるということは、ご存じのとおりだと思います。
大規模言語モデルという道具は、間違いなく有用なものであると思いますが、それをどう使っていけばいいのかというところは、実際に使ってみて検証することが重要だと思っているし、それを実際に世に出すこと、リリースすることで、事例を世の中に共有すること自体は、大変意義のあることだと思っています。
(スライドを示して)これはそうですね。「手を動かし続けることは重要だよ」みたいな。自分が先月出した「note」と、食べログのブログです。食べログさんのChatGPTプラグイン開発の取り組みの裏側がめちゃくちゃいいなと思ったので、ちょっとここで共有しています。
「じゃあ、どうすればいいねん?」みたいなところでいったら、大規模言語モデルを活用してプロダクトを作る際に留意すべき点と書いていますが、ただモデルがあればいいわけじゃなくて、(大規模言語モデルは)道具なので、それを使ってプロダクトを作るためには、一般的なプロダクトマネジメントの観点に加えて、大規模言語モデル、MLモデル特有の観点が必要だと思っています。
ここは、わーっと書いていますが、今回は、この詳細を話すことがメインではないので、ざっと流します。ここだけで、たぶん20分ぐらいしゃべれるので、この話を聞きたかったら違うところで登壇させてください。
例えば、意図せぬ出力を考慮した設計は重要だよねという話があります。大前提として、MLを使ったシステムは間違うんですよね。精度100パーじゃないよね、みたいな話があると思っています。
あるいは、ChatGPTだったら嘘をつくと言われているので、その上でどうするか考える必要があったり、意図せぬ入力、いわゆるプロンプトインジェクションみたいなことが起きたり、モデルが変わると入力が同じでも出力が変わっちゃう可能性があるよねとか。
今までにないようなパラダイムで、これらを想定した仕組みや体験の設計、あるいは使いどころの見極めをする必要があると思います。
あるいは、性能評価ですね。モデルの出力による性能がどういう指標でどういう評価をするのかみたいなところが重要だと思っています。かつ、それをOKRやKPIなどの目標値と紐付けることが重要です。
具体例を出すと、分類問題だったら、適合率と再現率。誤検知しないとか、見逃さないという指標があるのですが、このあたりトレードオフだったりするんですよね。
なので、そのサービスの特性とかを考慮しつつ適合率と再現率のどっちの指標を重視するかとか、あるいは特定のユーザーセグメントによって偏りがないかとか、公平性を守っているんだっけとか、いろいろな指標があると思います。
あるいは、その性能評価のためのデータをどうやって集めるんだっけ、みたいな観点とか、使うデータにおけるプライバシーに関する点とか、倫理的な観点できちんと配慮できるか、規制できるかみたいなところ。このあたりもすごく重要になってくると思います。
これまでももちろん、プロダクトマネジメントの観点が一部入ったものがあるかもしれませんが、MLモデル、大規模言語モデル特有の観点が、今後これらを使ったプロダクトを作る際には重要なんじゃないかと思っています。
そういうのを、Machine Learning Product Management、MLPdMと呼びます。日本ではまだあまり普及していない気がします。機械学習を活用するプロダクトを作るために必要な能力、あるいは職種をMLPdMと呼ぶと思っていて、一般的なプロダクトマネジメントの観点にML、機械学習特有な観点を加えたものをこう呼ぶと思っています。
これは逆説的でおもしろいのですが、最も必要な能力は、「MLを使う必要のない状況で使わない意思決定ができる能力」と言われたりしますが、こういった能力が、AI・機械学習の民主化に伴って今後ますます注目されるんじゃないかと思っています。
(スライドを示して)このあたりは、自分が参考になると思った資料を貼っています。
そろそろ10分ですね。まとめです。最後に、大規模言語モデルを活用して新しい顧客体験を届けるに当たってというところで、2つのメッセージを出しています。
大規模言語モデルの普及によって、AI・機械学習モデルの民主化が行われています。つまり誰でも容易に高性能な機械学習モデルを活用できるようになって、よりきちんとした顧客価値・顧客体験にしていくに当たり、MLPdM、機械学習を活用するプロダクトを作るのに必要な能力・職種の重要性が高まっていくんじゃないかと(思っています)。
だから、仕事はまだまだなくならなさそうだなと、機械学習エンジニアとしての自分は見ているというLTでした。発表は以上です、ありがとうございました。
2025.02.06
すかいらーく創業者が、社長を辞めて75歳で再起業したわけ “あえて長居させるコーヒー店”の経営に込めるこだわり
PR | 2025.02.07
プロジェクトマネージャーは「無理ゲーを攻略するプレイヤー」 仕事を任せられない管理職のためのマネジメントの秘訣
2025.02.06
落合陽一氏や松尾豊氏の研究は社会に届いているか? ひろゆき氏が語るアカデミアの課題と展望
2025.02.05
「納得しないと動けない部下」を変える3つのステップとは マネージャーの悩みを解消する会話のテクニック
2025.01.07
1月から始めたい「日記」を書く習慣 ビジネスパーソンにおすすめな3つの理由
2025.02.10
A4用紙を持ち歩いて殴り書きでアウトプット コクヨのワークスタイルコンサルタントが語る、2種類のメモ術
2025.02.05
エンジニアとして成功するための秘訣とは? ひろゆき氏が語る、自由な働き方を叶えるアプリ開発とキャリア戦略
2025.02.04
日本企業にありがちな「生産性の低さ」の原因 メーカーの「ちょっとした改善」で勝負が決まる仕組みの落とし穴
2025.02.03
「昔は富豪的プログラミングなんてできなかった」 21歳で「2ちゃんねる」を生んだひろゆき氏が語る開発の裏側
PR | 2025.02.04
能登半島地震で自宅は全壊、「これでどうやってDXするねん」 被災したサイボウズ社員と支援者らが語る災害支援のノウハウ
新人の報連相スキルはマネージメントで引きあげろ!~管理職の「他責思考」を排除~
2025.01.29 - 2025.01.29
【手放すTALK LIVE#45】人と組織のポテンシャルが継承されるソース原理 ~人と組織のポテンシャルが花開く「ソース原理」とは~
2024.12.09 - 2024.12.09
『これで採用はうまくいく』著者が語る、今こそ採用担当に届けたい「口説く」力のすべて
2024.11.29 - 2024.11.29
【著者来館】『成果を上げるプレイングマネジャーは「これ」をやらない』出版記念イベント!
2025.01.10 - 2025.01.10
片付けパパ対談【特別編】 整理術×行動術×メモ術で、仕事も人生も自在にデザイン!
2024.12.16 - 2024.12.16