たった数行のループ処理に、数時間から1日がかり…　「思ってたのと違う」データ加工がラクになる、生成AI活用術

生成AI時代の「データ活用」とは

朝井祐貴氏：エクサウィザーズの朝井と申します。私は朝井のくせに名前負けしている感じなんですけど、朝が弱いんです（笑）。ただ、みなさまがお忙しいなか500名ほど集まっておられるので、がんばって説明していきたいなと思っております。

私ごとで恐縮なんですが、このあと午後から健康診断があります（笑）。アラフォーで今日がんばってプレゼンするんですけど、ただ拙いところもあるかと思います。

午後に健康診断が控えているので、血圧が上がりそうなコメントは今日は控えていただいて……（笑）。後日、事務局宛にいただければなと思っている次第です。すいません、前置き長くなりまして失礼しました。

ということで私から「生成AI時代の『データ活用』とは」というテーマでお話しいたします。今日の話の流れなんですが、ほぼ個人的な経験談が7〜8割です。

弊社のサービスに「exaBase 生成AI」というプロダクトがありまして、生成AIをセキュアな環境で使えるプロダクトになっています。こちらを用いて、私がデータ分析で培った経験談をお話しさせていただきます。

最後にその流れの中で、今後データを活用するビジネスの中で「データ分析のどういったところが重要になってくるのか」に触れていきたいと思います。なにかしらお役に立てればなと思っています。

スライド下のところで、データ分析人材のあり方などを話します。今日もいろいろな方がいらっしゃると思いますので、ビジネスをどう広げていくか、スキルをどうするかを考えていただく一助になればいいかなと思います。

データ分析のプロセスを整理

今日はこの時点で「お前は誰だ」みたいな感じになってしまって恐縮なんですけども（笑）、私の簡単な経歴紹介です。人材ビジネスの領域は長いんですが、ほぼほぼデータには携わっているというかたちになります。

今日はプロダクトの紹介もさせていただけるとのことでした。経産省が出しているDSSに準拠したプロダクトの開発を今やっています。私はデータサイエンティストなのかと思ってらっしゃる方もいるかもしれませんが、半分というか2割ぐらいという回答になります。

データサイエンティストのようなかたちでずっとデータを触っているよりは、今はプロダクトの事業開発など、プロダクトをより良くしていく上で、データ分析が必須の役割になっています。

だいたい1〜2割ぐらいがデータ分析と関わっている感じなんですが、DSSに準拠したアセスメントサービス、DX人材のスキルを測るアセスメントサービスを開発していまして、これはテストのようなものなので、分析の軸が3つぐらいにわりと絞られます。

まずは問題単位で、良い問題なのかどうなのかという話ですね。その次はもう少し大きい概念になりまして、一つひとつの問題ではなくてテスト自体です。英語だったら英語のテスト自体として課題を分析して、その英語のテストをよりブラッシュアップするためにはどうしていけばいいのか、というかたちでデータを使います。

あとは最終的に、たとえば英・国・数・理・社がそれぞれ何点みたいなテスト結果が全部揃うので、属性情報を加えて分析したり、テスト結果が良いとその後どうなっていくのかなどの指標と分析をします。という具合に、だいたい3つぐらいのかたちになります。

データ分析に関わってこられなかった方もおられると思うので、今日はいったんプロセスを整理させていただきます。まず最初に「何のために分析をするか」「分析で何を実現したいか」といった課題設定をして、その課題を解決するためのデータ入手をします。

そのままでは分析できないので加工して、分析をします。そして、この分析結果が良いのか、業務改善に使えそうなのか、付加価値出せそうなのかという評価をして、良さそうだったら分析結果を活用してアクションする、改善活動する流れになります。

データ分析のプロセスは料理に似ている

たぶん（データ分析に）馴染みのない方もいらっしゃるかと思いますので、このアナロジーで何が近いのかを考えてみた時に、「料理」とけっこう似ているなと気づきました。

自分の家でホームパーティーをすると考えると、「何を作ろうかな」「誰向けにどういう料理をしたらいいのか」ということが出てくると思います。友だちや上司が来るなどの条件で、たぶん出す料理が違うと思います。そういったメニューを考えることが、まさに課題設定みたいな感じですね。

私は関西人なので、たこ焼きぐらいだったらなんとかがんばって作れます（笑）。食材を買いに行って、切ったり加工をして、そのあと焼くという調理をします。味見して良かったら「じゃあ、来週がんばって振る舞おうかな」みたいなかたちで提供していきますよね。まさにこういうのがデータ分析のプロセスです。

2つお詫びなんですが、このアナロジーは私が考えたんじゃなくて、まさに生成AIに考えてもらいました（笑）。頭の良い方はアナロジーが非常に上手じゃないですか。私はアナロジーを考えるのが苦手なので、それを生成AIにやってもらいました。

「今度こういうセミナーやるんで、何かアナロジーで考えてくれないか」と言ったら「料理がいいですね」と言ってくれたので、そのまま丸パクりしたみたいな（笑）。丸パクりではないですけど、書いて作った感じですね。

もう1つは、ご飯前の時間にたこ焼きの話をしてしまって、大変申し訳ないです（笑）。TPOをプロンプトにするのを忘れてしまいました、というのが私の反省点です。

ただ私も午後から健康診断で朝に何も食べてないので、実は自分が一番つらいと気づきました。なんでしょう、自爆飯テロみたいな感じになってしまいました（笑）。

データ加工の難しさを痛感した

このプロセスの中で今回、私の恥ずかしい話なんですが……データサイエンティストはたぶんみなさん悩みがあると思うんですけども、プロセスが楽しければ「分析サイコー！」という感じでみなさん、心地よく働かれていると思います。

私の場合、このデータ加工がものすごく苦手です。ほかは業務上やっているように、やはり課題に一番近いところで、自分が一番知っているところがあります。そこは非常に得意だったり、改善行動もすぐ現場でできるので、かなり得意なところです。

データ分析や解釈に関しては、先ほどのテストの世界だと、分析軸がわりとメニューが少ないと言いますか……。たこ焼き粉だったら、たこ焼きか明石焼きを作るぐらいしか違いがない感じで、テストは分析メニューがあまりないんですね。覚えることを覚えたらすぐできるので、苦手意識はそんなにないんですけど。

このデータ加工のところだけは非常に苦手で、まずすぐ分析できるデータじゃないんですよね。たこ焼き粉があれば、たこ焼きはすぐ焼けるんですけど、小麦を渡されて「これをどうしたらいいんだ」みたいな（笑）。そういった状態でデータがあるので、すぐできませんよね。

また、加工をしないといけないんだけど、その加工技術がない感じです。数百行、数千行だったらExcelでできるんですけど、数万行や数十万行になるとExcelだとぜんぜん回りません。

RやPythonを使って加工しないといけないので、急に業態が変わる感じになって、（料理をするだけだったのに）食材加工業を専門にやらないといけなくなったイメージです。非常につらい状況にあります。

分析しやすさよりも、データの保存しやすさが優先されている

その具体例なんですが、例えばテストの世界だと、テスト結果の分析をすることがあります。個人的にはデータベースに貯まっているテスト結果でも、人別や5教科別にデータが欲しいことがあるんですよね。

いろいろな属性データと比べて分析したい時に、どういうデータをみなさんExcelで想像されますでしょうか。Excelやスプレッドシートでもなんでもいいんですけど。

みなさんが想像しているデータは、まず来ないんですね。みなさんが想像されるようなデータはスライド右側の感じなんです。人別に英・国・数・理・社のデータが入っている感じです。

データは、データサイエンティストが分析しやすいように貯まっているのではなくて、データベースに保存しやすいように貯まっている特性があります。実際に入手できるのが、左のようなデータだったりするんですよね。

1万人分のデータが欲しかったら、Excelなどに500万行ぐらいあって、ユーザーIDも同じものがずっと羅列してて、得点のデータはどこにもない。これがどういう構造になっているのかをずっと眺めて、どうやって自分が欲しかったデータに加工すればよいかをいろいろ考えるのが、真ん中の図になってくるみたいな感じですね。

データ加工は、ミイラ取りがミイラになる“苦行”

なんとなくこのデータはENGが英語でSOCが社会みたいな感じなので、テスト結果じゃなくて「1問1問の回答データかな？」。0と1になっているのは「1が正解で、0が間違っているかな」という感じなので、これを人ごと・教科別に合計していかないといけません。

これは「ループ処理が必要なのかな？」。それでループ処理をするためにまず何をするかというと、勉強をするんですね。『R入門』みたいな書籍がたくさんあるので、それをまず見て、左側のプロセスのように一直線に進むような感じで最初は考えるんです。勉強して、コードを書いて、実行して「はい、おしまい」という感じで、楽観的に考えるんですけど。