Azure OpenAI ServiceやGPTなどに関するQ&A　「マイクロソフトから“監視していない証明”は出してもらえる？」「プロンプトエンジニアリングは重要視されるスキルとなる？」

データを国外に出してはいけない企業は推論用のサーバーは利用できないのか

司会者：残り短い時間ですが、質疑応答に移りたいと思います。その前に、事務側から「最初のほうの通信品質が悪かったり、アクセスできない方が何名かいた」と聞いています。大変申し訳ございませんでした。

また、「資料が欲しい」とか、「アーカイブ動画が見たい」といった質問を多くいただいています。こちらもなるべく早い段階で公開していこうと思っているので、今しばらくお待ちください。よろしくお願いいたします。

では、残り短い間ですが、質疑応答にいきたいと思います。最初の質問です。「Azure OpenAI ServiceでAPI提供をしている推論用のサーバーは日本国内にはないため、個人情報などが含まれているデータを国外に出してはいけない企業は利用できないという理解でよいでしょうか？」という質問が来ています。よろしくお願いいたします。

蒲生弘郷氏（以下、蒲生）：ご質問いただきありがとうございます。

こちら（のような内容）も質問としてけっこういただくケースが多いんですが、先ほどもお話ししたように、基本的にというか、Azure OpenAI ServiceのAPIは揮発性になっています。ログについても、明示的に保存をしなければプロンプトの内容も含めて保存されないようなかたちになります。

さらに個人情報を意識していきたいケース。「すぐに消していきたい」（という）ようなケースの場合には、オプトアウト申請などを通していけば、ログは残りません。そういったことを活用してもらいながら……。、もちろん法律を意識していく部分は出てくるかとは思いますが、Azureを使っていく上では、「データは保持されない」という選択も可能になっているので、そちらを利用してもらればと思います。

司会者：ありがとうございます。

「マイクロソフトが監視していないという証明」が出してもらえるのか

司会者：次の質問もたぶん答えづらいものかなと思うんですが。「データの30日間の保持について、オプトアウト申請をした後に、実際に記録されていないことの証左は提示してもらえるんでしょうか？　あるいは、どうしたらユーザーがこれを信用することができますか？」といったような、ちょっと回答が難しいかなという質問が来ているんですけれど、いかがでしょうか？

蒲生：監視していないという証明ですかね。そうなってきますと、「そもそもログを保持しない」というかたちになってくるので、やはりマイクロソフトを信用してもらうということしかできません。やはり弊社側の努力というかたちにはなってきてしまうかなというところになります。申し訳ございません。

司会者：ありがとうございます。これは難しいですよね。

プロンプトに毎回システムメッセージなどを打ち込まないといけないのか

司会者：次の質問に移りたいと思います。「ChatGPTは、文章情報のインプットが主だと思いますが、どの程度のメタデータ……。誰の発言か、いつ頃の情報かなどと併せて分析できるのでしょうか？　もしくは、すべての文章に情報を入れる必要があるのでしょうか？」といった質問です。

蒲生：ちょっと解釈が広くなるような部分ではありますが、誰が発言したのか、誰が使ったのかというところをAzure ADの認証をかけて使ってもらうようなかたちであれば、そのID情報をアプリケーション側でしっかりと保持しておくことによって、当然ながら誰が聞いたのかは記録していくことが可能です。

「すべての情報を入れなければならないのか」というお話は、「プロンプトに毎回システムメッセージとかを打ち込まないといけないのか」というお話かなとちょっと思ったんですが……。

司会者：そういうような推論ができますね。

蒲生：それについては「イエス」です。毎回システムメッセージを含んだ上で回答させるかたちにしないと、途中でいきなり訳がわからない振る舞いをし始めるみたいなかたちになってしまうので。

しかも、その毎回のやり取りにシステムプロンプトを入れるということは、その都度課金するというかたちになるので。すみません。売上の上ではネガティブな情報になってしまいますが、なるべく誠実にお答えすると、「毎回入れなければならない」というのが回答になります。

司会者：ありがとうございます。

根拠のリンクの回答はどうやって実現しているのか

司会者：次の質問は実は私も聞きたかったものです。「Bing Chatでは根拠のリンクが出ますが、どうやって実現しているんでしょうか？」といった質問が来ています。

蒲生：ありがとうございます。ここについては、そもそも私もBing側の開発に携わっているわけではないので、正確な情報はないものの、先ほど例に出てきたようなエンタープライズサーチとかになってくると、例えば「Cognitive Search」で検索クエリを投げた時にヒットしたドキュメントは候補が出てくるので、そのドキュメントの候補の中で関連度の高いものを引用元として出していくみたいなところは可能で、Bingのサーチも似たようなことをやってあげているのかなと。候補の高いものを引用元として出しているようなかたちのイメージになるのかなと思います。

ピンポイントで「どこの文章でどことマッチングするのか」というところは、もしかしたら生成された文章とリンクに書かれている内容の類似度を見てマッチングさせて、引用として出しているのかもしれませんが、詳しいことはわからないという回答になります。

司会者：ありがとうございます。

実際に社内や企業で使われている具体的な事例

司会者：残り時間が短くなってきたので、蒲生さまから「ぜひともこの質問には回答しておきたい」といったようなものをSlidoから選んで回答いただくのがよいかなと思うんですが、いかがでしょうか？

蒲生：少々お待ちください。全画面表示をするのがうまくいっていなくて。

司会者：では、蒲生さまが操作をされている間に（質問をいくつか）。「実際に社内とか企業で使われている具体的な事例を教えてほしい」といったような質問が来ています。

この質問についてはデータサイエンティスト協会として、ぜひとも今後のセミナーで何かにしたいとは考えています。必ずできるとは言いきれませんが検討していきたいので、お待ちいただければと思います。

また、もし視聴をされている方の中で「実際にGPTを使ってこんな事例がありますよ」という企業さまなどがいましたら、データサイエンティスト協会に一報をいただけたら、セミナーなどを企画したいと思います。よろしくお願いします。といったところで、蒲生さま。準備はできましたか？

蒲生：すみません、Slidoの画面共有が見えてはいるんですが、私のほうで操作はできない……。

司会者：ではもう少しこちらで挙げますね。

蒲生：すみません（笑）。必要なところについてはTwitter上で回答しますので。申し訳ございません。

プロンプトエンジニアリングは10年以上のスパンにおける重要なスキルとなるのか

司会者：あっ、これはおもしろいかな。

「プロンプトエンジニアリングは、LLMの進化の過程における一時的なものなのか、長期にわたって、例えば10年以上のスパンで重要なスキルとなるのか、どうお考えでしょうか？」といったような質問をいただいています。

蒲生：ありがとうございます。Prompt Engineeringについては、先ほどあったような、ユーザー側で意識するのか、それともシステム側で意識するのかというところで観点は違うかなと思います。システム側での意識というところは、やはりけっこう重要になってくるかなと思います。

逆にユーザー側というのは、もちろんGPTが登場したことによって、「自分の日本語ってちゃんとできてんのか？」みたいなところを意識するようにはなったと思うし、「重要な情報は打たなきゃ返ってこないかな」というところはなんとなく把握していて、その回答形式もテクニックとして出てくるとは思うんですけれど。

システム側でけっこう吸収されて、ユーザーがあまり意識しなくてもちゃんとできるようになっていくんじゃないかなとは個人的には思っているところです。

なので、初期だと例えばGoogle検索……。「（そこは）Bing検索って言えよ」という話ですが（笑）。Google検索においても最初のほうはテクニックがけっこう必要だったと思います。

（しかし）歴史を重ねていくにつれて、けっこう雑に投げたとしてもそれっぽい回答が返ってくるようなかたちにだんだんなってきたのと同じように、似たような経路をたどっていくんじゃないかなと私個人は思っています。

司会者：ありがとうございます。

蒲生氏が考えるPhase 4以降の未来

司会者：そろそろ時間なので、次を最後の質問にしたいと思います。

（スライドを示して）次の質問はタイトルにもある、ChatGPTによって描かれる未来みたいなところで、「最初の頃スライドで話してくださったPhase 4以降の未来とかについて、どうお考えか教えてください」といった質問をいただいています。これで最後に締めたいと思うので、蒲生さん、よろしくお願いします。

蒲生：未来というよりかは……。Phase 3に入ってくると、AIにどこまで権限を持たせるのか、もしくはAIプラス、プログラムにどこまで権限を持たせるのかというところがやはり重要なトピックになってくると私は思っています。

なぜならば、なんでもかんでも実行できるようにしてしまった時、例えば攻撃を受けたりAIに対する解釈が違ったりといった時に、もちろん確認してもらってからやるというコードもありますが、どこを任せてどこを人間がやるべきなのかの検討は必ず入ってくると思うんですね。

さらに、動的タスクというところは、先ほど（の話で出てきた）自律性。いわゆる「AIが勝手に動いていいよ」というPhase 4の段階になってきた時に、その危険性も含めてやはり社会で議論していくような未来が出てくるんじゃないかなと私は思いました。すみません。回答になっているかどうかはわかりません。

司会者：ありがとうございます。蒲生さま、長い時間お付き合いいただきありがとうございます。

蒲生：ありがとうございます。