「質問に答えるAIではなく、質問をするAIを作りたい」　ChatGPTを“論文のツッコミ役”にするためのプロンプト

リスキリングで自然言語処理を学んだ

田島逸郎氏：それでは、「ChatGPTを聞き手にしよう」という表題で、田島が発表いたします。

まず、私の自己紹介をすると、5月25日生まれの38歳です。Georepublic Japanという会社で、地理空間情報の研究開発をしています。

少し前まで社会人博士をやっていました。博士を取りたいと思っていて、コンピューターによって知識のやり取りがどう変わっていくのかみたいなことを社会学的に分析しています。

3月末に情報処理学会で、「ChatGPT」ではなく「Bing」について研究発表をやったので、これを論文化しようとしています。

自分でもAIをやるとはまったく思っていませんでした。自然言語処理はいろいろあって学んだ感じです。主にリスキリングという感じですね。

「DeepLearning.AI」、最近はChatGPTのプロンプトの講座をやっています。

もう少し難しい「Natural Language Processing Specialization」という講座で、ロジスティック回帰分析からTransformerまでをやりました。競技プログラミングなどでは動的計画法が流行っていますが、そのあたりは難しいですね。

先生がけっこう豊富で、GPT-4のトークンに関わった先生がけっこうついてくれました。

AIに聞き手になってツッコミを入れてほしいと思った

普通は生成AIというと、例えば言語モデルになにかを書かせたり、なにかをさせたりというのが中心だと思います。僕がやらせたかったことは逆でした。自分が考えて書くので、それを読んだり聞いたりして、ツッコミを入れてほしいということを目指しました。

この構想に至った経緯をお話しします。人と専門的なことを話すのはハードルが高い作業です。例えばChatGPTの話をしたい場合、やはりこうやって集まってみないと難しいですよね。そんな状況の中で「助けて」ということが実際にありました。

具体的には、「書いた文章に質問をしてほしい」というタスクを考えたのですが、論文を調べてみると難しいんですね。質問に答えるよりも、質問するほうが遥かに難しいです。特に学問だと答えがない質問なので作れないんですね。

AIは鋭い質問ができる

「BERTでデータセットを適当に食わせて作ってみるか」と思ったのですが、ちょうどその頃、「Bing Chat」のインビテーションが来ました。当時はGPT-4だと知らなかったので、たぶんこの研究発表が日本でのGPT-4の最初の発表だったのかな？

Bing Chatにはおもしろい部分が1つあって、「これこれは何ですか？」という質問をしたら、次にどういう質問をしたらいいのかをサジェストしてくれるんですね。これを見て「ということは、このAIは質問できるのでは？」と、ピンと来たんですよ。

「以下の文章に、専門的で建設的で創造的な質問をしてください」という、ある種のプロンプトを加えて質問をしたら、あっさり質問を作ってくれたんですね。

当時はまだ論文ができていなかったので、その際にやったのは、論文のアブストラクトっぽいものを入力した感じです。

けっこう鋭い質問が来るんですね。例えば「AIが創造的な質問や指摘を行うためにはどのようなチューニングが必要ですか？　どのように行いますか？」。私が知りたいよ。

あとは、「自分の研究方法でどんな知見が得られるのですか？」。おぉ、きついという感じですね。

こんな感じで、Bing AIはけっこう言語能力としては強いです。後からGPT-4だと知って、「あぁ、そうか」という感じでした。

論文が1つ書けるくらいの質問が来た

ChatGPTでもやってみたところ、もうすごい勢いで質問が来ました。もう答えれば答えるほどどんどん質問が来る。最後にChatGPT側がネタ切れをしたのですが、その時には論文1本書けるぐらいの質問をされました。

人間との違いですが、人間は1つの話題から創造的に話を広げていくのですが、（ChatGPTは）なかなかそういうことはしません。

特に、学問では、内容面の指摘とか、「文章がおかしくないですか？」という、論文の書き方とか、1つの話題を深掘りしたりとかですね。

論文の書き方は、自分で書いている中で気づかないことがけっこう多くて難しいので、個人的には助かっています。

この方法のいい点と悪い点

この方法のいい点、悪い点についてのまとめです。まず、自分が書いたことをベースに質問をしてくれるので、Hallucinationが起きにくいです。基本的に自分が書いたものを基に質問を作ってくれます。

一方で、自分が書いたものに対しては、一切間違いを指摘してくれないんですね。なので、そもそもの自分の理解が間違っていたら訂正してくれないという問題があります。あとは、きちんと文章を書かないときちんと答えてくれない。これはある種当たり前ですね。

手法の応用を試行中

今回は学問でやってみたのですが、「いろいろ応用できるのでは？」と思いました。ソフトウェア開発の仕事をしている上では、いろいろな問題があります。例えば、主にお客さまとのコミュニケーションの問題などについてどう対応したらいいか、考えを文章化してフィードバックしてもらうことを検証中です。その際のガイドラインは、一応、こちらから提案する感じになっています。

ほかにもいろいろな分野で、聞き手になって支援してくれるのではと考えています。

あとは、「アドバイスや指摘をしてください」と言って、いろいろなものを試してみたり、この文章に点数をつけてくださいと言ってみたり、Few-Shot学習など、いろいろと試しています。まぁ、迷走しているとも言えます。

どちらかというと、一般的で無難なフィードバックが多いのですが、それをしてくれるというのは非常に重要なことなので、けっこうこの方法は役に立つのではないかと思いました。

以上、「ChatGPTを聞き手にしよう」でした。ご清聴ありがとうございました。

（会場拍手）