「強化学習」について学ぶ、勉強会を主催

――小山田さんは今、業務とは別に、社内外の方を巻き込んだ勉強会を主催されているそうですが、それについて詳しく教えていただけますか?

小山田創哲氏(以下、小山田):英語で書かれた「強化学習」に関する本の翻訳をしながら、その内容について学んでいます。

第1回の勉強会を10月にスタートし、今までで13回開催していて、最終的には、成果物として翻訳を公開したいと思っているんです。

――10月から13回ということはけっこうな頻度ですね。

小山田:基本的には、週1回を目標としています。参加者の予定が合わなかったら、やらないこともありますが、そんな感じでゆっくりと。勉強会を単発で開催している例はほかにもけっこうあると思うんですけれど、同じメンバーで定期的に集まってというのは少し珍しいかもしれません。

定式化の選択肢を増やすために

――なぜ、始めたんですか?

小山田:なぜかというと、データサイエンスもコモディティ化されてきていると思っていて。もちろんデータサイエンスと言っても、さなざまな領域がありますが、特に機械学習や統計学の知識がなくても、誰もがツールとして比較的簡単に扱える時代が来ていると思うんです。

データサイエンスには、ビジネスを理解して、問題を統計学や機械学習の枠組みで定式化して、それをプログラミングで実装して解く、大雑把に言うと、そういった3段階のプロセスがあると思うんです。

それが2番目から3番目に入って、問題を定式化したときに、すでに簡単にAPIを叩くだけで終わっちゃう分野がすごく増えてきている。例えば、最近弊社が投資したDataRobot Inc.というのは、そういう具体的なサービスのひとつだと思いますし。

似たようなサービスだと、GoogleのPrediction APIとか、AmazonのAmazon Machine Learningとか、MicrosoftのAzure Machine Learningとか。ほかにもいろいろあります。

これらのサービスやAPIを使えば、単純なリレーショナルデータベースに入ってるような構造化されたデータからなにか予測を返すみたいなことって、実はすでに知識がなくてもビジネスで必要となる程度のことはできるんです。

ほかにも最近は、分野は変わりますけど、非構造な、画像とか音声の分野においても、ちょっと前にGoogleがVision APIというのを出しました。画像認識やそういうタスクにおいても、基本的にはAPIを叩くだけでエンジニアの人が簡単に利用できるというものができていて。

しかも、その精度が高くて、もちろんVision APIの提供してる分類とかラベル付けはすごく一般的なものなんですけれど、それでビジネスの問題のおおよそは解決すると思うんです。そうやって、どんどん分野がひとつずつAPI叩くだけというフィールドに変わっていくんだと思います。

そうした周辺分野が発展していくなかで、自分の食い扶持の裾野を広げることが大事だと思っています。そういう意味で例えば、ビジネス課題を理解して機械学習の枠組みで定式化するときに、その定式化の仕方についての選択肢をたくさん知っておく、理解しておくに越したことはないと思っています。また個人的には、そうした問題を定式化するところが、データサイエンスのなかでも重要でおもしろいところだと思っています。

今、勉強会では、強化学習という分野について学んでいるんですけれど、定式化の手法を学ぶという文脈で始めたのがひとつの理由です。

社会人になっても学び続けられるゼミのような場所を

――強化学習について学ぶことが目的だとすると、小山田さんお一人で学ぶという方法もあったと思うんですけれど、人を集めて勉強会というかたちにしているのはどうしてですか?

小山田:企業に入ってからも、いろいろと勉強会に参加したりもしたんですけれど、大学の研究室のゼミのような場がほしいなと思っていて。しっかり議論のできるメンバーと定期的に集まって、ひとつのトピックに対して深く話をしていくことが一番勉強になるので。あと、1人だと忙しいとなかなか勉強が進まないですよね。

強化学習という分野は、最近また注目されているんです。例えば、最近、GoogleのDeepMind社が囲碁で世界チャンピオンのイ・セドル(Lee Sedol)さんに勝ったという話がありますよね。強化学習自体はけっこう古く、昔からある要素技術なんですけれど、あそこにも使われてたりするんですね。

最近また注目を浴びている一方で、それについて日本語で勉強しようと思った時に、実は教科書がすごく古いものしかなくて。1998年に出版された教科書が有名なんですけれど、それ以外に有名なものがあまりなく、日本語の情報がすごく少ないんです。

今、僕たちが翻訳している教科書は2010年のもので比較的新しく、内容もコンパクトにまとまっていて。知り合いの強化学習に詳しい教員の方に内容をちょっと見てもらって「いい本じゃない」と、お薦めいただいたので、みんなでそれを翻訳しています。

――どんな方が参加されてるんですか?

小山田:僕の同期が2人。あとは、他社の方もいたり、学生も多いですね。

さまざまな立場の人が集い共に学ぶ場に成長

――みなさん、もとからのお知り合いなんですか?

小山田:実は、けっこうバラバラなんです。基本的には、参加者の繋がりで少しずつ増えていっています。

そもそも最初のきっかけは、僕がKDD(Knowledge Discovery and Data Mining)というデータマイニングに関連する国際会議に、配属されたすぐの8月に出張で参加させてもらって。

その時、僕は残念ながらただ聴講するだけだったんですが。その場に、今、勉強会に参加してもらっている2人の慶應義塾大学の学生が、KDD-Cup(データサイエンスのコンペ)に入賞して発表に来ていて。その場で意気投合して、「じゃあ、一緒にやろうか」と。それがきっかけになっています。

そのあとは同期に声をかけたり、内定者の学生とか、インターンに来ていた学生が増えていったり。

――どんどん人が増えている?

小山田:ちょっとずつですけれど。例えば、勉強会は「Connpass(コンパス。注:イベントや勉強会の情報共有サイト)」を使って募集をかけるのが一般的かと思うんですが、基本的に大学の研究室やゼミみたいな雰囲気で、あまり雰囲気やメンバーが大きく入れ変わらずに、定期的にしっかり学べる環境を確保したいので、急激に人を増やしたりはしていません。

少しずつ、知り合いの知り合いが増えてきたり、ほかの会社の人とはたまたまTwitterで知り合ったり。この分野に詳しい方が「勉強会やりたい」と言っていて、会ったことはなかったんですけど、リプライを送って来てもらったり。

あと大学の教員の方も、そういうやり取りのなかで「来たい」と言ってくれる方がいて。あとは、先ほど言った、僕の研究室の先輩で博士号を持ってるこの会社の方だったり。

結果的に大学教員の方とか博士号を持ってる人とか、この分野に詳しい方にも来てもらったり、という環境になって来ています。ただ、もっとアカデミアの人とか専門性のある人にも来てもらいたいなと思ってるんですけどね。

今は10人前後で開催しています。ただの勉強会なんですけど、ひとつの分野をちゃんと体系的に学ぶものってけっこう少ないと思うんです。

本を読むとかいうのはあるんですけれど、教科書を何回か読んだあと、論文を読むとか。ひとつの分野を体系的に理解しようとする、大学の研究室のゼミのような雰囲気のものってあまりない気がしますね。しかも、学生や他社の人や大学教員の方もいるというものは少ないと思うので。そこが個人的にすごくよくて、ある意味、息抜きにもなります(笑)。

――ふだんビジネスで使ってる脳と違うところを使うと、新しい発想が生まれることもありそうですね。

小山田:そうですね。学生時代に使っていた脳みその部分って、就職すると使う場面がどうしても減っちゃうんですね。

そういう意味で、大学院時代と同じような雰囲気で似たような内容の分野について定期的に学べる場というのは、個人的には必要だなと。それが自分主体で始められて、しかもちゃんと継続できているのは良かったと思っています。こういう勉強会って、ほかにもはじめてみたはいいものの、続かなくなっちゃうものが個人的に多かったんですよね。でも、これは続くなと。

――それはなぜですか?

小山田:ひとつは学生と一緒にしているというのが大きいと思います。学生は比較的時間があるし優秀で、社会人も学生がちゃんとやっているのを見ていると、すごく刺激を受けるんです。参加してくれている学生たちは本当に優秀な子ばかりです。

Webで広く公開し、みんなで改善していきたい

――翻訳を公開したいという話は具体的に進んでいるんですか?

小山田:本の著者と出版社の方には問い合わせをして、ご快諾いただいてきました。また、国内の専門家の方に監修をお願いして、それも承諾していただけました。

そんなに長い本ではないので、大雑把な翻訳自体はもうすぐ一通り終わります。それを専門家の方を含めて校閲しながら、全体としてまだ粗いところはあるけれど、一通りできましたという段階でWeb上に公開したいですね。

日本の出版社から出版するのは、けっこう大変だと思うんですけれど。これは、もともと原著はWebでも一般に公開してるんです。

なので、日本でもWebで公開をして、オープンソースみたいなかたちでいろんな人が読めたり翻訳にコミットできたりするようにしたいなと。翻訳自体も勉強会のいろんなメンバーが協力しながらやっているので、一般に公開して、いろんな人にコミットしてもらったり、意見をもらったりしながら、少しずつ改善していければいいなと、思っています。

――参加者だけに留めておくのではなくて、日本語の情報が少ないので広く共有したいという思いがあるんですか?

小山田:正直、僕たちは専門家の集団ではないので、少しおこがましいんですけれど、もちろんそうなれたらうれしいです。仕事でもそうですけど、社内だけに貢献する成果って、ちょっと虚しいというか、せせこましいと思いますし。

これからいろいろとこの分野の教科書が出版されるということは小耳に聞いていますけれど、やはり今、日本語の強化学習の教科書の種類が少ないことは従前たる事実だと思うので、ひとつ選択肢が増えるのはいいことだと思います。そして、もちろん、僕もできれば、微力ながらも日本の科学技術の発展に貢献したいです。

なにかやったものって、一般に公開しないと意味がないと思っているんです。例えば会社でなにか仕事をやっていても、会社の上司に評価されるだけだと意味がないなと思っていて。会社の域に留まらない、ちゃんと外から客観的に見てわかる成果を作っていきたいと思って意識しています。