機械学習エンジニアの評価、どうしてる？　MLエンジニアたちのチームビルディング Part3

MLチームの目標設定と評価をどうするか？

及川：また質問に戻りたいと思います。「MLチームの目標設定や評価について教えてください」。どなたかお話いただけますか？

西場：はい。資料に書きましたが、利益目標を持っています。やはり研究開発のチームではないので、どんどんどんどん利益に対して貢献していこうという話ですね。けっこう、うちはストレッチ目標がすごくて。さっきから登場している上司なんですけど、めちゃめちゃストレッチしてくるんですよ。

MLエンジニア1人しかいないのに「年間利益目標ウン十億円」みたいな目標を最初に立てられて、「西場さん頑張ってください！」みたいな。そういうノリでやっていますね。

ストレッチ目標がMLエンジニア特有というよりは、ストレッチ目標はOKRとかもあるように考え方をストレッチさせたいんで、そういう部分でうちは合ってるのかなと思います。

及川：今の部分を追加で質問したいんですが、西場さんは大丈夫かもしれませんが、多くのエンジニアはお金の話されると引いちゃったり、「金のためにモノ作ってるんじゃない！」といって、金に対して抵抗感が強いエンジニアが多いと思います。

西場：いるとは思いますが、うまくやっていますね。あと、やっぱり利用者数がダイレクトにつながってたりとかするんで、そういうふうに置き換えたりとか工夫があるんじゃないかなとは思うんですけど。うちのチームは基本的みんな……。

及川：みんなお金が大好き？

（会場笑）

西場：大好きというか、わかりやすいですね。結局「自分が何に貢献したかというのを説明しやすくてよくない？」みたいな。自分で開発したサービスを「僕の成果はこれです！」って説明するのって……。僕は説明はあんまり好きじゃないですね。

及川：数字で示されたほうがいいと？

西場：お金で説明できたほうがそれで終わるから楽だなぁって思って過ごしていますね。

及川：たしかになんか「お金の話を聞くと普通のエンジニアって抵抗感あるよね」という話をしたんだけれど、一方で、データを見る人って、もともと広告から何からお金に直結になるんで、昔もソシャゲのところで裏でロジックのアルゴリズムをひたすら書いてまわしてた人たちも、お金大好きじゃないですか、語弊がある言い方をすると（笑）。

（会場笑）

なので、もしかしたらデータを見る人はそこに抵抗感がないのかもしれないですね。

西場：そうかもしれないですね。

及川：なるほど。わかりました。

不確実性がたかいアウトプットをどう評価するか

及川：同じく目標設定、評価というところで、どなたかいますか？

原島：まず評価ってそもそも難しいんですけど。クックパッドは研究開発部門ができて2年半だから、評価のタイミングが4回ぐらいあった感じなんですが、やっぱり毎回難しいです。何が難しいかというと、やっぱり不確実性がものすごく高いというか。機械学習のモデル作っていっても実際に精度がでるかなんて、やってみなきゃわかんないじゃないですか。それでやってみたものの、精度が出ませんでした。じゃあその人の評価は悪いですか？　って聞かれたらそういうわけじゃないんですよ。

そういったものももちろんありますが、そういうミスマッチをなくすために研究開発部門を作りました。評価のために頑張ったことや、工夫したところがあるとしたら、そういった専門の部署をつくったとか、技術の難しさが分かるテックリードをつけていたりといったことをやっている感じですね。

それ以外のところは、クックパッドの場合は機械学習を使ってサービス開発をしているので、他のサービス開発部門の評価の仕方とそれほど変わらないんじゃないかと思います。

及川：わかりました。もしお二方、補足があれば。

今井：補足というか、本当に評価は難しいと思うので、「全員が納得する評価」という最強のものがあったらうれしいですね。

及川：じゃあ、今クックパッドさんのお話があったように、結果が出なかったとしても、そこでやっている中身をキチッと見てという感じですか？

今井：とにかく、中身を見て話す感じでやってますね。

及川：わかりました。

他人の評価はしない

高濱：評価は、どこまで絵空事をいい続けていいのか分かんないんですが、弊社は基本的に他人の評価はしません。部下も上司もそもそも評価をしない方向でいっています。なのでプロダクト、あるいは会社の成長はそれぞれの距離にある程度ダイレクトに影響するようなかたちをとろうとしています。その前提だと、サボるやつは絶対いない。そういう採用をしているので基本的に評価は必要ないという方向ですべてを進めようとしています。

ただ、「目標設定は話が別じゃないか」という議論が最近あって。お互いがお互いをフィードバックする、いろんな会社でやると思いますが、360度フィードバックみたいなものを弊社でも取り入れています。それをやるとき、けっこうマイナスのフィードバックがしにくいです。「こんなことをしたかったけど、できてないよね」みたいなことを言えないのが問題になっています。

そのために、自分がどうしたいのかという目標を全体に伝えたうえで、例えば1クォーター終わった後にどうなっているかを照らし合わせて、まわりからフィードバックをもらうかたちにすれば、そこはワークするのではないかと考えています。「評価とはまた別の目的で目標設定をするべきなんじゃない？」ということで現在絶賛整備中なんで、われわれも答えが知りたいですね。

社内に評価できる人がいない時、どうするか？

及川：わかりました。今の評価のところで、聞きたいのですが。最初のMLエンジニアを採用しました、という状態のときに、社内に評価できる人がいないということがてありうると思うんですよね。そういうときってどうするのがいいんですかね？「自分で頑張ってマジでMLのことを分かるようになれ！」というのも1つの回答だと思いますし……。

西場：その評価はアウトプットの評価ですか？　採用するときの評価ですか？

及川：両方だとは思うんですけど。たぶん採用基準と評価基準は理想としては一緒じゃないですか。採用は、どなたかに手伝ってもらったリファレンスとか、この人がいいなってところでいけると思うんですけれども。逆に中に入ってML業務をやってもらうときに、それをどう評価するのか。自分にそこまでMLの知識がない場合ってどうすればいいのでしょう？　たぶん第1号社員ってそんな状態になっていると思うんですよね。

西場：お金がいいんじゃないかなぁー。

及川：お金!?　あぁ貢献度ですね。やっぱお金好きですね。

（会場笑）

西場：難しい……。データ分析やってるとみなさん思うと思うんですけど、できない問題を深く考えるのっていやじゃないですか。どれが正解かわからない10個のデータがあって、そのうち6個がダミーですと。黙って分析してくださいって言われてもいやじゃないですか。

分かんない問題とかノイズが入る問題を一生懸命考えるのは、やっぱり僕は性に合わないのかなっと思います（笑）。

及川：KPIも決めて、そのKPI伸ばせというところで……。

西場：最初はそれでいいような気がするなぁと思います。

及川：わかりました。

高濱：結局分かる人を呼ぶしかないので、結局われわれの誰かを人事コンサルとして呼んでもらうのが一番はやいんじゃないかなぁ。

（会場笑）

及川：副業兼業もありますからね、ぜひ（笑）。まじめな話、たぶんアドバイザーや顧問でお補完するしかないと思いますね。

機械学習エンジニアをポテンシャル採用することはあるか？

及川：そろそろ時間なので最後の質問を受け付けようかなと思うんですけど、何がいいかなぁ。順番にいきますね。少し似ていますが、採用のところで、「ポテンシャル採用ってやってますか？　やるとしたらどんな軸で採用しますか？」。いかがですか？　はい、今井さん。

今井：今日そこに、インターンから新入社員で入る方が来てるんですけれども、半分ポテンシャル、半分インターンでやってた時のコミュニケーションだったり、実力だったり。やはり熱意みたいなものはすごい感じていて。

いきなり「新入社員1ヶ月目からバリバリやれ、アウトプットしてほしい」という期待値ではないので、ポテンシャル採用という言い方するんですけど……。難しいんですが、立ち上げ期に必ずポテンシャル採用でというのは難しいかもしれないんですが、そこを採っていかないとだし、できるエンジニアのバブルの高騰が半端ないんで……。

採用される人が見えている景色というのはやっぱり新しいと思うので、新しいコミュニティを作ったりとか、次の世代を背負ってもらえるようなかたちで、どんどん新陳代謝も含めて、やっていきたいなと思っています。

及川：ポテンシャル採用するときに、何を見て「この人にはポテンシャルある」と判断されますか？

今井：めっちゃ興味持って、自分からアプローチするところですね。ドメイン知識もそうだし、エンジニアとしてももそうだし。一番おもしろいのはやっぱりKaggleぽいところなのですが「そこだけやります」とかじゃなくて、いろいろ巻き取ってアクティブに会社の人間とコミュニケーションとって「いかにおもしろいプロダクトを作っていくか」「おもしろい会社にしていくか」みたいなことを話せる目線を持っているってことですかね。

及川：わかりました。他の方で追加があれば……。はい、お願いします。

エンジニアリング力を重視する

原島：ポテンシャル採用という意味では、ML系に関しては、そこまでMLに詳しくなくていいのかなと思っています。エンジニアリング力が高かったら、それこそマネージドサービスでもいいですし、ライブラリとかもめちゃくちゃ便利じゃないですか。なので、エンジニアリングがしっかりしていたら、MLに関してはめちゃくちゃ突き抜けていなくても僕はいいかなぁと思っています。そういう意味ではポテンシャル採用ってのはありかなって気はしてます。

及川：そういった場合に、いわゆるアプリケーションエンジニアとしてはいけたとしても、MLのところでは、いわゆる理系的なものだったり数学、統計的なものがないと駄目な世界ってあるじゃないですか。

クックパッドさんの場合は先ほど言われていたみたいに、リサーチ系、ペーパーを出したりというところを目指されてると。それができるまで、今言われたところのポテンシャル採用の方はいける可能性はあるんでしょうか？　もしくは、いけるとしたら、そうはいってもエンジニアの中で、特別見ているという点があるんじゃないかと思いますが、そこはどうか教えていただきたいんですけど。

原島：リサーチ系を目指しているかというと、実は目指していなくて。論文書きたい人は自由に書いてというだけで、研究所を目指しているわけでは全く無いです。むしろサービス開発をもっと深く推し進めていきたいなと思ってます。

及川：クックパッドに入る人たちは、それを求めてアプリエンジニアで優秀な人で十分な話かなぁって思います。

原島：そうですね、1パーセントをあげるといったところがすごく大切なときもあると思いますが、それよりもどういったタスクを設計するか、どういったタスクがビジネスにも直結してすごくいいのか、お客さんを幸せにするのか。そのタスク設計のほうが圧倒的に重要です。

会社のミッションへの共感とか、自走力が高いとか、ユーザーさんのことをちゃんと考えるとか、そういったところのほうが重要だと思います。答えになってますかね？

及川：なってます。今日のいろんな質問の中でも、一貫して事業への貢献というところがMLエンジニアは特に必要だと。そこさえしっかり持っていて素養があるようであれば、というお話かなと思います。

では、ちょうどいいぐらいになりましたので、まだまだ質問に答えられてないところもありますが、この後懇親会でみなさんとお話できればと思います。

では最後に、4人の登壇者の方にもう一度拍手を頂いて締めたいと思います。どうもありがとうございました。

（会場拍手）