液浸スパコン「kukai」は何をもたらしたのか？　Yahoo! JAPANが語る“未来につづく”挑戦の軌跡 Part1

Yahoo! JAPANの1年間とこれから

藤門千明氏（以下、藤門）：みなさんこんにちは。ヤフー株式会社のCTOの藤門と申します。本日はYahoo! JAPAN Tech Conference 2019にお越しいただき誠にありがとうございます。本イベントでは基調講演をはじめ、たくさんのセッションをご用意しております。Yahoo! JAPANの取り組みについて少しでも知っていただき、お持ち帰りいただければ幸いでございます。

この基調講演では、まず私から、この1年間でYahoo! JAPANがどんな変化を起こしたか、どんな未来を創りこんできたかというお話をさせていただきます。今日はよろしくお願いいたします。

（会場拍手）

改めて自己紹介をさせてください。Yahoo! JAPANのCTO藤門です。

Yahoo! JAPANには2005年にジョインしました。入社後は、スライド上にもアイコンで記載していますが、それらのサービス開発のエンジニアを担当してきました。そして、2015年からCTOを務めています。

今回のYahoo! JAPAN Tech Conference 2019のテーマは「未来へ続く話をしよう」です。前回の「未来を創る」というテーマに対して、今回が「未来へ続く話をしよう」なので、より一歩踏み込んだ話ができたらなと考えています。今日は1つ具体的なプロダクトを通じて、「未来を創るってどんなことなんだろう？」ということをエッセンスとしてお話します。

Yahoo! JAPANは1996年に創業し、約23年目の会社です。創業から23年間ずっと変わらずやり続けてきたことがあります。それは、インターネットや、インターネットのテクノロジーを通じて、よりユーザーのみなさまに便利になってもらいたい、インターネット上でたくさんのアクションを起こしてもらいたい、そんな思いを持ちYahoo! JAPANを運営することです。

その結果、実は全部書ききれていないのですが、我々は100以上のインターネット上のサービスを展開する会社へと成長しました。

ユーザーのアクションを最大化する

藤門：さきほど、23年間続けてきた「ユーザーのみなさまに、たくさんのアクションを起こしてもらいたい」という思いについてお話しましたが、具体的にどんなユーザーのアクションを最大化しようと考えているのか。

例えば、「インターネットを楽しみたい」「インターネットに接続したい」というとき、おそらく多くのみなさんはブラウザでYahoo! JAPANのトップページへアクセスしたり、Yahoo! JAPANアプリ経由でアクセスするのではないでしょうか。

また、「インターネットを通じて何かを知りたい」「探したい」という欲求にかられることもあるでしょう。そんなときは、Yahoo!ニュースを通じて、いま世の中にどんなことが起きているのかを確認されたり、Yahoo!検索を通じて何かを探されることもあるのではないかと思います。

さらに、「自分にピッタリのお得な商品を、インターネットを通じて買いたい」というときには、Yahoo!ショッピングで探していただいたり、「家に眠っているものを誰か別の人に使ってもらいたい」「リユースしたい」というときはヤフオク!を使っていただいているんじゃないかと思っています。

そして、最近ではオンラインだけにとどまらず、オフラインにおいてもユーザーのアクションを最大化するチャレンジを進めています。みなさんの記憶に新しいと思いますが、昨年10月にスマホ決済サービスとしてPayPayをローンチしました。おそらくみなさん使っていただけているんじゃないかと思います。

ユーザーのアクション数を最大化すること。Yahoo! JAPANは、それをいままでずっと続けてきましたし、今後も続けていきます。

その取り組みの結果として、いまYahoo! JAPANのコンディションがどうなってるかを数字で見てみると、ここ5、6年で2,000万ほど新規ユーザーが増えています。

アクションを最大化するためのテクノロジー

藤門：ユーザーのアクションを最大化するために、Yahoo! JAPANでは、日頃からテクノロジーやデザインを磨き込んでいます。

基本的にはすべてのテクノロジー、デザインを、自社で作っています。こうしたユーザーのアクションを最大化するための技術について、今日ここですべて網羅することはできませんが、ここでは一部だけを紹介します。

まずは、「サーチのテクノロジー」です。Yahoo! JAPANは検索サービスを提供していますが、それ以外のサービス、例えばYahoo!ショッピングでも、一番安い商品を検索するといった機能があります。これを支えるのも「サーチのテクノロジー」の1つです。

そして、「アドテク」もあります。Yahoo! JAPANの収益の多くは広告で占められています。それを支える「アドテク」を磨き込んでユーザーのみなさんにピッタリの広告商材やコンテンツをお届けすることが、実は「アドテク」の一番大事なところです。ここも力を入れて磨き込んでいます。

さらにユーザーのアクション数最大化において、一番重要なのはユーザーとのタッチポイントです。そのため、我々はUI/UXだったり、フロントエンドのテクノロジー技術であったり、ビジュアルやデザインというものに対しても非常に力を入れ、たくさんのエンジニアやデザイナーでサービスを開発しています。

実はこれらのテクノロジーに共通している内容が2つあります。何だと思いますか？　もしかすると勘の良いみなさんはおわかりかもしれないですが、実はこれらのすべてにおいてデータとAIが必要になります。

データとAIによって、テクノロジー自身が進化する。この2つがなければYahoo! JAPANのテクノロジーは実現できません。

蓄積したデータから、より良いAIモデルを作る

藤門：Yahoo! JAPANは、データとAI活用してずっとサービスをグロースしている会社です。例えば広告のアドテク1つ取っても、まずYahoo! JAPANに来ていただいて、いろんなコンテンツや広告をクリックしてもらう、あるいはもしかしたらクリックしてもらえないかもしれない。

でもその結果たくさんのログ、データが集まって、それをAIのモデル、それは機械学習かもしれないし深層学習かもしれないですが、いろんなサイエンスやAIのテクノロジーを通じて、よりユーザーのみなさんにピッタリなコンテンツや広告を表示できるモデルを作れるようになります。

そして、そのモデルをまたYahoo! JAPANのたくさんのサービスに展開し、たくさんのユーザーのみなさんに来ていただいて、より多くのデータがたまる。そこから蓄積されたデータからまたより良いAIのモデルを作る。

このサイクルを繰り返すことによって、ユーザーの数もグロースするし、技術も進化する。我々はこれがYahoo! JAPANの事業の根幹であって、テクノロジーの根幹であると考えています。

GAFAなどのアメリカの非常に強大な会社のように、データを獲得した会社が勝つのだということは、いまでこそみなさんはご存知だと思いますが、10年以上前から必ずデータの時代が来るということをYahoo! JAPANは気づいていました。

そして、データを使えばテクノロジーが進化し、そのテクノロジーによってユーザーのアクションが最大化されると考え、Yahoo! JAPANはそういった取り組みを10年以上前から進めています。

Yahoo! JAPANには日々蓄積される大量のデータがあります。そして、たくさんのAIのテクノロジーにも挑戦し続けてきました。ただ唯一欠けている部分がありました。それはこの真ん中の部分、コンピューティングパワーが思ったよりも足りなかった。

国内に大規模なデータセンターを持ち、自分たちでサーバーを持って開発をしているため、膨大な計算力はありました。しかし、おそらくいまこの時代を生きぬくにあたって、サービスを良くするためには、もっとたくさんの計算力が必要になると、我々は当時予測していました。そのため、非常に強力なコンピューティングパワーをどうしても得る必要性があると考えました。

たくさんのデータを計算する力、そしてたくさんのデータをもとにAIのモデルを作り、AIを適用する力を得るためには、コンピューティングパワーがどうしても必要だと、この3つ目をそろえたいという思いで、実は数年前からスーパーコンピューターを作ってきました。

それがkukaiです。

AIに特化したスーパーコンピューターを、我々は計算力を得るために、未来を創るために開発しました。

kukaiの開発秘話

藤門：今日は、このkukaiがどのような未来を創りこんできているかといったお話。そして、このkukai、華々しく説明していますが、できるまでにものすごい苦労をして作ってきています。未来を創るためにどのような格闘をしてきたかという裏話を、お伝えしたいと思います。

まずkukaiの開発を始めたのが2015年です。非常に強力なコンピューティングパワーの必要性を背景に、我々は4年前からkukaiの開発に取り組み、2017年に発表しました。

kukaiはGPUのサーバーなのですが、特徴として液体で冷やす仕組みを採っています。一般的にはファンを回してGPUやCPUの熱を下げるのですが、我々はこれらを液体に浸ける液浸冷却という仕組みで、スパコンを作ることにチャレンジしました。

なぜかというと、非常に強力なコンピューティングパワーを作るためには、莫大な電気代がかかるのです。電気の力を計算力に変える必要があります。でも、電気の力は熱が出てしまい、その熱を取るためにいろんなファンをバンバン回すのですが、そこにも電気を要します。

日本はご存知のとおり国土が小さいですし、エネルギーがそんなに多くありません。我々が仮に非常に強力なコンピューティングパワーを得たとしても、日本全体の電力をたくさん使ってしまうようでは持続可能性がないと判断し、いかに省エネ性能を上げながらコンピューティングパワーを得るかという挑戦をしました。

結果として、kukaiは2017年6月のスーパーコンピューターの計算力のパフォーマンスと省エネ性能を同時に競うGREEN500で、世界2位を取ることができました。

常識を超える

藤門：実はkukaiでは2つの大きなチャレンジをしなければ成し遂げられなかったところがあります。今日はそのお話をしたいと思います。

みなさんご存知だと思いますが、一般的にコンピューターは水やホコリに非常に弱いセンシティブな機械です。でも液体に浸けて冷やすとなると、液体をどうしてもデータセンターに持ち込まなきゃいけない。

そのため、「データセンターに液体を持ち込んでいいですか？」という話になるわけです。もちろん、我々のデータセンターは数十万台のサーバーを運営していますから、データセンターの優秀なオペレーションエンジニアたちと「ちょっと待てよ」「液体持ち込むとかバカじゃないのか」という議論になりました。本当に社員同士でケンカになるということが起きました。

設備の面でもう1つ言うと、液体は単純に浸けるだけでは冷却効果がなく、循環させないといけません。そのためには、液体をラジエーターと呼ばれるもので循環させる必要があり、その機械はどうしてもデータセンターの外に置かなければなりませんでした。

ドリルでデータセンターに穴を開けに行ったら、「アホか」「ホコリが入っちゃうじゃん」「きれいなデータセンターが汚れちゃうじゃん」ということで、これも喧々諤々議論になりました。実は数週間以上議論をしました。

結局理性では解決できなかったので、「わかった」「常識を超えようぜ」「誰もやったことがないんだったらやってみようぜ」ということで握手をして、実際に進むことができました。

これはYahoo! JAPANの1つの大事なDNAなのですが、Yahoo! JAPANができた1996年頃、「日本ではおそらくインターネットなんて流行らない」と言われていたのです。でも、Yahoo! JAPANはインターネットだけで勝負しにいきました。

いまでも、「誰もできないよね」「無理だよね」ということをやってみるということが、Yahoo! JAPANのDNAの根幹にある部分だと思っています。今回このkukaiでも、そのDNAが活きてるんじゃないかなと思っています。

藤門：実際にどうなったかということをお伝えしますと、手前側のいっぱいガチャガチャしているところ、ここはハードウェア、GPUのサーバーがブンブン回ってるところですけど、上のほうにチラチラと透明な部分があります。ここに液体が入っていて、この液体のなかにジャボンと浸けて冷やしているのがスパコンの中身です。

もう1つ、白いほうがデータセンターの壁です。壁に2つの穴をボコッと開けてパイプを入れています。矢印は「液体がこっちに入ってきます」ということです。こんな感じでデータセンターに穴をあけて、我々は未来を創りこもうと思ってやってきています。これがデータセンターの設置面に関する非常に大きなチャレンジでした。

kukaiのチューニング

もう1つが、このスパコンの性能を引き出すための、ハードウェアやソフトウェアのチューニンをどうするか？　という話です。残念ながらYahoo! JAPANは、データセンターを所有していますが、スパコンを作る会社ではありません。スパコンを作ったこともないし、ノウハウもない。もちろんいろんなカンファレンスに勉強しに行きますけど、さすがに勉強するだけじゃ、何をどうチューニングしたらいいかもわかりません。

先ほどの「すべてのテクノロジーはデータとAIで成長させられるんじゃないか」という話に振り返りますが、もしかしたらデータとAIを使えば、このスパコンのパラメータチューニングすらもできるのではないかと考え、これにチャレンジしました。

データとAI、この場合は機械学習を通じて、スパコンのパラメータチューニングをするということに、2人のエンジニアだけでチャレンジしました。

結果として、2017年6月のパフォーマンスで言うと、1ワットの電力量でだいたい14.04GFlopsという世界2位の計算力を叩き出しました。スパコンの性能を、機械学習で伸ばせることがわかりました。我々が一番大事にしている技術の根幹で勝負して、スパコン専業の会社ではないにも関わらず、スパコンで世界2位を取ることができたというのが、我々の1つの大きな自信になっています。

そして結果として、最初に述べたデータとAIとコンピューティングパワーが2017年にそろいました。「これから初めてデータドリブンなエコシステムでYahoo! JAPANのサービスをすべて改善できるぞ」というところまで来たのです。

kukaiによって変わったこと

藤門：このスパコンkukaiによってどんな変化が起きているか、2つだけお伝えしたいと思います。

まず1つはリユースのプラットフォーム・ヤフオク!の事例です。ヤフオク!では残念ながら、偽物の商品を出品されてしまうケースが稀にあります。正規の商品をやりとりしてほしいのに、どうしても偽物や不適切な商品が出品されてしまうのです。

従来はそれらをいろんなアルゴリズムを適用したマシンラーニングで削除していたのですが、スパコンを使ったAIを適用することで、不正検知の精度が3.1倍に向上しました。そして、機械学習のモデルを作るのにGPUサーバーを並べてだいたい110時間かかっていたところが、1.5時間でできるようになりました。

これは非常に大きなブレイクスルーで、我々は2015年からの努力によって、ヤフオク!で毎日不正出品のアルゴリズムを変えるというケイパビリティを得ることができたのです。スパコンがなければ、こういう未来は創ることができなかったと思っていただければ幸いです。

もう1つ、Yahoo!知恵袋はみなさんおそらくご存知かと思いますが、UGCのサービスで、ユーザーのみなさんが日頃から疑問に思っていることを書いていただいて、それをまたユーザーのみなさんが答えるというサービスです。

UGCなので、すばらしい良い質問とその答えが出るケースもありますが、微妙な質問とその答えというのも出るわけです。そういう微妙な質問やその答えが、ユーザーのみなさんにどうしても不快感を与える可能性があります。

我々はカスタマーサポートや機械学習を使って、その質問や答えがあまりランキングの上位に出ないように、一生懸命がんばっていましたが、いまはkukaiを使ってアルゴリズムを改善して、目立つところからは見えないようにしています。

実際にはみなさんからいただいた6億の質問とその答えの全文を機械学習してAIのアルゴリズムを作るわけですけれども、いままで見積りで9ヶ月ぐらいかかると思っていたものが、だいたい1日強で、このアルゴリズムをどんどん変化させることができるようになりました。これもスパコンがなければ創ることができない未来だったと思っています。

簡単なことは1つもない

藤門：最後にスパコンの話でまとめます。未来を創らない、何もしないというのは非常に簡単ですが、未来を創りこもうと思いチャレンジしていくのは、本当にものすごくしんどい思いをします。ただ2015年では想像できなかった、もしかしたらスパコンがなければ創ることができなかった未来を、2018年にYahoo! JAPANは創ることができた。

なので、未来を創ることが「やっぱり楽しいよね」と思って、エンジニアやデザイナーが日々活動させてもらっているというのが、いまのYahoo! JAPANだと思っていただければ嬉しいです。「簡単なんてことは1つもない」と思っています。

長々とスパコンの話をしましたが、我々はユーザーのアクションを最大化するために、実はもう1つだけ非常に重要な技術にチャレンジしています。それはセキュリティのテクノロジーです。

Yahoo! JAPANを安全・安心にご利用いただけるような状況にしておかないと、ユーザーのアクションが増えないし、Yahoo! JAPANを使ってくれる人が増えないと思います。そのため、セキュリティのテクノロジーには非常に力を入れております。

今日はこの直近1年間ぐらいのセキュリティの技術に関する取り組みとして、弊社CISOの仲原から、みなさんにいくつか事例も含めてご説明できればなと思っております。それでは仲原さん、よろしくお願いします。