インフラエンジニアが語る「-10℃の世界でマイニングファーム構築」のリアル

極寒の地でマイニングファーム構築

秋山拓也氏（以下、秋山）：GMOインターネット株式会社、秋山拓也と申します。「-10℃の世界でマイニングファーム構築やってみた」を発表させていただきます。よろしくお願いします。

ふだんはネットワークエンジニアとして「ConoHa」や「Z.com」という、インターネットのネットワークの環境を構築しています。まず最初に、アジェンダです。

「どこでなにをやってきたか」「こんな環境だった」この2点を知っていっていただきたいと思い、本日資料を作成いたしました。実際にどこで何をやってきたかと、実際はどんな環境だったのかについて話していきたいと思います。

まず「そもそもマイニングって何ぞや？」というところから話していきます。簡単にいうと、仮想通貨の取引台帳です。ブロックチェーンのシステムを使用した際に作成する取引台帳の、正当性を維持するために行うのがマイニングです。

計算能力を提供する見返りとして、一部にビットコインとして報酬が支払われるシステムになっています。当然、同業他社の方々もハッシュレートを上げていきますので、計算力の対決となります。自分たちGMOインターネットも、負けずとハッシュレートを上げていくかたちになっています。

実際にどこでマイニングファームを構築してきたかというと、北欧のどこかです。

発表したかったんですけど、どうしてもNGが出てしまって、詳しい場所が言えません。

北欧はどんなところなのかについてです。

北欧とは、ノルウェー・スウェーデン・デンマーク・フィンランドに、バルト三国・ブリテン諸島・アイスランドを含めた一帯のことです。（我々の）拠点はいくつかあります。

現地の環境

実際の環境についてです。まず、天気はだいたい曇りか雨、または雪が降っています。

（スライドを指して）これは吹雪のときの写真で、数十メートル先も見えない状態です。右手の写真は、雪が数センチ積もっているところです。これが毎日続いていました。

そして、平均気温がマイナス0度です。ヒートテックを上下とも着て、ヒートテック入りのズボンを履き、シャツ・セーター、上にウインドブレーカーを羽織っても、まだ寒いぐらいの環境でした。吹雪で前が見えないときや、豪雨のときもありました。基本的に天候の移り変わりが激しくて、雨が降ったり雪が降ったりを繰り返していて、たまに霰や雹が降ることもありました。

続いて、とにかく風が強かったです。先週あたりに台風21号で東京もものすごい風が吹きましたけど、それと同じぐらい、本当に飛ばされそうな感じで、風が強かったです。データセンターのドアの開閉時に、体全体で押していかないとドアに挟まれる、などということもあったので、とても危ない環境でした。

足首あたりまでの積雪がほぼ毎日続いて、朝になるとまっさらな地面に戻っているので、そこをズカズカと歩いていくという、非常に歩きづらい環境でした。さらに、凍りついた路面の上に雪が積もるので、雪が数十センチも積もっているんですけど、その下は凍っていて、ツルツル滑る状態になっています。なので、非常に危険で、転ぶ人もけっこう多かったです。

下は、車内から撮った写真です。どこがセンターラインかわからないくらい吹雪いていて、対向車がどこから来るかもわからない状態で車を運転することが多かったので、とても危険な環境でした。

こちらが、実際の景色です。

（会場笑）

実は、熊谷がTwitterとかでいろいろボソボソつぶやいているので、そちらを見ていただけると（様子が）わかると思います。この写真の2棟が、実際のデータセンターです。こんな環境で、常に曇っていて淀んでいる感じです。

プロジェクトの概況

では、実際に何をやってきたかについて話していきます。実際何をやったかというと、トータル1万5,000台のマイニングマシンのネットワーク構築を行ってきました。

（スライドを指して）ドヤ顔で写真撮ってるんですけど、この写真みたいなラックが8架ぐらいありまして、それらのネットワークのケーブリングだったり、設定、外との疎通確認などを行いました。

昨年の8月から9月にかけて検証環境を構築し、そこから本番環境に移すまでの検証作業などや、マイニングマシンの開梱やケーブリングもしました。写真に写っている棚がマイニングマシンを載せていく棚です。これにマイニングマシンを積んで、電源のケーブリングやネットワーク機器に対するケーブリングをしました。

1万5,000台のマイニングマシンといってもパッとしないと思ったので、簡単に図を作りました。

消費電力でいうと、1世帯の消費電力×3万3,500世帯ぶんの消費電力量になります。マイニングマシン1台がドライヤーよりも電力を食うので、ものすごい消費電力量になります。

続いて、物理編です。GMOで倉庫を借りて、そこに空輸で送られてきたマイニングマシンたちを入れていたのですが、倉庫からあふれるぐらいマイニングマシンが積み込まれてきました。

（スライドを指して）右手の図の後ろ側、ここらへんが自分たちが入ってきた入口です。自分の身長よりも高く積み上げられていて、来たときには正直うんざりしました。本当にこれを全部開梱して、積み上げてやっていくのかという感じでした。

構築において直面した問題

続いて、実際に構築した際の問題について話していきたいと思います。

まず、床に水溜まり問題。

データセンターなのに雨漏りする。このときの棟は、データセンターの上部にファンが付いていまして、まだ稼働していなかったので、上にテンポラリーで木の蓋をしているだけでした。

雪が積もって、それが融けて、水がどんどん下へ垂れてくるので、床に水溜まりができました。なので、このときの棟はとても面倒でした。床にマイニングマシンを置いたりできないので、けっこう苦戦しました。

続いて、寒すぎて固まる問題。

（スライドを指して）この写真はコールドアイル側の温度計です。今はマイナス2.8度を指しています。すべて動かしきった後は、マイナス2.8度になっています。

寒すぎて、ケーブルが固まりました。ネットワークケーブル、LANケーブルなんですけど、1周巻いた状態で運ばれてきます。それらが固まりすぎちゃって、まっすぐ伸ばそうにも伸ばせず、そのままケーブリングするので、とてもやりづらかったです。

動ききっていない場合は最低気温がマイナス10度を超えるときもあり、適度にコールドアイル側から出て作業しないと体調を崩すような環境でした。実際、ケーブリングしていて体調を崩しました。

最後に、寒すぎて動かない問題。寒すぎて、機器が動きませんでした。

マイニングマシンやネットワーク機器は、どちらも公式のリファレンスを見ると（動作温度が）0度から40度までですので、そもそも氷点下を切っている世界では、電源ケーブルを挿しても何も動かない状態でした。

これの対応策として、寒いんだったら暖めればいいじゃないかということで、テンポラリーでヒーターを用意して、コールドアイル側・ホットアイル側両方とケーブルを暖めながら作業することになりました。

ちなみに、最終的に動ききると、ホットアイル側は45度になります。マイニングマシンの近くに置いてある温度計は45度、全体的には30度前後になるので、ウインドブレーカーを脱いでも問題なく作業できるんですが、ホコリがすごくて、結局あまり作業できた記憶がないです。

こんな環境でしたが、無事構築できました。

左の写真が構築前、右の写真が構築後です。これらを、現地作業員と一緒に積み込みながら、ケーブリングなどしました。

プロジェクトを振り返って

当然、向こうの国民性だったりお国柄だったり、あと自分の英語が拙い部分もあって、うまく作業指示を出せなかったり、そもそも働き方の問題で「8時間も働かないよ」って勝手に帰っちゃったり、いろいろあったんですけど、なんとか期日どおりに構築できました。

続いて、こちらがコールドアイル側です。最初は何もなかったんですけど、ケーブリングした後はこんなふうになりました。

コールドアイル側なので、だいたいマイナス4度からマイナス3度ぐらいの温度を保っています。

左側が、何もない状態の建物です。最初に来たときはこんな感じで、本当に期日どおりに終わるんだろうかという感じだったんですが、何度か作業員と話をして、シェルフを立ててもらい、マイニングマシンを積み込んでケーブリングすることができました。

そして、今も元気にマイニングしていますということで、これは7月（の数字）です。

今、トータルで568ビットコイン持っています。実際にネットワークエンジニアとして、最初に検証作業をやってみないかと言われて、自分で検証環境を作って、どうしようか、ああしようかと考えて動いたことが、すごくいい経験だったと今では思っています。

最後に、ちょっと速くなってしまったんですけど、マイニング事業以外にも力を入れている部分がございます。「新卒、中途、インターン。全力募集中！」です。

偉い人に「このスライド差し込まないと発表させないぞ」と言われたので、しょうがなく入れました。

興味がある学生の方は「GMO　採用」で検索、ということで。本日、GMO（の発表）で興味のあった人専用のスタッフを配属していますので、そちらの方に声をかけていただければと思います。

駆け足になってしまったんですけど「-10℃の世界でマイニングファーム構築やってみた」の発表でした。GMOインターネットの秋山拓也でした。ありがとうございました。