約800Gbpsのトラフィック、2.2Tbpsのコンテンツを吐き出す　LINEのネットワーク基盤を支える4つのチーム

4つのチーム構成

鈴木雄一郎氏：私からはネットワーク室の紹介と、サービスネットワークチームに関する業務を説明していきたいと思います。

私は、ネットワーク室サービスネットワークチームでマネージャーをしている鈴木と申します。趣味は、テニスと子育てです。過去の職歴ですが、2019年にLINEに入社する前は、通信キャリアの会社で法人向けやモバイル用のIPバックボーンの設計、構築、モバイルコアのEPCの開発、あとはホワイトボックススイッチ用のOS開発などの業務を担当していました。

現在はサービスネットワークチームで、データセンターのネットワーク、データセンター間のMPLSバックボーン、インターネットピアリングなどの業務を担当しています。

それでは、ネットワーク室の紹介を簡単にしたいと思います。ネットワーク室は、ITSC配下の組織となっています。そして、ネットワーク室は4つのチームで構成されています。

サービスネットワークチームは、商用サービス向けネットワークの企画、設計、構築業務を担当しています。エンタープライズネットワークチームは、国内外のオフィスネットワークの企画、設計、構築業務を担当しています。

ネットワークオペレーションチームは、サービスネットワーク、オフィスネットワークの両方のインフラの維持や運用、業務自動化、効率化業務を担当しています。そして最後に、データセンターチームは、データセンターの選定、構築、運用業務を担当しています。

本日は、サービスネットワークチーム、エンタープライズネットワークチーム、データセンターチームの業務について説明をしていきたいと思います。

サービスネットワークチームの役割

それでは、引き続き私から、サービスネットワークチームについて説明します。今日は時間が限られているため、仕事内容ではなくて、今後どのような課題に対応していくかを共有したいと思います。仕事内容や応募要件については、採用ページにてご確認ください。

まず、LINEのインフラ規模を共有したいと思います。現在LINEでは、数多くのサーバーでサービスを運営しています。こちらの左のグラフのとおり、サーバー台数は継続的に増えていて、既存サービスの拡張や新規サービスのために増設を繰り返しています。

これらのサーバーを7,000台を超えるネットワーク機器で収容していまして、インターネットトラフィックのデイリーのピークは、約800Gbps。また、CDNも利用していて、2.2Tbpsのコンテンツを毎日吐いています。

続いて、商用ネットワークの概要を説明いたします。こちらが、現在のネットワーク構成の概要図です。国内3拠点、海外1拠点でデータセンターを運用しています。インターネットへの接続ですが、東京、大阪、シンガポールの3拠点にピアリングルーターを設置しています。

また、サーバー間の通信で、データセンターをまたぐトラフィックが発生するために、MPLSバックボーンを構築し、データセンター間のトラフィックを運んでいます。

こちらでは、L3VPNとL2VPNを、用途に応じて使い分けています。そして、各データセンターでは、サーバーを収容するために、IP CLOSネットワークや、トラディショナルなL2のネットワークを運営しています。

2、3年後の拡張計画

続いて、向こう2、3年の拡張計画を共有したいと思います。まず1つ目です。データセンターの拠点を3拠点ほど追加する計画をしています。また、それに合わせて、データセンター間のMPLSバックボーンの拡張と広帯域化をあわせて行っていきます。

データセンター間のトラフィックは、サーバー間通信であるEast-Westトラフィックのために、Tbpsクラスの容量が必要になります。

3つ目です。東京リージョンで、Multi-AZ化のインフラを構築します。3つの異なるデータセンターを、3つのアベイラビリティゾーンとして準備して、アプリケーションをそれらのAZに分散配置します。こうすることで、仮にデータセンター単位で電源障害が起きたとしても、LINEのコアサービスが止まらないようにすることを目的としています。

この計画を実行するためには、さまざまな課題が存在します。まず1つ目。拠点数が多くなるため、ネットワーク機器をより効率的に増設する必要があります。現在でもztpなどの自動化は積極的に使用していますが、パラメーター自体の生成や、工事図面作成なども自動化を進めていきたいと思っています。

また、各拠点にIP CLOSネットワークを展開していくために、IP CLOS自体の継続的な改善も必要となります。以前にJANOGで発表したIP CLOSは、初期値の構成となっていて、その後、マルチベンダー化や耐障害性向上のための構成変更などを、継続的に行っています。現在は第3世代となっています。また、今後400Gbpsがより一般的になってくるために、400Gbps化なども見据えて、最適な構成を追求していきたいと思っています。

続いて2つ目です。拠点が増えていくと、シンプルなバックボーントポロジを維持することが困難で、複雑化が余儀なくされます。そこで複雑化するトポロジでも、冗長性や帯域の有効活用ができるように、トラフィックエンジニアリング、SR-TEの導入を予定をしています。

3つ目です。Multi-AZ化は、構成自体が複雑なため、AZ間のルーティングや、AZインターネット間のルーティングポリシーの最適化が必要になります。国内で参考にできるリファレンスデザインがないため、日々頭を悩ませながら検討をしています。

最後に、管理ノード数が増大するため、障害対応の自動化、運用ツールの高度化が必要となります。ここまでで、既存のLINEネットワークの拡張計画と課題について話をしました。

Fintechに関するポジション

続きまして、Fintechに関するポジションの紹介です。現在銀行サービスの立ち上げを進めていまして、銀行の運営にかかわるメンバーを募集しています。

銀行のネットワークとしては、データセンター内のネットワーク、データセンター間のネットワーク、あとインターネットへの接続、そして外部の金融サービスと連携するために接続するためのネットワークが必要となります。

銀行という特性から、既存の内部ネットワークとは独立したネットワークが必要なため、これらのネットワークをすべて新規で構築を進めています。

LINEのサービス用ネットワークと比較すると規模は小さいですが、同様の役割を担う機器が多数ありまして、担当する領域が広く、チャレンジングでスキルが伸ばせる業務と私は考えています。

ということで、既存のLINEネットワークの拡張や、銀行サービスの運営にかかわっていただける方を募集しています。さまざまな領域のネットワークを担当できることが、エンジニアとして魅力的だと私は考えています。

応募いただく前に、もう少し具体的な話が聞きたいなどの要望がありましたら、カジュアルに話をすることも可能ですので、お声がけいただければと思います。

ポジションのリンク先には、必要なスキルセットも記載しています。また、サービスネットワークチームを紹介しているブログもありまして、今日紹介できていない情報も多数記載していますので、ぜひ興味がありましたらご覧いただければと思います。

以上で説明を終わります。続いて、エンタープライズネットワークチームの紹介となります。吉川さん、お願いします。

社内ネットワークにかかわるネットワークエンジニアの役割

吉川正由樹氏（以下、吉川）：吉川です。私からは、社内ネットワークにかかわるネットワークエンジニアの仕事内容について説明します。社内ネットワークは、エンタープライズネットワークチームという部署が担当しています。私はこのチームのマネージャーを担っています。

まず、どんな仕事をしているかといいますと、LINEグループとグローバルの社内ネットワーク関連の業務を行っています。オフィスは海外を含めて、アジアを中心に10ヶ所以上の拠点があって、それらの拠点を結ぶグローバル規模のネットワークが構成されています。

業務内容は大きく4つありまして、1つ目に、オフィスネットワークの新規構築や移転対応。2つ目に、業務委託先オフィスとのネットワーク接続があります。そして3つ目は、それら構築したネットワークの運用や最適化。さらに4つ目に、常に新しい技術や製品が登場していますので、それらの検討、評価、導入を行っています。

あと、どうしても期限が決まっている依頼案件の対応や、日々の運用に追われて、赤字の部分の対応が後回しになりがちになっています。そのため、この赤字の部分も注力していけるようメンバーを募集しているところです。

業務内容の詳細ですが、2020年に、今回と同様の採用説明会を行っています。そこでは業務内容、技術スタック、体制、現在の取り組み、オススメな方といった基本的なことを説明しました。その内容は、動画や記事の書き起こしがありますので、のちほど別途参照してもらえるとさいわいです。

3つの案件実績

同じ話をしてもおもしろ味がありませんので、今回は、業務内容をよりイメージしてもらうために、ここ最近の具体的な案件実績をいくつか説明したいと思います。

3つの案件実績を紹介します。まず1つ目の実績紹介は、オフィス新規構築時の設定自動化です。LINEには、数千名規模のキャパシティをもつ大きなオフィスがありますが、そういったオフィスですと、数百台のL2スイッチや無線APが設置されています。

社内ネットワークの業務では、機種選定、設計、コンフィグ作成などのほぼすべてを自営で対応していますが、数百台の設定の流し込みは単にルーチンワークであるため、今まで外部業者に費用を支払ってお願いしていました。お金を時間で買って、その浮いた時間をほかの業務に使うといったことを行っていました。

ただ、数百台分ありますので、外部業者にお願いすると、けっこうなコストがかかっているのが現状でした。そこで、ここのページで記載しているような、DHCP、TFTP、Ansibleといったものを利用することで、自動的にまとめて設定を流し込めるようにし、費用や時間を抑えました。

続いて2つ目の実績紹介は、「Dynamic VLAN」です。今までLINEの大規模オフィスでは、/20などのサブネットで社内ネットワークを提供していましたが、この場合、特に無線LANの場合ですが、ブロードキャストドメインが大きいため、無線LANの品質に影響する設計となっていました。

ただ、この課題を解決していくための条件として、無線LANの品質にも影響するため、SSIDは増やしたくない点がありました。あとは、フロア移動しても、同じサブネットが使えるようにするために、フロアごとにサブネットを分割したくないという点がありました。

この解決策として、SSIDは現状を維持して、認証情報のUserIDによって、所属させるVLANを分けることで、小さいサブネットでネットワークを提供する方法にしました。

具体的には、UserIDの末尾が0の場合はVLAN Aを利用して、UserIDの末尾が1であればVLAN Bを使うといったように、認証サーバーとの連携によって、UserIDの末尾の値で所属するネットワークを分けています。

もともとDynamic VLANは、社内ネットワーク、IoT用、ゲスト用など、目的別にVLANを分離する目的で数年前から利用はしていたのですが、今回のような、同じ役割のネットワークで分離したい目的でも利用を開始した、という状況です。

続いて3つ目の実績紹介は、ネットワーク接続ログの可視化や一元化のために、「OfficeNet」と呼ばれるシステムを構築した件です。

今までの課題として、ネットワーク認証、DHCPなど、さまざまなログを取得していたんですが、バラバラに管理しているため、それらの紐づけが面倒な状況でした。

また、そのログからさらに、社員情報、資産管理データベース、座席管理システムなどを管理システムと照らし合わせながら確認することも面倒な状態でした。

そこで、そういった課題を解決して、いつどこで誰がどこにネットワークを接続したかを検索できるシステムを構築しました。

さらに、このシステムでは、アクセス権限を考慮しつつ、ITスタッフや社員へ公開することで、ネットワーク部署への問い合わせなしで、各自でも状況を確認できるようなセルフサービス化を実現しています。

具体的には、バックエンドとして、各種ログや、ネットワーク機器の資産管理情報を「Elasticsearch」に溜めて、そのデータを使って可視化を行っています。さらに社員情報、AP設置場所、PCの資産管理情報、有線LANを利用している座席位置などの各種システムと連携を行って、一元的に可視化を行っています。

今回いくつか実績を紹介しましたが、このページでは、今後取り組みたいと思っていることをいくつか記載してみました。本日は時間の関係で詳細説明は省略しますが、まだまだ今後もいろいろなことにチャレンジしていきたいと思っていますので、ぜひ一緒に対応いただける方の応募をお待ちしています。

社内ネットワークに関する説明は、以上になります。続きまして、データセンターチームの江さん、お願いします。

データセンターチームの仕事

江涛氏（以下、江）：データセンターチームの江と申します。私からは、データセンターチームの仕事について説明いたします。

まず簡単に自己紹介なのですが、私は前職で通信キャリアの会社においてサーバールーム構築担当をしていました。2018年1月にLINEに入社して、それ以降はずっと、国内外の各種サービスを提供するためのデータセンターの確保、サーバールームの構築および運用を担当しています。

では、データセンターチームの仕事について紹介いたします。まず、データセンター事業者に対しての、LINEが自社で運用するデータセンターの選定、構築がメインの仕事になります。その中に、データセンター事業者との交渉と、データセンターのインフラの評価を行っています。

下の地図を表示したように、日本では3拠点あり、さらに3拠点増やす予定で、シンガポールでは2拠点あります。国内のみならず海外にも、自社運用するセンターがあるので、海外事業社に対しても交渉するケースはあります。

あと、サーバールームの新設、増設、リノベーションに関してのプロジェクト管理、スケジュール管理の仕事があります。それと、データセンタースペースのキャパシティ管理と、今後のキャパシティの予測といった仕事内容もあります。それと、データセンター事業者、工事会社、あと製品のベンダーに対してのマネジメント業務もあります。

最後に、新製品、新技術に対しての検討、評価があります。直近ですと、先ほどお話のあったOCPのパワーシェルフであったり、OCPラックであったり。システム室と合同で調査して、OCPの電源効率の向上具合やLINEに対してのサービス展開の可能性、それとオペレーション上の難点について検証していました。

では、簡単にチームについて紹介します。現在チームメンバーは、マネージャー1名、メンバー3名の構成となっています。サーバールーム構築においては、ファシリティを先行するケースが多いので、プロジェクトをリードすることがあります。

その中に、サービスネットワークチーム、エンタープライズネットワークチームと、システム室、購買室との連携が多く発生しています。

データセンターサーバールームの構築

次は、みなさんイメージしやすいように、データセンターチームの中に、一番メインの仕事である、データセンターサーバールームの構築について簡単に説明します。

まず構築において需要があったら、購買室と連携して、データセンター事業者に対して、RFI、RFPを実施して、各社からプロポーザルもらったあとに、スペック名、経済面でレビューし、サイトビジットを行って、インフラの実際の状況を見て評価します。

そのあとに、1、2社のデータセンタープロバイダーを絞って、経済面、SLAに関してさらに交渉して、最終的に1社に対して契約を行います。さらに、社内のITSC向けに構築スケジュールとタスクリストを作成して、プロジェクトをキックオフして、今後の構築定例会議もあわせてスケジューリングします。

それと、データセンター事業者に対しても定例会議をして、構築のスケジュールだったり、インフラの仕様だったり、今後の運用についてもタスク管理を行います。また、構築に関連するラック工事、あと、ラックPDU、ケーブルなどの各種ベンダーに対して発注して、必要に応じて複数社に対してRFPを実施して1社を選定するという仕事があります。

それが終わったらサーバールームが、晴れてデータセンタープロバイダーから引き渡しされて、ようやくLINE側の工事、構築がスタートして、その中の工事、構築のスケジュール管理、工事の管理を行って、構築時に起こったトラブルに対して対応していきます。

問題なければスケジュールどおりに、サーバールームがSinして、ようやくサーバーができる体制になります。

そのあとに、データセンターの中で起こったトラブル、例えば、電源の障害の部分とか、あとメンテナンスのスケジュール管理とか、あと運用で発生した日々の課題に対して、解決していくという仕事になります。

データセンターチームの仕事の魅力

次、データセンターチームの仕事の魅力について簡単にお話しします。まず、LINEのビジネスが、最近各領域に拡大することにつれて、データセンターの需要も増えています。それにかかわる仕事ができます。

2点目については、ユーザー企業であり、LINE自体がデータセンターを契約するケースがたまにありますが、ただ、LINEの契約規模は桁外れであり、さらに各種サービスがありますので、常に規模の大きい案件にかかわれます。

それと、基本、交渉事も改善もマネージャーのサポートはありますが、データセンターチームのメインの担当者が主体になりますので、裁量が非常に大きいというのも魅力点になります。

あと、データセンターの中の物理的な部分は業務委託に任せているので、データセンターチーム側は、企画、構築、運用の部分の上流工程にかかわる仕事がメインですので、それも魅力点となります。そして、新しいデータセンター技術だったり、製品のトレンドにかかわる仕事もできます。

求める人物像

最後、求める人物像に関して簡単に説明します。まず、データセンターに興味がある人が第1ですね。

2点目が、電力、Cooling、もしくはDCIMなどのインフラ技術の専門性を持っている方が歓迎されます。それと、データセンターチームの仕事は、メインがプロジェクト管理が多いので、プロジェクトマネジメントの経験がある方が歓迎されます。

それと、各部署に連携することが多いので、ネットワークだったり、サーバーだったり、そういった部分に対してある程度知見がある方がいいと思います。

また、構築プロジェクトが並行でいくつか走っているケースが多いので、マルチタスクがうまく対応できる方を歓迎します。

さらに、データセンターにおいてのコスト管理が多いので、よく「Excel」で数字をいじるケースが多いんですけど、そういうところで、数字が嫌いじゃない方がいいと思います。加えると、交渉がどうしてもデータセンタープロバイダーの部分に発生することがありますので、コミュニケーションなど交渉が得意な方が一番いいと思います。

最後、データセンターに起こった課題や今後の戦略の部分で、そういった考えがある人が歓迎されます。では、データセンターチームおよびネットワーク室の仕事紹介は、以上となります。