SUPERBIRDが採用した4つのアプローチ その1「中央集約」
山中勇成氏：SUPERBIRDが採用したアプローチを4つ紹介いたします。1つ目は中央集約。2つ目はエンコーダーリプレイス。3つ目は監視設備の強化。4つ目は新配信管理画面です。それぞれ紹介していきます。
「ぼくがかんがえたさいきょうの配信システム」、1つ目は中央集約です。インターネットでのインジェストは、第三者の影響を受けやすいです。これはプロバイダを利用している他の利用者がトラフィックを流しすぎるのもそうですし、2017年に大規模なインターネット障害がありましたが、インターネットはベストエフォートの世界に成り立つので、どうしても第三者の影響を受けやすいです。
ではスタジオと、例えばクラウドに専用線をつないだら解決するのかというと、そうすると、柔軟なスタジオの増減に対応できないという課題があります。
ということで、私たちは、各スタジオとデータセンターを専用線で結んで、データセンターとクラウドをプライベートピアで結ぶハブのような構成を作りました。これによって安定した回線で、映像をインジェストできます。
次に、先ほどのようなハブの構成を作ったうえで、どのように映像を伝送するか技術を選んでいくターンになります。現場では、スタジオからHD・SDIや、4Kの信号を受け取って、最終的にクラウドでH265のRTPなどでインジェストするかたちになります。
中間の技術はこのSUPERBIRDのプロジェクトで自由に決められます。例えば非圧縮の伝送を現場からデータセンターまでして、データセンターで圧縮して送ったり、現場ではTICOで送ったり、データセンター側で1回SDIに戻してルーティングしたりと、いろいろなパターンが取り得えます。
私たちは、IPベースの伝送を選択しました。サイバーエージェントには、データセンターのエンジニアが多くいて、非圧縮よりもIPベースであるので、自社で開発とメンテナンスが可能というのが選択の大きなポイントでした。
この図にあるとおり、データセンター側にマルチキャストのネットワークを組み込んで、常設のスタジオからはエンコーダーからマルチキャストのRTPを送信しています。これは先ほどの柔軟なポイントの1つですが、外配信の現場では、ここからエンコーダーでマルチキャストに通信することがなかなか難しいので、Zixiなどのプロトコルで送って、データセンター内でマルチキャストのストリームに変換しています。
なぜ、エンコーダーをスタジオ側に設置したかというと、外配信の現場は、非圧縮の待機を確保するのがなかなか難しいので、外配信現場に柔軟に対応するためにこの現場にエンコーダーを置いています。だいたい15Mbpsの圧縮レートにしています。
データセンターで圧縮、さらに圧縮してインジェストするという手もあったのですが、これを行うと現場のスタジオでもエンコードして、データセンターでもエンコードして、二重のエンコードによって画質の劣化する可能性があるので、現場にエンコーダーを設置しています。
あとはマルチキャストネットワークです。先ほど触れましたが、SUPERBIRDではIGMP v3のマルチキャストルーティングを行っています。こうすることによって、スタジオの映像を各拠点や各機器で任意に取れます。スタジオの現場モニターでエンコーダーの映像を視聴したり、監視モニターで見たり、データセンターの中継サーバーでエンコーダーの映像が欲しい時は自由に割り当てたりすることが可能です。
SUPERBIRDが採用した4つのアプローチ その2「エンコーダーリプレイス」
2つ目です。エンコーダーリプレイスですが、エンコーダーは、世の中にけっこういろいろなものがあります。求める要件は一部ですが、品質の高いエンコード。24／7の稼働率。あとはテロップの挿入ができること、CM挿入サポートができることをターゲットにして探しました。
実際にいろいろな機器を借りて検証しているのですが、仕様だけではわからない部分が多いので、実機を借りてたくさん検証しました。
ほかにもABEMAおいて重要なのがCM挿入なのですが、今はクラウド側で挿入しているので、どうしてもCMの挿入タイミングにブレがあります。これをSCTE-35のキューの重畳によることによって、CMの挿入タイミングの精度向上を図っています。
先ほどクラウド側でCMを入れると言いましたが、CMが入ったタイミングを現場はアプリで見て気づく現状だったのを、エンコーダー側でCMが入ると「CM中です」と静止画に差し替えることによって、現場で「あ、今CMが入った」とタイミングがわかるようにしています。実際にいろいろなエンコーダーをこのような感じで選定しました。
SUPERBIRDが採用した4つのアプローチ その3「監視設備の強化」
3つ目ですね。監視設備の強化というところで、ABEMAでは、生配信を常に監視しています。今まではスタジオの一角でやっていたのですが、これを電源の冗長された、スペースがすごく確保された新しいビル施設に移行しました。レガシーな監視からの脱却というところで、この2点を紹介いたします。
1つ目はGrafana／Zabbix導入で、ITの業界だとこのあたりは常識みたいな感じですが、映像の監視においてはすごくレガシーだったので、エンコーダー・中継機機とIP MVからの機器を取得してGrafanaとZabbixで見られるようにしています。
従来のSDIのマルチビューではルーティングの設定や同軸ケーブルが必要だったのですが、IP型のマルチビューワーの導入によって受信PCの削減だったり、映像内部の無音であったり、黒味であったりを検知可能になりました。
SUPERBIRDが採用した4つのアプローチ その4「新配信管理画面の開発」
最後に、新配信管理画面です。現状運用している管理画面から、現場の意見をヒアリングしたうえで、現場が使いやすい管理画面を開発しています。
例えばどういうところかというと、インジェスト先のアドレスです。今まではアドレスに打ち上げるのをエンコーダーに入力していたので、アドレスやパスワードを入力する手間があったのですが、新しい管理画面では、管理画面上からどのエンコーダーで配信するを選択するだけになっています。また、テロップを簡易的に入れる処理もこの管理画面上で実現しました。
ほかにも、けっこうこだわったポイントがあります。今まではブラウザのUI上で「CM挿入」とボタンを押していたのですが、これだと誤クリックなど確実性に欠けるという懸念がありました。これをSUPERBIRDのチームでは、HIDとして認識する新ボタンを設計・発注して、Web ID、HIDの技術を通してブラウザと通信するようになっています。
このあたりの新配信管理画面のアーキテクチャに関しては、話しているとちょっとキリがないので、またどこかでお話ししたいと思います。
ということで、まとめと今後です。ABEMAに次世代インジェストアーキテクチャを検討して導入しているという話でした。実際に利用可能になるのはもう少し先になります。
あと、入社していろいろなわがままを言い続けていたら、いつの間にかプロジェクトになって、新卒数年で、大きなプロジェクトを動かせたのは非常にいい経験だったかなと思いました。また、現場の意見をヒアリングして実現するのはすごく重要かなと思います。
インジェストレイヤーにエンジニアリングできる体制を整えられたので、今後は、より高画質な配信や低遅延な配信など、エンジニアリングで映像の配信の改善に着手していきたいと思います。ご清聴ありがとうございました。
