グローバルデータレイクについて

Chetan Venkatesh氏:では、グローバルデータレイクネットワークについて話をしたいと思います。(スライドを示して)こちらの3つの要素から成り立っているのがGDN(Global Data Network)です。1つ目がグローバルなデータレイクです。マルチリージョン、マルチクラウドで、S3と互換性のあるのがデータレイクのテクノロジーです。

データレイクというと、通常は1つのプロバイダー上のみで構築されています。例えばAWSやAzureなどというように、1つだけを思い出すと思います。しかし、データを取りだしてほかのAmazonのリージョンに持っていくことはできません。(他の)クラウドのプロバイダーに移行することもできません。

今お話ししているのはグローバルなデータレイクなので、例えば東京で入れたデータをシンガポールで見ることができる、上海で見ることができる、ロンドンでも見ることができる。世界の主要なマーケットにおいて(近傍からデータを)瞬時に引き出すことができます。これがデータレイクがグローバルなビジネスをサポートできる理由です。

(GDNの要素の2つ目として)リアルタイムでのAIコンピュートエンジンをエッジで提供しています。つまり、ユーザーさまがデータを使うにはコンピュート機能が必要です。

そしてその演算能力の要求はどんどん高まっています。マシンラーニングであったり、データを活用したり、非常に多くのコンピュート能力が必要になります。なので、みなさまのデータフットプリントをうまく活用して、グローバルデータレイクも活用してほしいと思います。

そして3つ目の要素がとても重要なんですが、アプリケーションをさまざまな国々、いろいろな州で作っていくと、地域ごとにいろいろな要件あるいは規制があります。そうした(地域ごとの)コンプライアンスに対応することが重要になりますが、グローバルデータレイクであれば、リアルタイムでのAIエンジンをエッジで活用できます。(最適な)データガバナンス、プライバシー、そしてローカライズができるのがGDNです。

今から詳細をちょっと見せていきます。グローバルデータレイクというのは、S3互換性のある非構造化データです。そして、100テラバイト以上の非常に大きなデータに対応しています。

独立した1つのクラウドを使うのではなく、Akamai Connected Cloudなどをニュートラルに利用しています。

利用者は、グローバルデータレイクを使って非常に効率良くデータを活用しています。グローバルデータレイクはS3以上のもの、さらに進化しているものになっています。

なぜかというと、Vector (Data) Store機能が直接入っているからです。なので、みなさまがデータをデータレイクに導入すると、VectorStoreが自動的にデータを取り出してパースして、ナレッジとかいろいろな知識を活用して使えるようになります。

Vector Storeは、生成AIのコアシステムだと理解してもらっていると思います。「ChatGPT」とか「‎Bard」とか、そうしたもののコアになっていますね。なので、データをすべて活用してデータをつなげていくことになります。グローバルデータレイクは、そういうVector Storeを使うにあたっても非常に効果的だということです。

クラウドシステムや、データプロバイダーがさまざまありますが、データストリーミングにも非常に活用ができます。

また、Vector Storeが自動的にすべてのデータを活用して、例えばPDFのようなドキュメントであったり、ログであったり、あるいは非構造化データでもかまいません。データストリーミングとかをすべてVector Storeに入れると、Vector Store が自動的にそれをセマンティックに分類をしてくれるわけです。

ここで興味深い予測をしていきたいと思います。それはリアルタイムなAIエンジンです。生成型AIのアプリケーションでも、Vector Storeを活用しています。

LLMを用いたRetrieval-Augmented Generationの役割としては、みなさまのデータを安全なかたちでコード化して、そしてLLMが分類をして第三者に提供します。

みなさまのデータは、独立したかたちで(グローバルデータレイクに保存されて)セキュリティが担保されます。それから、データがVector Storeで抽出されて、英語であったり日本語であったりというかたちで自然言語に変換されて返されます。グローバルデータレイクでは、このようなかたちでリアルタイムでデータファブリックを活用できます。

そして、この処理を行うのに先端的なコンピューター言語を学ぶ必要はありません。これは、例えばeコマースとかゲームとか、IoTとかヘルスケアとか、モバイルにも応用できると思います。Akamai Connected Cloud上で動いている、MacrometaのGDNの一部のAPIを使うだけで、利用、構築できます。

そして、3つ目のデータガバナンス。さまざまな地域で運用されるわけなので、セキュリティとかプライバシーとか(データ保存などの)法規制に、より簡単に遵守できるようになります。

ハイパースケールクラウドとの違い

では、このGDNがハイパースケーラーのクラウドとどう違うのか。ハイパースケーラーの場合は、(データの置かれる場所や、処理する場所が)1箇所です。GDNは大規模に分散されたクラウドです。世界中にたくさんあるわけです。つまりエンドユーザーがいるところにグローバルで一元化されたデータや処理を置けるわけです。それが未来のアーキテクチャということですね。

(スライドを示して)私たちの提供する Hyper-distributed Cloud (超分散型クラウド) は地理的にこのように分散されます。

ハイパースケーラーのクラウドというのは何百もの場所にあると言いましたが、GDNの場合は1つのコントロール拠点があります。そこからみなさまのデータとかを(一元的に)コントロールできます。

パブリッククラウドは各地域でそれぞれ違った方法で展開されています。なので(GDNを利用するような)グローバルな視点を持つことができません。

そして一番重要な視点は我々Macrometaの対応ですが、エグレスが無料になっています。通常はエグレスフィーを払わなくて良いということになります。クラウドプロバイダーのデータベースから、元データを取って処理しているわけではないので。通常は非常に高いですよね。

そのあたりについて今から見せます。なにが起こっているかというと、MacrometaとAkamaiは真のマルチクラウドのファブリックになっているわけです。アプリケーションをMacrometaのGDNに移行すると、すべてのクラウドプロバイダーにオンデマンドでつなぐことができます。みなさんはロックインされることなく、つなげることができます。

これによって、データの重力に捉われることなく、データの自由、そしてデータの流動性が生まれます。みなさんが管理できるようになる。特定のアーキテクチャの囚われの身ではなく、みなさんのデータやアプリケーションは中立的なローコスト、脱ロックインになっていくわけです。

Akamaiこそが(この分野の)リーダーです。より深く、そしてより高速なデータの配信をしていて、低遅延です。だからみなさんも活用しているんだと思います。

Macrometa、Akamaiの活用事例

ここから、いくつか例を見ていきたいと思います。Macrometa、そしてAkamaiをどう活用できるかの例を見ていきたいと思います。

みなさん、アプリケーションの構築とかAPIの構築に関心があって、それらによってビジネスを前に進めていきたいと考えていると思います。では、それをどういうふうにやっていくのか。これまではパブリッククラウドで構築していました。(スライドを示して)ここにあるようなハイパースケーラーです。そして、Akamaiをデリバリープラットフォームとして、セキュリティプラットフォームとして使ってきたと思います。

これまでみなさんがこういったかたちで使ってきました。そして約1年半前にAkamaiがLinodeを買収しましたが、これによって非常に差別化された高度なアーキテクチャが実現されました。

これはコントロール&トランジットプレーンと言っていますが、非常に深いコンピュートと、プライベートネットワークがあって、非常にハイパフォーマンスなストレージも実現できています。

なにに使うのかちょっと混乱しているかもしれません。「ここでパブリッククラウドを使うのか、Akamaiを使うのか、どっちなんだ?」と思っているかもしれません。答えは両方です。可能な限りのすべてテクノロジーやプラットフォームを活用していくべきだと思います。ただ、今までそれは簡単ではありませんでした。

(スライドを示して)Macrometaは、この位置に入ってきます。Macrometaはデータインテグレーションファブリックにアクセスします。MacrometaはAkamaiの上にあって、そしてデータアセットをグローバルでつなげます。そしてすべてのデータをMacrometaに保存して活用しています。

どのようにやるのかを見せたいと思います。データはMacrometaにあります。このレイヤーにデータを格納して処理し、APIやその他いろいろな手段を通してAkamaiのCDNプラットフォームから配信します。このアーキテクチャは世界中の複数のリージョンで構成されています。ハイパースケーラーでは、1つのリージョンでやっていました。

ここにマジックがあります。データを自由にするということです。パブリッククラウドにデータを保存する代わりに、Macrometaに保存します。構造化データはグローバルデータベースに、非構造化データはグローバルデータレイクに保存します。

すべてMacrometaに保存すれば、Akamaiのネットワークを使うことができるわけです。オンデマンドで使えます。どんなコンピュートプロバイダーであっても使うことができます。そして数秒でデータを活用し、やりたいコンピュートができるわけです。

この時、データはクラウドプロバイダーから出されるわけではありません。データはMacrometa上にあります。そしてデータをオンデマンドでアタッチします。リアルタイムで貼りつけていきます。そして、それによってワークフローとかコンピュートを自分の思うようにできるようになります。

これが非常に大きな強みになります。というのも、非常に高額なコンピュートインフラなどから離れて、オンデマンドで、スポットで使うことができる。さまざまなクラウドプロバイダーの高価な価格にとらわれる必要はなくなります。

Akamai自体も本当に最高のコンピュートサービスを提供していて、みなさんもそれを活用していると思います。いろいろなクラウドコンピュートサービスにも移行することも可能になります。

顧客の活用事例

ここからは、実際の顧客が我々のプラットフォームをどういうふうに活用しているか紹介していきたいと思います。(スライドを示して)こちらは、世界最大級のインターネットサービスプロバイダーですが、主にAWSを使っていました。そして、データインフラ、S3、ネットワークトランジット、マネージデータなど、コンピュートで使うさまざまなところに多額の投資をしていました。

これを、Macrometaで実装し、そしてグローバルデータレイクを導入することによって、AWSのコストを70パーセントも下げることができました。データをMacrometaプラスAkamaiに置き、そして分散することができました。そしてエグレスコストも減らすこともでき、最も安価、そして効果的なコンピュートエンジンを使うことができるようになっています。

1年目ですでに50パーセントの費用削減できています。つまり、1,200万ドルから600万ドルにまでコストを下げることができています。MacrometaとAkamaiのコストを含めたかたちでも、全体で50パーセントの費用を下げることができています。

そして、その下げた分をイノベーションに充てられる。新しいアプリケーション、新しいAPIの開発、そしてさらなる戦略的なイニシアティブ施策につぎ込むことができるようになったわけです。

もう一つの事例ですが、非常に興味深い生成AIの事例になっています。非常にすばらしい事例です。現在は、気候変動の時代です。アメリカ、特にサンフランシスコで気候変動は非常に深刻な課題になっています。

特にアメリカの南西部は、ハリケーンが毎年やってきます。私が住んでいるところは、山火事とか地震とかいろいろな災害があって、非常に厳しい環境にあります。また、洪水も起こります。フロリダのような場所では、洪水があって、お客さまのサポートセンターでは加入者から「火事です」とか「火災です」とか、「洪水の損害に対してカバーされているのか、保証されているのか」という問い合わせが入ってきます。

加入者が求める、問い合わせてくる情報を提供できる人が必要でした。そこで、「ChatGPT」をbotで活用して、こういったお客さまの質問、問い合わせに回答できるようにしています。

botをうまく使うことができれば、非常に戦略的なツールになり得るわけです。そして、お客さまを喜ばせる、顧客満足度を上げる上で非常に重要なツールになるのです。そういったところを保険会社に対して適用しています。

このデータはいろいろなところに分散しています。保険契約の情報とか、財務情報、いろいろな情報がありますが、これをグローバルネットデータレイクに保存します。Vector Storeで、自動的にさまざまな情報を取り出します。契約者の個人情報とか年齢情報とか、財務情報など、必要なところにいろいろなものを取り出すことができます。

セマンティックサーチですべてのものを検索できるようにもなっています。すべてグローバルデータレイクに保存されていて、アメリカ国内、顧客がどこからでもアクセスできるようになっています。

ステップ2でも、グローバルデータレイクの上でこれを活用しています。お客さまから「現在の契約でどれくらい補償されるか」と聞かれます。「火災とか洪水でカバーされているのか。そういった時に、こういったところに対する保険を追加するにはどうしたらいいのか」という(ような詳細な質問に対応するため)です。

サポートセンターであってもこういったタイプの質問に答えるにはトレーニングが必要なわけですが、こういった質問がどんな言語であっても、10の言語モデルに対応するかたちで、Vector Storeの処理でプライベートの仕様の契約データとクエリのシステムと組み合わせて、回答を作成しています。

TLM、グローバルデータレイクを見て、それを基に回答をしていく。単純にその回答だけではなく、契約の書類や情報も参照して生成します。また、基本的には生成AIのアプリケーションなので、キーワードベースの検索よりもさらに多くの情報を提供することができます。これが次世代のアプリケーションであるということですね。

戦略とは、選択とトレードオフを行うことである

というわけで、MacrometaはAkamaiとパートナーシップを結ぶことによって、このような重要なケイパビリティを得ることができたわけです。

市場投入までの時間を短縮できるし、また、さまざまなオペレーション上の煩雑さ、リスクも軽減できます。また、技術的な制約や負荷ではなく、イノベーションに注力することができるようになります。より試算しやすく、予算上もポジティブなインパクトが出ると自負しています。

Global Data Networkが実現できることをまとめると、まずは、みなさまが今のところ人質となっているような、ロックインされているような状況から、データが機動性があってよりアジリティのある状況になります。また、データが戦略的なアセットになっていくということです。そして、リアルタイムで活用できるようなかたちになります。

では最後に、ハーバード・ビジネス・スクールの先生ですが、戦略の父であるマイケル・ポーターさんの美しいある言葉を紹介したいと思います。「戦略とは、選択とトレードオフを行うことであり、それは、あえて他と異なる独自性を選ぶということである」。

みなさま、Connected Cloudの力をぜひ試してほしいと思います。ご清聴ありがとうございました。