2024.12.10
“放置系”なのにサイバー攻撃を監視・検知、「統合ログ管理ツール」とは 最先端のログ管理体制を実現する方法
提供:株式会社ABEJA
リンクをコピー
記事をブックマーク
岡田陽介氏(以下、岡田):みなさんこんにちは。改めまして「SIX2018」にご来場いただきまして、誠にありがとうございます。
(会場拍手)
今回のイベントなんですが、3,000人以上の方にご登録をいただきました。この3,000人の方々全員をお呼びしたかったんですけども、今回はここにいる限られた方々のみとなっています。
ですので、ご来場いただけなかった方々のために、ぜひ「#abejasix」のタグを使ってSNSで拡散をしていただけますと幸いです。多くのスポンサーの方々やサポーターの方々によって運営をされています。誠にありがとうございます。
なぜ「SIX」なのかというところなんですけども、我々の核である「Society Implemented by X」。つまり「社会に実装していく」という意味を表す頭文字「SIX」を取ったものです。
ABEJA、つまり蜜蜂、の巣である六角形、ヘキサゴンの「6」。そして2011年、12年。2012年のブレークスルーからの6年。そしてABEJAが創業から6期目を「SIX」というかたちで、このイベントに使っています。6年間なんですけれども、AIにとっては驚くべき6年間だったと考えています。
2012年の10月。トロント大学のジェフリー・ヒントン教授がディープラーニングによる画像認識精度で10パーセント以上の精度改善に成功したことを皮切りに。ゲームに対しての適用。2015年には人間の画像認識精度を越える。そしてロボットへの適用。そしてみなさまも記憶に新しい、囲碁において人工知能が人間に勝つという偉業まで起きています。近年では、これまで認識のみであった人工知能が画像を生成することにも成功しています。まさにAIにとって驚くべき6年間でした。
同時に、ABEJAにとっても驚くべき6年間でした。2012年の9月に株式会社ABEJAを創業させていただいてから、多くの投資家の方からご出資をいただき、2014年にはSalesforceさまとも資本提携をさせていただいています。
その後、「ディープラーニングベースシステム」を三越伊勢丹ホールディングスさまにご採用いただき、世界で初めて小売業向けのディープラーニングベースのSaaS、ソフトウェアアズアサービスシステムをリリースしました。
その後、ダイキン工業さまと提携させていただき、海外にもシンガポール法人を設立させていただいています。そして昨年5月、AIの巨人であるNVIDIAさまと日本で唯一資本提携を結ばせていただいています。
これまでのABEJAは、まずお客さまベースですと現在100社以上の会社にご採用いただき、すでに7,000以上のバーチャルコンテナを稼働しています。
ネットワークトラフィックに関しては、1日あたり10TBを超えるデータを転送し、IoTのエンドポイントは4,000を超えてきています。非常に大きく、みなさまのおかげで成長させていただいています。誠にありがとうございます。
多くのお客さまに支えられている背景があります。コマツさま、ダイキン工業さま、リクシルさま。多くの会社に我々の仕組みを採用いただいています。これが今までのABEJAです。
本日2018年2月22日に我々ABEJAは、フェーズ1からフェーズ2に移行していこうと考えています。こちらが、我々が本日から使用させていただくコーポレートロゴになっています。
このロゴの刷新に合わせて、今まで定義させていただいておりました「Technopreneurship」。実際にいろいろな「テクノロジー(Technology)」を使って、いろいろなものに対してイノベーションを起こしていくものと、そのイノベーションを正しい方向性に使っていく「リベラルアーツ(Liberal Arts)」の観点。
そして、これをドライブさせていくという「アントレプレナーシップ(Entrepreneurship)」。この概念によって初めてイノベーションで世界を変えていくと我々は感じています。
その背景の中でビジョン「イノベーションで世界を変える」を中心に、タグライン「ゆたかな世界を、実装する」。ミッション「テクノロジーの力で産業構造を変革する」。こういった新しいコーポレートメッセージを本日から展開させていただきます。
現在、このコーポレートメッセージを体現する10ヶ国以上のメンバーが在籍していまして、非常にダイバーシティのある組織になっています。
この記念すべき日を、みなさまとご一緒に迎えるに当たり、本日「SIX2018~革新的AIの連鎖がはじまる日~」を企画したことが、このイベントの大きな趣旨でございます。
それでは、あらためて「今、世界で何が起こっているのか?」から簡単にお話しさせていただきます。
今、世界は第4次産業革命真っ只中と言われています。産業革命は、どれか特定の産業分野がイノベーション、産業構造の変革が起きるのではなく、すべての産業がまったく同じようなタイミングで根本から変わってしまう。そういったことが産業革命の定義になっています。
その中で19世紀、ワットの蒸気機関から始まったイギリス産業革命。電気によるエネルギー革命。そしてコンピューター、インターネットによる情報革命。
そして今まさにIoT、ビッグデータ。人工知能による4次産業革命が起きているのが、今の状況だと考えています。
これまで我々人類は狩猟社会、農耕社会、工業社会、情報社会と4つの社会を体験してまいりました。その中で、今まさに4次産業革命が起こることによって「Society5.0」。第5の社会を迎えようとしている状況です。
そのような世界で、日本に多くの課題を抱えています。具体的に申しますと日本の総人口、生産年齢人口は現在、共に減少してきています。
(スライドを指して)ピンク色のグラフなんですが、2020年には生産年齢人口が主に7割ぐらい減ってきている。それが現状です。そういった課題点をどう克服していくのか。その1つの解として我々はAIに着目しています。
このAIなんですけれども、大きく分けて人工知能は、非常に広いかたちで分野が定義されています。
まず、この人工知能という大きな枠組みの中に、例えば「知識表現」「演繹推論」「帰納推論」、そして「機械学習」です。その機械学習の中に「SVM」「K-Means」「Topic mode」「Neural Network」。そういったモデルがいくつか分類されています。
そして「Neural Network」の中にも「Perceptron」や「ディープラーニング」といった分野があり、このディープラーニングの中でも「CNN」「RNN」「AutoEncoder」といった、いろいろな分野に展開される。
まさにAIといった言葉が、大きな枠組みの中で、その一分野としてディープラーニングがあることが、今の研究の状況です。1956年に、初めてAI(Artificial Intelligence)といった言葉が生まれ、この分野から、多くの研究者の力によって、いろいろなAIのアプローチが進んでまいりました。
その中で、2012年、ついにイノベーションがおきました。今まさに2018年、この2012年に起きたところに注力をする必要がございます。
ですので、ディープラーニングによって今後、「認識」「運動の習熟」「言語の意味理解」が、どんどん克服されていくと考えていまして、そういったものに対してイノベーションの余地が大きい分野。この分野に多くのサイトさま、多くの方々が注目する必要があると考えています。
まさにディープラーニングがイノベーションを加速させている。これが今の現状でございます。このディープラーニングがイノベーションを加速する。これはどういうことなのかと申しますと、これまでビジネスにおいては技術的な制約によって越えられない壁がありました。
これを、今までの技術で克服しようとしますと、この壁に阻まれてしまい、結果的に、何もイノベーションが起きない。
ただ、2012年。ついにディープラーニングの登場によって、この壁を超えることができるようになった分野がいくつかございます。この分野に対して、イノベーションを起こしていく。そのため、ディープラーニングが非常に重要になります。
ではこのイノベーションというのは具体的に何なのか。大きく分けて、我々3つほど例を上げさせていただければと思います。
1つ目は、そもそも例えなんですけれども自動化。自動化は絶対できないと言われていた分野がディープラーニングによって可能になった。
2つ目は今まで人の制約により事業拡大ができなかった分野に対してのイノベーション。熟練者のノウハウ。現状、多くの年月を経て手に入れた方々の熟練のノウハウが継承できない。これが課題になっている。
3つ目、過疎地域において、そもそも人を絶対に採用することが難しい会社における事業の継続。こういった社会問題がいくつも現状あるかと考えています。
こういった社会問題に対して、ディープラーニングを活用することによって、社会問題を解決できる可能性が非常に高いと我々は思っています。
こういった社会問題を解決する。社会課題を解決するほど可能性が高いために、GAFA(注:Google, Apple, Facebook, Amazon)と呼ばれる企業や多くのアメリカのベンチャー企業は、AI人材に関して多くの給料を支払って、多くの分野に投資をしている。これが現状のAI分野における全体像でございます。
ではそのAI、どうしたらビジネスに活かせるのかといった部分です。こちらのAIなんですけれども、大きく分けてAIは手法。方法論になってまいります。
ですので、基本的にはやりたいことを決めて、それに対してAIを適用し、そのAIの導入効果によって結果的に業績が向上する。こういったプロセスを経ていく必要があります。
ここでもっとも重要なことは、このやりたいことを確定するときに、間違えてしまうと、そもそも絶対にAIで解決できない問題であったり、ここを解決して意味があるのか、という問題に適用してしまうと、まったくもって到達することができない。解決することができません。
そのため、イメージといたしましては、もし今からAIに関して投資を始めようとなったときに、全体ではもしかしたら億単位の投資が必要な可能性も出てくるかもしれません。
ただし、この投資に対して指数関数的に利益が拡大する部分。こういった部分に対して集中して課題設定をして、AIを使って解決していく。こういった当たり前のことをしていく必要があります。
そういった問題を、まずはやりたいこととして確定した上で、あらためてAIが非常に生きてくる状況になっています。このAIを実際に使っていく中でも、多くの部分で実際にステップが存在しています。
まずAIを活用する上で必要なデータを取得、蓄積。そして学習。これを多くのところに展開する上でのデプロイ。最後に、それを運用していくための推論・再学習が必要になってまいります。
現状、多くのAIベンチャーは取得からデプロイの一部までの検証部分まではやられているところが多いんですけれども、実際に本番のところに適用されている事例はなかなかありません。
GAFAに関しても、取得や蓄積の部分に関しては、単純にブラックボックス化しているサービスも多く存在しています。
ですので、カスタマイズが難しい、そして完全にブラックボックスになってしまっている、AIのシステムの運用がやはり予想以上に難しい。今、こういった課題が多くの部分で発生している状況になっています。
この取得から最終的な推論・再学習までのプロセスを一気通貫してご提供させていただくのが、弊社ABEJAでございます。
では、この5つのプロセスなんですけれども、もう少しこれを細分化して見ていきたいと思います。
基本的には、このようなプロセスになっています。データの取得、蓄積、確認。教師データの作成、モデルの設計、学習。評価、デプロイ。推論・再学習といった流れになっています。
では、これを1つ使ってどういったかたちでブレイクダウンをしているのか、簡単に見ていきたいと思います。
まずはデータの取得、蓄積、確認なんですが、例えば、自動車を判定したい話でしたら、自動車の画像が必要です。パーツや部品を判別したいという話でしたら、部品の画像が必要になります。ファッションを判定したいのでしたら、ファッションの画像が、動物を判定したいのでしたら動物の画像が必要になります。
こういった実際のプロセスが必要になってきます。その中で今回は、サンプルとして動物の事例を使って簡単にプロセスを見ていきたいと思っています。
まず、この動物の画像に対して、教師データの作成が必要になります。では教師データの作成とは何なのか。まず人工知能に学習させる前に、そもそもこの画像はどういった画像なのかを、人工知能に覚えこませる必要があります。
人工知能は最初からパーフェクトではないので、何も勉強していない赤ちゃんのような状態です。そこに対して、「これはイヌなんだよ」「これはネコなんだよ」「これは自動車の部品なんだよ」。
そういったものを教え込んでいく必要がある仕組みになっています。そして、これは最初に関しては人工知能ができませんので、ほぼ人でやっていくといった作業でございます。
イメージといたしましては、こういった画像を見せて「これ何に見えますか?」「イヌです」。「これ何に見えますか?」「これネコです」。「これ何に見えますか?」「イヌです」と、こういった人がカチカチとしっかり地道にデータを集めて、教師データを作成していく必要があります。
作成したあとに、こういったかたちで各画像にタグが付いている状態になった上で、初めて人工知能で学習ができる状態の画像になった、データになった状態です。
このあとに、教師データを使ってどういったモデルにそのデータを覚えこませるかといったかたちで「CNN」「RNN」「AutoEncoder」のいろいろな手法を使ってモデルを成型してまいります。
このモデルを成型したあとに、大量のGPUを使って学習をしていくんですけれども、この画像、このデータ、そもそも全部学習に使ってしまうと、どれぐらいの精度でこの画像が判定できているのかをわかりません。
基本的にはトレーニング用・学習用に70パーセントから80パーセント。テスト・検証用・評価用に20パーセントから30パーセントぐらい、画像に分類をしていきます。
そしてこの学習用に使うデータを、このモデルに対してどんどん分類していって、学習をします。このときには、クラウドもしくはローカル上に高性能のGPUがなければ、この処理がぜんぜん終わらないことが課題となっています。
こういったデータを使って、今度は評価をしていくかたちになります。評価に関しましては、先ほど分けたデータに対して、20~30パーセントのデータを使って、実際にこのモデルでどれぐらいの精度が出たのかを検証していきます。
例えば、このモデルに対しては精度97.83パーセントが出ました。そういったかたちになると、このモデルは使える。
もしくは、このモデルが明らかにデータ精度が低ければ、もっとデータを集めなければいけない。もっとモデルを改善しなければいけない。そういった課題が必要になってまいります。
ではこの精度97.83パーセントで満足だという話になったあとは、これをデプロイしていく必要がございます。
こういったモデルを実際のコンピューターの自己検証のところにおいておき、それに対してインプットとアウトプットのAPI。周辺のシステムを整備して、実際の本番稼働で適応できる状態にしていくかたちになります。
そしてデプロイをしたあとに、実際にこれを監視・運用していくところに関して、推論というフェーズが必要になり、ほかの部分から何かしらこの仕組みを監視。統率を取っていくかたちになります。
これで統率をとっていきながら、最後は再学習といった問題が出てまいります。これはどういうことかと申しますと、機械学習、ディープラーニングはそもそも、デプロイした瞬間の精度がもっとも高くなります。
この部分から、時間が経てば経つほど同じモデルを使い続けている以上、確実に精度が落ちていきます。
それに対して、あるタイミングで再学習を回してあげる必要があります。その再学習が、そもそもデータを集め直す。教師データを作成する。そしてモデルを変えていくといった、いろいろなアプローチがあるんですけれども、そういったプロセスを回していかなければならない。そういったことが全体像になっています。
その中で、自動車の部品でしたら部品データを集めて、傷の箇所をしっかりとマーキングし、モデルをしっかりと設計してモデルの車種を予測します。ファッションでしたら、ファッションの画像を収集し、位置とカテゴリをラベル付け。「ここにスカートがありますよ」と定義して、モデルを作って、その予測をする。
こういったかたちで、それぞれやりたい事に対してしっかりとモデル、そしてデータを集めていく。そういった仕組みが必要になってまいります。
その中で、このプロセスが非常にディープラーニングにおいては、重要になってくるんですけども、この部分に多くの闇が存在しています。
どういうことかと申しますと、そもそも大量データの取得に必要なAPI。負荷分散の仕組み、セキュリティをどう担保したらいいのか。データウェアハウスをどのように準備・管理したらいいのか。データの正確性をどう保証するのか。教師データを作るためのツールや人材をどうするのか。ゼロからのモデル設計をどうするのか。多くの課題が存在してきているのが今の現状になっています。
ですので、このパイプラインに数多くの課題が存在する。そういった課題を解決していく会社が、株式会社ABEJAでございます。
「ゆたかな世界を、実装する」。こういった課題に対して、しっかりと豊かな世界を実装するために、我々はプロダクト、製品を紹介しています。
具体的に言うと、これまでABEJAは「ABEJA Platform、ABEJA Platform for Retailをご提供させていただきました。この製品ラインナップを本日、リブランデイングをして事業の再定義をしていきたいと思っています。
「ABEJA Platform」に関しましては、よりロゴを洗練させていただきます。「ABEJA Insight」に関しては、これまで「ABEJA Platform for Retail」といった産業特化別のアプリケーションをリブランデイングします。
まずはこのABEJA Platformからご説明をさせていただきます。まずABEJA Platformにつきましては、Platform as a Serviceといったモデルでの提供になっています。
通常ですと、ディープラーニングをやるのに必要な、(スライド)一番下にあるプロセッサー。GPUやCPUといったもの。その上にクラウドやオンプレミスデータセンターを用意して、その上で実行していく必要があります。
ですが、我々のPlatform as a ServiceであるABEJA Platformをご活用いただくことによって、こういったプロセッサーであったり、クラウドやオンプレミスデータセンターを一切気にすることなく、プラットフォームですべてを統合管理させていただいていますので、そういったところをとくに気にする必要なく、いろいろなプロセスをご提供することが可能です。
具体的に、現状ABEJA Platformの中で多くのディープラーニング フレームワークにも対応させていただいており、パイプラインマネージメントやオペレーションの自動化といったさまざまなサブ機能もご提供をさせていただいています。
それを簡単に操作できるようなツール、ファンクションも、すべて弊社でご提供させていただいているといったかたちでございます。
では、どういったかたちで動くのか、簡単にご説明します。
基本的には、リアル世界の画像、音声、信号。いろいろなIoTデータといわれるものと、すでにクラウド上で蓄積されている既存データを、ABEJA Platform内のデータレイクに送っていただきます。
そして、Platformに送ったデータに対してアノテーション。教師データを作っていくことをやっていきます。その教師データに関しては、どの画像にどのタグを付ければいいのか、説明書を作る必要がございます。
この説明書につきまして、これを作るのが非常に手間な作業なんですけれども、この説明書の生成も、我々はツールでほぼ半自動化していまして、このようなかたちでWeb画面上でカチカチと触っていただければ、説明書を基本的に作ることが可能といった仕組みもご提供させていただいています。
このようなかたちで「実際にここに人がいるよ」「何がいるよ」。選んでいただいて、付けてください。そしてコメントに実際に注意点などを記入していただくことによって、アノテーターの方々をサポートをするような説明書を自動的に生成できます。
この説明書とRawデータを弊社で提供させていただいている1万人以上のアノテーターの方々に、即時展開することができます。
このアノテーターの方々は、その説明書にしたがって、このようなかたちで、どこにどういったプロセスがあるのかを簡単に実行していただくことによって、通常このABEJA Platformをご利用いただくお客さまは、データを上げるだけで先ほどの教師データに変換していただくことができる。こういった革新的な仕組みになっています。
こういったかたちである程度の枚数が、クラウド上にデータとして溜まってきた瞬間に次のところに送っていただいても、すでにマーキングしたものに関しては、はじめからマーキングされた状態でデータを作っていく。次の画面に移っていく。
そうしたことで、すべていちいちやっていくのではなくて、数台アノテーションしたものは、「これってこうですよね」と、コンピューターが自動的にサジェストをしてくれる。こういった機能を提供することによって、アノテーション・教師データを作成する作業を、より省力化させていただいています。
ある程度この部分で数千枚、数万枚のデータを作成していただければ、データにタグや教師をつけることができまして、この教師データに関してデータレイクにあらためて戻します。
教師付きデータになったものを使って、モデルを選んで学習をしていただく。こちらに関しても、弊社でGPUを分散させていただいていますので、学習をしていただければ、とくに何も気にすることはなく、どんどん学習をしていただくことが可能です。
学習をし終わった段階で、これの実行環境にデプロイ。展開して、画像もしくはデータに対して、このようなかたちで実行、推論ができます。
この結果と、さまざまな既存データを合わせて突合、データベースで展開することによって、最終的にこの結果をリアルにフィードバックをするであったり、いろいろな仕組みに対して連携をさせることが可能になっています。
我々の特徴の1つでもあります通り、こちらのクラウド上で学習したモデルを、エッジ側へ。実際にリアルなところにあるコンピューターにもデプロイ、展開するようなことが可能になっています。
こちらですと、エッジ側で取得したデータに対して、ほぼリアルタイムで推論を実行し、その結果をすぐに、リアルタイムにフィードバックする。こういったことが可能になっています。
そして、この処理はすべて我々のクラウド上の監視システムから監視をさせていただいておりまして、すべてにおいて統率。クラウドとエッジをオーケストレーションシステムとして、連携することが可能になっています。
エッジ側に溜まったデータに関しても、このデータを再度クラウドに上げ直していただいて、ここで教師データを作成。アノテーションサービスを使って、このデータを再帰的に教師データに加え、あらためて学習。学習した結果をクラウド、エッジ側の両方に再デプロイする。こういった仕組みをご提供させていただいています。
これがABEJA Platformです。これを簡単に適合するようなユーザーインターフェイス、ユーザーエクスペリエンスもご提供させていただいています。
こういった今まで大変だった非常に闇のあるパイプラインのやりとりを、我々の仕組みを使っていただくことによって、時間軸ですと3分の1、コスト感覚で言うと20分の1にまで削減することが可能になっています。
こちらに関しましては、我々社内で実際にエンジニアの稼働を使って検証したことがございます。実際にこれまで、この仕組みを使わずにディープラーニングを使ったシステムを構築した場合に関して、これほどの省力化が実現できているものが、我々の社内での検証の結果になっています。
株式会社ABEJA
2024.12.10
メールのラリー回数でわかる「評価されない人」の特徴 職場での評価を下げる行動5選
2024.12.09
10点満点中7点の部下に言うべきこと 部下を育成できない上司の特徴トップ5
2024.12.09
国内の有名ホテルでは、マグロ丼がなんと1杯「24,000円」 「良いものをより安く」を追いすぎた日本にとって値上げが重要な理由
2024.12.12
会議で発言しやすくなる「心理的安全性」を高めるには ファシリテーションがうまい人の3つの条件
2023.03.21
民間宇宙開発で高まる「飛行機とロケットの衝突」の危機...どうやって回避する?
2024.12.10
職場であえて「不機嫌」を出したほうがいいタイプ NOと言えない人のための人間関係をラクにするヒント
2024.12.12
今までとこれからで、エンジニアに求められる「スキル」の違い AI時代のエンジニアの未来と生存戦略のカギとは
PR | 2024.11.26
なぜ電話営業はなくならない?その要因は「属人化」 通話内容をデータ化するZoomのクラウドサービス活用術
PR | 2024.11.22
「闇雲なAI導入」から脱却せよ Zoom・パーソル・THE GUILD幹部が語る、従業員と顧客体験を高めるAI戦略の要諦
2024.12.11
大企業への転職前に感じた、「なんか違うかも」の違和感の正体 「親が喜ぶ」「モテそう」ではない、自分の判断基準を持つカギ