LINEを支えるVision AIプラットフォーム「PicCell」の仕組みとこれから

違法な広告を検知する

Joonsik Baek 氏（以下、Joonsik）：LINEには、タイムラインというソーシャルネットワークサービスがあります。これはLINEの中でもっとも人気のあるファミリーサービスの1つなのですが、ユーザが増えるにつれて、それを悪用する人が増えてきました。

タイムラインの中で問題になったのは、アダルトコンテンツだけではありません。

すべてのポストはユーザーに開示されるので、多くの不正な広告をタイムラインに流す人が出てくるようになりました。PicCellは、ほとんどのアダルトのコンテンツを検出することができるのですが、この違法の広告については何もできていませんでした。そこで我々は、この違法な広告の検知も始めることにしました。

ということで、違法な広告にはどのようなパターンがあるのか、検証を行いました。

違法広告で多かったものとして、1つ目は偽造品の販売で、ほとんどが高級製品の偽造品でした。2つ目はQRコードでした。画像にQRコードを載せていて、違法なサイトに飛ばすんですね。3つ目は、広告のテキストを画像の上に重ねるというものでした。

違法広告には、3つのパターンがありました。ということで、これを分けて対応することにしました。

まずは偽造品の広告を見つけるために、人気のあるアイテムをリストアップしました。サングラス、靴、時計、ハンドバッグなどです。これはGoogLeNetに基づいてclassifierを作り、4つのカテゴリに分けました。とてもうまくいきました。

画像内のテキストを検出するためにOCRを活用

2つ目はとてもシンプルでした。QRリーダーを使って抽出されたリンクを解析しました。それもうまくいきました。QRリーダーはGPUがなくてもCPUでしっかりと動きます。

ですが、最後が一番難しい部分でした。画像上のテキストを理解して、広告なのか、広告でないのかということを見極めなければいけませんでした。

そこで、LINEのAIチームがOCRを開発しました。その難度は他の仕事に比べてとても高かったです。LINEは多くの国でサービスを展開していますから、さまざまな言語に対応する必要があります。最終的にLINE AIチームが日本語、韓国語、英語、タイ語、台湾語、中国語、インドネシア語に対応するOCRを作りました。日本語の場合は、縦書きも対応しております。

この3つの新しいモデルをPicCellに入れたことで、違法な広告をタイムライン上でフィルタリングして排除することができるようになりました。これで、タイムラインのユーザエクスペリエンスを少し回復することができたわけですが、やはり悪用者は常にパターンを変えてやってきますので、これは今後も努力し続ける必要があると考えています。

LINE LIVEにおける有害コンテンツのフィルタリング

LINEは、実は2つのLINE LIVEのサービスを展開しています。1つは日本用で、もう1つはヨーロッパと中東アジア向けのものです。

これはさまざまな年齢層の人たちに向けた動画サービスですので、有害な内容はブロックしなければいけません。性的な動画以外にも多くの有害な内容が動画には含まれています。

例えば武器ですとか、暴力シーンを想起させるようなもの、あるいは喫煙をしている人たちですね。これらのサービスは世界中で展開されているので、センシティブなシンボルにも対応しなければいけません。そこで、LINEのAIチームで新しいディープラーニングのモデルを開発して、これらすべてを摘発することにしました。

新しいモデルでは、サイズや場所に関わらず、有害なものを見極めることができるようになりました。ということで問題を解決することができました……と言いたいところですが、アダルトコンテンツのフィルターがうまく機能しませんでした。F1のスコアが0.9から0.3に下がってしまったのです。

実際のサービスから取得したサンプルを使ってモデルを学習

ということで、この問題を調べて結論が出ました。

アダルトコンテンツフィルターは学習をさせていたのですが、一般的なサービスのサンプルを使って学習をさせていました。しかし性的なシーンとしてLINE LIVEに出てくるものはちょっと違ったんです。細かくは説明できないのですが、ものが違ったわけです。

それに気が付きまして、実際のサービスから取られたサンプルを使ってモデルを学習させなければいけないということに気付きました。ということで、アトリビュートと合わせてサンプルを格納することにしました。例えば国ですとか、PicCellからの推論結果などの属性を付けました。そしてユーザからの同意が得られた場合のみ、サンプルを格納しました。あるいはオペレーターの自分の判断で格納することもできました。

そして、こちらはしっかりと制約を掛けたかたちでゲートウェイというものを作りました。このサンプルにアクセスするためには事前にしっかりとしたリーガルレビューも必要で、権限が与えられていなければアクセスできなくしました。

リーガルのレビューが終わりましたら、権限を持っている人のみアクセストークンを配布しました。アクセストークンには、どのようなデータレンジにアクセスできるかという情報を含んでおります。

ここで「Librarian」を開発しました。

これはディープラーニングエンジニア向けのトレーニング学習のサンプルを厳格なルールのもとに管理するものになります。LibrarianをPicCellに入れまして、サービスに特化したトレーニングをサポートしました。Librarianのおかげで、LINE LIVEサービスからの学習トレーニングサンプルを提供できるようになりました。

アダルトコンテンツフィルターは、これらのサービスを用いることでかなり改善されました。

PicCellのおかげでモニタリングコストは大幅に低下

このような試行錯誤を重ねて来ましたが、私たちはまだPicCell、そしてそのディープラーニングの機能を改善し続けています。改善がより進めばより多くのサービスがLINEと統合されるでしょう。

我々が使っているトラフィックはとても大きく、もっとも需要のあるアダルトコンテンツフィルターは、だいたい1日に1,500万の画像や動画を処理しています。

違法広告検知など、他の機能は、合計するとだいたい1日に2,000万もの画像を処理しております。これによってオペレーターがモニターしなければいけないコンテンツの数を劇的に削減することができました。

PicCellを改善するにつれて、モニタリングのコストが下がりました。

もちろん、モニタリングをするオペレーターなしではサービスを提供することはできません。しかし、彼らのストレスを削減するために努力し続けています。

PicCellをユーザー向けサービスに提供する

ここまで、どのようにPicCellが誕生したのかというお話をしてまいりました。先ほどバックオフィスサポートのパフォーマンスを出しましたが、これまでの我々の取り組みに関して、満足しているわけではありません。

LINEのスローガンには「Closing the Distance」というものがありますので、よりユーザに近いところに行きたいと考えています。

ユーザの方にもPicCellを体験していただきたいわけです。ということで、OCR機能を提供することにしました。これはPicCellを用いてOCRを行った際の実際の結果です。

クオリティもかなり高いです。はじめに申し上げたように、LINEのオフィシャルのサービスはPicCellのOCRがサポートしております。また、Translation infraにも対応しているので、このセッションが終わりましたらぜひ試してみてください。

こちらもまたおもしろいアプリケーションです。これはインドネシアのみに展開しているユニークな使い方です。外食をするときに、だいたいみんな割り勘をしますよね。

でもインドネシアでは、実際に自分が食べたものだけ払うという、そういった習慣があるんですね。

これはとても妥当なルールだと思います。しかし、計算にはとても時間が掛かる複雑な内容です。そこで我々が展開しているサービスです。ユーザの人たちはレシートの画像をキャプチャして、PicCellがその属性を分析します。名前や数量、それから各メニューの価格です。そして、誰がどれを食べたかということをユーザがアサインします。そして、それぞれのメンバーがいくら払うべきかということは自動的に計算されます。

私たちはまだ、価格の計算だけにフォーカスしていますが、今後はLINE Payを使うことによってより簡単に送金をできるようにしたいと考えています。

これはClovaのAIチームのおかげで可能になりました。彼らはインドネシア語のOCRを持っていまして、ドキュメントを独自のNLPのプロセッサを使って理解することに長けているんです。

これは今のところインドネシアでしか展開していない機能ですが、このドキュメントOCRを活用してより多くのサービスをみなさんに提供していきたいと思っています。

このClova Vison AIテクノロジーをPicCellに入れました。現在Clovaも活用してより使いやすいディープラーニングの機能を作ろうと協議中ですので、ぜひ楽しみにしていてください。

PicCellはファイナンシャル分野でも

もう1つの事例を紹介いたします。今後、日本と韓国の金融系サービスにPicCellを適用する予定です。LINEはアジア各国で金融関連サービスを展開していますが、金融系サービスを使うために、ユーザはID登録をしなければいけません。これはKYCと呼んでいます。KYCというのは、Know Your Customerの略語です。

KYCを登録するためには、ユーザは銀行に行く、あるいは支店に行く必要があります。

もう1つ、別のKYCも存在しています。それがeKYCです。eKYCというのは、ペーパーレスのオンラインKYCです。個人情報を入力して、IDカードの写真を送るだけです。ただeKYCはオンラインでやり取りをしたとしても、やはりすべてのリクエストの確認するためには、たくさんのオペレーターが必要です。

そこで、LINEの金融サービスにおいてその手順の一部を自動化したらいいのではと考えました。そのために、PicCellをeKYCの手順の自動化に使用する予定です。

IDカードと顔認証

eKYCの自動化のためにPicCellではいくつかの機能を準備しました。1つ目はIDカードの認識です。ユーザが入力した情報をIDカードから認識したものと比較します。そして、それがマッチングすればこの情報が正しいということが判断できるわけです。

ここはClova AIチームにお手伝いいただきました。彼らはすばらしいNLPとOCRの技術を持っているので、新しいIDカード認識モデルを作ることができました。現在では、日本の運転免許証も対応しています。サービスで必要があればどのようなタイプのIDカードでも対応可能です。

2つ目は顔認証です。これは実際のユーザからのリクエストか確認するために、リアルタイムで撮った写真の顔とIDカードの顔の写真を比較できます。こちらもClova AIチームによって開発されました。

顔を使ったチェックインのサービスは、本日LINE DEVELOPER DAYにチェックインする時にも使われたのではないかと思います。とても早いし正確ですよね。実はこれと同じモデルなんです。

個人データを扱いますので、新しいインフラを作ってセキュリティチームのすべての要件を満たすようにしました。

もちろん、外部からのアクセスからはブロックされています。そしてすべてのデータが処理されたあとに削除されるようになっています。

LINEの金融サービスのeKYCは、PicCellがサポートする初めてのファイナンシャルソリューションになる予定です。そして、将来的には別のLINEサービスにも適用されるでしょう。今後も、より使いやすいユーザエクスペリエンスを提供するために協議をしていきます。

これからのロードマップ

以上が、我々がPicCellでやってきた内容になります。それでは、近い将来に予定されている2つの計画についてご紹介いたします。

現在、ディープラーニングのトレーニングサンプルポータルを作ろうと考えています。

この主な目的は、サービスデマンドに基づいてもっとも価値のある学習サンプルを提供することです。これは2つのステップを踏んでやっていきます。

まず始めはAPIを集めます。先ほど言ったようにPicCellは、独自の属性を持って入ってくるサンプルを格納しております。それでサービスがPicCellの結果が間違っていると思ったときには、それをマークして正しい結果をPicCellの中にこのAPIを使って格納します。

これによってPicCellの中でもっと学習サンプルを磨き、純度の高いものにすることができます。

第2のステップはLibrarianです。これはシンプルなクエリに対応します。

サービスによっては、具体的な部分だけが必要かもしれません。ということで、特定の国からの学習サンプルを選ぶかもしれませんし、あるいはその修正されたサンプルを選ぶということもあるでしょう。

この2つのステップによって、最も効率の良い学習サンプルをディープラーニングエンジニアに提供することができるようになります。

2つ目のプランです。Microsoft Cognitive Service、AmazonのRekognition API、そしてGoogle Vison APIなど、既にこのサービスを経験された方がいるかもしれません。彼らはVision AIの機能をさまざまなサービスで展開しています。

そこで、我々もAPIを公開したいと思っています。とても強いインフラのプラットフォーム「Verda」と呼ばれているものがあります。

Verdaはさまざまなクラウドサーバのアプリケーションを提供してきました。PicCellをこのパワフルなプラットフォームと統合できれば、とてもよいVision AI機能を簡単にサービスに提供できるでしょう。

来年にはPicCellの機能をどのような会社のサービスに対しても提供できるようになるかと思います。

最後に、これはお気に入りのスライドなのですが、PicCellはLINEのサービスとVision ディープラーニングのテクノロジーの間で好循環を作ろうと考えています。LINEサービスを介してディープラーニングを改善して、LINEサービスもそれによって恩恵を受けるでしょう。

もちろんみなさんもよりスマートなLINEを体験できるでしょう。ぜひ楽しみにしていてください。

ご清聴ありがとうございました。

（会場拍手）