遠く離れても、その人の機嫌がわかる　kintoneでAI画像解析を試してみた

kintoneでAIによる画像解析の活用

片岡幸人氏（以下、片岡）：はい、みなさん、こんにちは。みなさんもうそろそろ、kintoneでお腹一杯なところ、一番最後です。私からは、kintoneでAIによる画像解析の活用を試してみたという話を、みなさんにさせていただければと思います。どうぞよろしくお願いいたします。

私が片岡幸人と申します。高知からやってまいりました。私は今日、ダンクソフトという会社から来たんですけど、そのほかにソフトビレッジや佐川町役場でマルチワーカーを務めています。

マルチなのは仕事だけではなくて、実はコミュニティもです。当然、kintone Café高知の運営メンバーでやっておりますが、JAWS-UG高知、SORACOM、あとAI関係のグループの運営もお手伝いさせていただいております。ユーザー会もやってるマルチな成果を、kintoneの限界を突破することに使ってみたいと思います。

まず、みなさんがkintoneを使われてる中で、kintoneだけではできないことが出てくると思うんですが、その中でもスライドに書いてるものがとくにそうですね。例えば、バッチ処理や機器の遠隔制御などは、あまりやることはないと思うんです。

実は、これらはすべて私の仕事です。実際にやりました。こんな特殊な仕事ばかりやっている私なんですけど、さらにAIによる画像解析の活用アイテムを増やしてみようかなと思っています。

kintoneだけではできないですよね。どうするかというと、人の褌（ふんどし）で相撲を取る戦法です。AI関係の部分はAWSを介して、通信はSORACOMさんを介します。Raspberry Piはカメラが付いたボードコンピューターです。また、kintoneにAPI連携という手法を用いたいと思います。

今日のデモは、私はリモートワーカーでもあるので、そのリモートワーカーがどうやってしているかを再現します。例えば、遠隔にいる人に、「今、どんな感じ？」「機嫌はどうですか？」というところも含めてデモしていきたいです。

それでは最初のシナリオ1、伊藤さん、スタートお願いします。笑っててください、しばらく。

ということで今、会場の裏側に、実はこのカメラを置いています。伊藤さんが在席しているかを調べていきたいと思います。こちらのカメラから、AIサービスを経由してさらにkintoneに上げるデモを実際に行ってみたいと思います。うまくいけば、顔写真が入っているはずです。

よいしょ、私がプレゼンしてるのは、ここですね。これを見ていきます。あと伊藤さんの方は……あれ？　笑ってないですよ、伊藤さん。

（会場笑）

ということで、こういうかたちで今の状況を捉えることができました。しかし、在席を調べるところはうまくいってないですね。たまにこういうことがあるんですけど、飛ばします。

遠く離れても、その人の機嫌がわかる

またプレゼンに戻します。仕込むためにバーチャル伊藤さんに登場してもらいました。伊藤さんには高知まで来てもらうわけにいかないので、こういうかたちでプリントアウトしてます。

うまくいけば、こういうかたちで今いる場所の勤怠などがわかるんですね。さらにシナリオでもわかります。一応1分置きでデータをいただくんですが、そうじゃなくて、今の状況を知りたいですよね。

同じ仕組みで、kintone側から呼びかけてみたいと思います。「社員なう」というアプリを使ってるんですけど、ここで誰がどこにいるのかがわかります。

この会場と伊藤さんのところにカメラがあるので、この2人分のデータが取れているはずなんですけど。しまった、私、書いてないですね。あと伊藤さんは今いたので、あれ？　違うデータが入ってますね。伊藤さんは認識しなかったんですね。こうして、仕込んでたデータが出てきたんですけど、こんなかたちで顔認識した場合はデータが出てきます。

最後にまたプレゼンに戻ります。こんな感じですね、誰がどこにいるかなというのを、リンクしてやると、こういうかたちでデータが出てきます。実は先ほどの画面には、機嫌を判別できるような細かいデータが入ってまして。そういうものを見ていただくことが可能です。

今、スライドには伊藤さん恥ずかしいデータがいくつか出ているんですが、これで相手の機嫌を判断します。相手が怒ってない時に、「今日来れなくなりました」という、不都合な内容のチャットを送ったりできます。というのが、このデモの趣旨になります。

シナリオ3は、スライド右のボタンですね。こちらのボタン1つでもできますので、このボタンを押すことによって、同じこともできます。

応用範囲は広いと思ってて、勤怠や工程管理、手が届かないところの時間管理したいところに対して応用できると思います。

最後にまとめです。kintoneと外部サービスを利用して、kintoneの限界点を突破しました。これからもチームみんなで、kintoneの活用範囲を広げていきたいと思っています。どうぞ、またこれからみなさんと挑戦したいと思います。よろしくお願いします。どうも、今日はご清聴ありがとうございました。