マスク着用時も表情認識が可能に コロナ禍の新しい日常に対応したKDDIのAI技術

新型コロナウイルスの感染拡大により、マスク着用が日常化し、スマホの顔認証が使えなかったり、会話中に相手の表情が読み取りづらかったり、不便を感じることはないだろうか。

そんな新しい日常に適応した新技術が、KDDI総合研究所によって開発された。マスクを着けていても表情を認識できる「表情認識AI技術」だ。

マスクが日常化し、表情認識が困難に

そもそも表情認識AI技術とは、AIを活用して顔の表情を認識、分析し、その人の心理状態を推測する技術。

KDDIの表情認識AI技術

身近なところでは、デジタルカメラの笑顔検出による自動撮影機能として実用化されており、その便利さを実感している人は少なくないだろう。また、広告やテレビ業界では視聴者の反応調査、企業の会議では議論の活性度の分析など、さまざまなシーンで活用が進んでいる。

しかし、コロナ禍でマスク着用が日常化したことで、人々の顔の大部分が覆われてしまった。それによって従来の手法が通用しなくなってしまったのだ。

KDDI総合研究所が開発したのは、コロナ禍で従来の表情認識AI技術が直面した課題を解決するための「顔領域適応型表情認識AI」という技術だ。

90％以上の精度で表情を認識

マスクを着けていても表情を認識できる技術とは、いったいどのようなものなのか。開発したKDDI総合研究所の担当者に話を聞いてみた。

KDDI総合研究所の研究員。左から、楊 博、呉 剣明、服部 元

――マスクを着けていても表情認識を可能にした技術的な仕組みを教えてもらえますか。

楊「マスクを着用した場合、顔の面積の70％ほどが覆われてしまいます。この状態では、従来の表情認識AI技術では十分に認識できません。唇、口角、顎、頬など鼻から下の動きが、表情を認識するうえで重要な要素となるからです。これは人間が相手の表情を察知するときと同じです。」

そこで考えたのが、「顔を露出している領域」と「マスクで覆われている領域」を別々に分けて検出したうえでの分析です。

「顔露出領域」と「マスク着用領域」を別々に分析して表情を認識

KDDI総合研究所 イノベーションセンター マルチモーダルコミュニケーショングループ 研究主査 楊 博

楊「顔を露出している領域は、表情に表れやすい眉間のシワなど目の周辺に加え、鼻や頬など筋肉が露出している領域も可能な限りデータとして活用します。マスクで覆われている領域も、表情が変わる際に筋肉がかすかに動き、マスク自体にシワが生じるなど変形するため、その特徴もAIで学習して数値化します。それぞれの相関関係を考慮しながら解析するアルゴリズムを導入したことで、マスク着用時でも人の表情を高精度で認識し、分析することが可能になりました。」

――この技術を開発するうえで特に苦労したことは？

呉「ひと口にマスクといってもさまざまな形状があり、色や柄が付いたものもあります。そこで50種類以上のマスクを実際に用意したほか、数百におよぶマスク着用画像をAIの学習データに取り入れました。この技術を開発した当初は認識の精度が60％程度でしたが、学習データを拡充させていったことで90％以上にまで高まりました。」

KDDI総合研究所 イノベーションセンター マルチモーダルコミュニケーショングループ 研究マネージャー 呉 剣明

本当に表情を認識するのか試してみた

マスク着用時でも本当に表情を認識できるのだろうか？実際に試してみた。

まずはマスクを着用していない状態でテスト。画面の上の部分はノートPCの内蔵カメラによる映像で、検出された顔は赤の囲みで示されている。画面左下はマスク着用の有無を表し、画面右下のグラフはその人の感情の状態を表す。グラフは、笑顔に該当する「Positive（ポジティブ）」、泣き顔や怒った顔にあたる「Negative（ネガティブ）」、無表情・平常心を表す「Neutral（ニュートラル）」の3つの感情を表し、数値は合計で1.00が最大値となる。上の写真では、マスクの有無は「No Mask（マスクなし）」、感情を表すグラフは「ニュートラル」が1.00と表示されている。

マスクを着けて、あらためて試してみよう。

すると、画面左下には「Masked（マスクあり）」と表示された。感情を表すグラフは「ニュートラル」のまま。

続いて、眉間にシワを寄せて、怒った表情をしてみた。

すると、感情を表すグラフの表示が瞬時に変わり、「ネガティブ」が1.00に。マスクを着けていても表情が認識されたことが確認された。

次に、笑顔をつくってみた。写真ではわかりづらいが、マスクの下は満面の笑みである。

すると、感情を表すグラフは「ポジティブ」が1.00に。パッと見は最初の「ニュートラル」とあまり違わないようにも思えるが、AIは「ポジティブ」と判断したのだ。

なお、感情を表すグラフは複数にまたがることもある。

たとえばこちら。感情を表すグラフ「ポジティブ」が0.48、「ニュートラル」が0.52。「ポジティブ」とも「ニュートラル」ともとれる微妙な表情ということだ。

白い不織布以外のマスクの場合は？

一般的な白い不織布マスク以外の場合、きちんと認識されるのだろうか？あるいは、メガネをかけている場合はどうか？実際に試してみた。

黒いマスク、柄物のマスク、そしてメガネをかけた状態、いずれも問題なく認識された。数多くのマスク着用画像をAIの学習データに取り入れたことで、日常的に想定できるさまざまなシーンに対応できているようだ。

アイデア次第で活用範囲は広がる

マスク着用時でも表情を認識することを可能にした、KDDI総合研究所の表情認識AI技術。この技術を通じてどのようなサービスの実現が見込まれるのだろうか？担当者に聞いてみた。

――マスク着用時でも表情認識が可能になることは、具体的にどのようなシーンでの活用が想定されますか？

服部「企業や教育機関、公共施設など、さまざまな場面において新しいサービスの実現を目指しています。たとえば、動物園、水族館、遊園地、イベント会場などでは、来場者の反応を確認するツールとしての活用が見込まれます。」

KDDI総合研究所 イノベーションセンター マルチモーダルコミュニケーショングループ グループリーダー 服部 元

楊「接客を伴う企業様からは「きちんと笑顔で接客できているかを検証するために活用したい」というリクエストが来ています。表情がポジティブだと声も明るくなり、気持ち良い応対が可能になる。それは結果としてユーザー満足度の向上につながります。ちなみにKDDIでは2018年より、表情認識AI技術をコールセンターに試験的に導入し、スタッフの電話応対時の意識向上に役立てています。」

※写真はイメージです

呉「最近はコロナ禍の影響でテレワークが増えていますが、企業からは「自宅やリモートオフィスでの仕事の集中度を測りたい」「オンライン会議でマスクを着けた参加者の反応がわかるようにしたい」といったニーズがあり、私たちにも問い合わせがあります。」

呉「表情認識AIには集計機能もあり、日々の感情の推移を確認することもできます。統計を取ると、例えば金曜日は「ポジティブ」な時間帯が多い。翌日がお休みの方が多く、気持ちが前向きになるのでしょう（笑）。」

服部「KDDIの表情認識AI技術は近年、学会での受賞や論文の閲覧数が多く、世界的に注目されています。今後どう活用していくか、アイデア次第で可能性はますます広がっていくと思います。今後も実証実験を重ねたうえで、さらなる実用化に向けて研究を進めていきたいですね。」

先端技術で安心な社会の実現を目指す

新型コロナウイルスにまつわるKDDIの取り組みは、マスク着用時の表情認識AI技術だけにとどまらない。たとえば、auスマホから収集した位置情報ビッグデータをもとに東京都内の人々の行動パターンを可視化し、生活行動の8割が市区規模の小さなコミュニティ内に収まることや（2020年11月時点）、感染状況と合わせてAIで推定した結果、感染拡大防止と経済の両立のためには生活行動を小さなコミュニティの範囲内にとどめる「ステイインコミュニティ」が重要だということ、施設データを組み合わせ感染リスクの高い場所に特徴があることなどを突き止めた。KDDIは先端技術の研究開発を通して、ヒトとテクノロジーの新しい関係構築、そして安心して暮らせる社会の実現や持続可能な発展に貢献していく。

もっと知りたい

KDDIのSDGsについてはこちら