iPhone顔認証を実現する『TrueDepthカメラ』の仕組みと未来とは？

iPhone X以降に搭載されている「TrueDepth（トゥルーデプス）カメラシステム」。顔認証でロック解除してくれる「Face ID」や、自分の顔の動きや表情をアニメに変換できる「アニ文字」といった、先進機能を可能にした機能だ。

今回は、この「TrueDepthカメラ」の仕組みと、具体的にどんなことができるのかを説明する。

「TrueDepthカメラ」を構成する複数のセンサーとカメラ

iPhoneのディスプレイ上部に注目してほしい。ここに「TrueDepthカメラ」のセンサーやカメラが配置されている。この部分に、実はこれだけの機能やセンサーが配置されているのだ。

• ・赤外線カメラ
• ・投光イルミネーター
• ・近接センサー
• ・環境光センサー
• ・フロントカメラ
• ・ドットプロジェクター

（左から順）

出典：Apple

このセンサーやカメラがどんな役割を果たすのか、「Face ID」の働きを例に説明しよう。

① まず最初に「近接センサー」が、iPhoneに近づくと最初に反応。これは一種の赤外線レーザーで、対象との距離を測る。

② 次にこの「近接センサー」が「誰かが近づいてきたぞ」という準備指令を「TrueDepthカメラ」システムに送る。

③すると「TrueDepthカメラ」は近づいてきた対象に対して、顔のこまかい形状を調べるために「ドットプロジェクター」から約3万個の赤外線ビーム（3万本のビームと考えてもよい）を放射する。

④顔に当たって反射して戻ってきた赤外線ビームを、今度は「赤外線カメラ」がとらえ、本体のイメージプロセッサーへと情報を送る。また暗い場所でも顔が特定できるよう、「投光イルミネーター」から発せられた赤外線による顔の撮影もおこなう。同時に、「フロントカメラ」（こちらは普通のRGBカメラだ）で撮影された画像もまたイメージプロセッサーへと送られる。

この3種類のデータは、iPhoneの心臓部であり、AIのように機械学習をするニューラルエンジンを搭載したApple A11バイオニックチップ（iPhone X）、Apple A12バイオニックチップ（iPhone XS/ XS MAX/ XR）へと送られ、あなたの顔の3D形状を超高速度で計算して導き出す。

「Face ID」の場合、その結果をあらかじめ登録されていた3Dの顔データと突き合わせ、同一人物であるかどうかを判断するのだ。

モーションキャプチャをスマホで実現してしまうという驚異

通常の顔認識システムと「TrueDepthカメラ」の違いは、顔認識システムよりも、高いトラッキング能力にある。つまり、静止した3D形状だけでなく、頭の動きや目や口の表情なども連続してとらえることができる点だ。実はこれ、高額な装置や仕掛けが必要なモーションキャプチャをスマホだけで実現してしまうという、ものすごいことが起こっているのだ。

こちらの記事もあわせてどうぞ

『モーションキャプチャー』が結ぶ、シン・ゴジラと野村萬斎さんの関係

通常のモーションキャプチャでは、人間のさまざまな部位に特殊塗料を塗ったマーカーやセンサーを特別なスーツに取り付け、その動きをカメラやセンサーで追跡、データ化するということが行われる。だが、これには大がかりな装置やカメラが必要だし、手間がかかった。

それが「TrueDepthカメラ」では、顔の表情のこまかい変化までもがトラッキング可能で、その機能が薄いiPhone本体にすべて収まっている。繰り返しになるが、このものすごいトラッキング能力は、A11やA12といった超高性能なニューラルエンジンの働きがあってこそのものでもある。

TrueDepthカメラによってユーザーの表情を読み取り、動く絵文字「アニ文字」をつくる　出典：Apple

TrueDepthの未来はどうなる？

アニ文字の背後では、そんなふうに、驚異的なテクノロジーが活躍していたわけだが、この「TrueDepthカメラ」、進化は止まらない。新しいiPhone XS、XS Max、XRに搭載された「TrueDepthカメラ」では、被写体の視線の動きを追跡できるGAZEトラッカーや、下や口まわりの動きを認識できる機能など、ますます強力なトラッキング能力を備えている。

また、最新のiOS12では、この強力な「TrueDepthカメラ」の能力を生かした「ミー文字」という新しい機能が追加された。これはアニ文字の進化形ともいえるもので、目・鼻・口などのパーツを自由に組み合わせて作ったアバターを、アニ文字同様、自分の表情に合わせて動かすことができる。ウィンクや舌を出すといった細かな動きも可能になった。

ミー文字の作成画面。作成中も上に表示されるプレビューが自分の表情に合わせてリアルタイムに動く 出典：Apple

「TrueDepthカメラ」のトラッキング能力は、今話題のVTuber（バーチャルユーチューバー）のアバターを制作する際にも強力に発揮される。iPhone専用のアバター制作＆配信キットも発売されており、iPhoneを使えば、高価なモーションキャプチャを使わずに済むし、またアバターの動きも滑らかでリアルさも増す。

この「TrueDepthカメラ」の機能をAR（拡張リアリティ）で利用しようという動きもあり、今後さまざまなアプリが開発されてくるだろう。表情や身振りでiPhoneをコントロールするなんてことができるようになるかもしれないし、顔だけでなく、全身を認識して3Dにしてくれるようになるかもしれない。

いずれにしても、いまIT技術の最前線でもっともホットな機能は「TrueDepthカメラ」で、新しいiPhoneならその驚異を堪能できるのだ。