人と機械の自然なコミュニケーション au VISION STUDIOのバーチャルヒューマン「coh」

2021年3月、KDDIの新しいクリエイティブチーム「au VISION STUDIO」が、限りなく人間に近いビジュアルを持つバーチャルヒューマン「coh（コウ）」を発表した。

「coh」は、「究極のインターフェイス」として生まれた。

世の中の機器の操作方法はどんどん進化している。誰もが簡単に扱えるように音声入力も一般的になってきた。それでも「機械に話しかけること」に違和感を持つ人は少なくない。

その違和感を乗り越えるためにバーチャルヒューマン「coh」は開発された。見た目も会話や表情、仕草なども、より人間に近く、まるで人と会話するように「coh」に話しかけ、機器を操作したりさまざまなサービスを受けたりすることができる。そんな未来を想定している。

このバーチャルヒューマン「coh」が、「日本科学未来館」とコラボレートした実証実験「HYPER LANDSCAPE（ハイパー ランドスケープ）」に2021年3月11日～3月14日の期間、登場した。

「au VISION STUDIO」と「日本科学未来館」の実証実験にバーチャルヒューマン「coh」が登場

参加者はスマートグラスを装着。「coh」はこのグラス内にARで登場し、「アテンダント」としての役割を果たした。

このイベントの模様を紹介するとともに、バーチャルヒューマンと「au VISION STUDIO」のこれからについて見ていこう。

バーチャルヒューマン「coh」が「日本科学未来館」でガイドに

「日本科学未来館」は、最新の科学技術を広く一般に紹介するための施設だ。研究者たちのラボも併設されていて、成果をすぐに展示することができる。

今回の実証実験の舞台となったのは、「日本科学未来館」のシンボルであり、地球を模した巨大球形ディスプレイ「ジオ・コスモス」と、それを間近に見られる螺旋状の通路「オーバルブリッジ」。

イベント会場となった「日本科学未来館」の「ジオ・コスモス」

体験者はここに立ってスマートグラス「NrealLight」を装着する。スマートグラスはVRゴーグルとは違い、レンズ越しに周囲の風景が見える。そのため、装着したまま歩きまわることができ、レンズ部分に投影される情報や映像を実際の風景と重ね合わせて見ることができるのだ。

スマートグラス「NrealLight」を装着して「オーバルブリッジ」を歩く

そして、目の前に広がる風景は一変する。「ジオ・コスモス」とその周辺はタイルのような青い光源で埋め尽くされ、床に表示された白いサークルに近づくとバーチャルヒューマン「coh」が出現する。

「coh」は自己紹介をしたあと、「もうひとつの日本科学未来館を楽しんでくださいね」と語りかけてくる。その仕草には、通常、私たちがCGに持つような違和感がない。最初は少し伏し目がちで、話しながら視線をゆっくりと合わせてくる動きはとても人間的だ。

床に現れる矢印に従ってオーバルブリッジを歩いていくと、再び「coh」が現れ、「ジオ・コスモス」を見るよう促される。肉眼だと青い地球の姿だが、スマートグラス越しだと、右のように無数の人工衛星に覆われている姿が見える。

さらに「coh」は、「新型肺炎の影響による世界各国の入国規制の推移」についても説明してくれた。

このイベントの模様をまとめたムービーはこちら。

このように、体験者がスマートグラスを装着して順路どおりに歩くと「coh」が出現してガイドをしてくれる。声は合成音声だが、人が話すイントネーションと遜色ない。姿を現すときにはそらしていた視線を徐々にこちらに合わせ、ガイドの終了時には、別れを惜しむようにはにかんだ表情を見せた。

バーチャルヒューマン「coh」の誕生の背景

KDDIで5G/XR領域のプロジェクトを推進し、「au VISION STUDIO」を創設、バーチャルヒューマン「coh」を生みだした水田修に、バーチャルヒューマン「coh」誕生の経緯や、目指す未来について話を聞いた。

KDDI パーソナル事業本部 サービス統括本部 5G・xRサービス企画開発部 サービス・プロダクト企画G グループリーダー・水田修

「KDDIは通信会社として、人と人とをつなげるお手伝いをしてきました。その際に使用する機器は、たとえばフィーチャーフォンからスマートフォンへと進化しました。ですが、コミュニケーションの方法はもっと進化してもいいと考えていたんです。

その際、誰もがもっとも受け入れやすいのは“人”であろうと。考えたのは可能な限り“操作している”という感じをなくすこと。まず『メニュー画面』に入って『設定』をタップして……みたいなことを指示されると、子どもやお年寄りにとっては“むずかしい！”ということになると思うんです。でも、人に話しかけるのは誰もができるコミュニケーションで学習も不要ですし、機械を操作している感覚もないと思います。

正直、利便性だけを追求するならスマートスピーカーでいいと思います。ただ、どっちが楽しいのか。愛着が沸くか。そして、スマートスピーカーよりもっと自然に生活に馴染んでくれるのがバーチャルヒューマンだと思っています」

さらに、スマートグラスを介してバーチャルヒューマン「coh」が出現した今回の展示では、展示空間の物理的限界を拡張することにもチャレンジした。

「博物館などの展示空間は、当然、広さに限界があります。見てもらいたいものすべてを置けるわけではない。スマートグラスを活用してARで展示すれば、展示スペースの面積の都合で実際には置けないものも、グラス内で見ていただくことができます。しかも難しい操作は必要なく、出現するバーチャルヒューマン『coh』に話しかけるだけで、解説を聞くこともできる。こうした展示のアテンダントにも非常に親和性が高いと思います」

バーチャルヒューマンを支えるテクノロジー

人が自然にコミュニケーションしやすいよう、バーチャルヒューマン「coh」は人間らしい表情と口調で話しかけてくれる。驚いたのが、常にきちんと体験者のほうを向いて話してくれること。なぜ「coh」がほかを向いたり、空中に浮いて見えたりしないのか？

それを実現するためのテクノロジーについて、KDDI総合研究所の小森田賢史に話を聞いた。

KDDI総合研究所 メディアICT部門 メディア認識グループ グループリーダー・小森田賢史

「『coh』が一定の位置に現れて、きちんと体験者のほうを向いて話をするために、VPS（Visual Positioning Service）という技術とau 5Gの高速通信が使われています。

事前に360度カメラでイベント会場を撮影して、VPSのための立体マップを作成します。そして体験時には、スマートグラスに搭載したカメラで現場を映像として認識し、立体マップとの一致点を見つけることで、体験者がどこにいてどちらを向いているのかを推定、それに合わせてバーチャルヒューマンを出現させる仕組みです」

会場を3Dカメラで撮影して3Dマップを作成。これをもとにスマートグラスのカメラで見た現地の画像と参照し、位置と向きを特定する

「『coh』の非常にリアルで人間らしい口調と動きを、体験者の立ち位置や向きに合わせてCG映像を細かく変えながらVPSでスマートグラスに表示させる。そのためには膨大なデータのやりとりが生じます。

そこでCGが劣化したり、動きに遅延が出たりすると、もはや自然なコミュニケーションとは言えません。これら一連の作業にau 5Gの高速・大容量・低遅延の通信技術が必要なのです」

目の前に「coh」がいて、ちゃんとこちらを向いて話しかけてくれる。au 5Gがあればこそ、自然にコミュニケーションできるバーチャルヒューマンは成立するのである。

バーチャルヒューマン「coh」と「au VISION STUDIO」のこれから

「au VISION STUDIO」は、少し先の未来を見据え、5GやXRを実際に社会に取り入れることで、多様化する社会課題を解決し、これまでにない新たな体験を提供することを目指すKDDIのクリエイティブチームだ。

今後の社会において実現させたいことを、以下のような「5つの取り組み」として提示している。

「五感を拡張するUX」

たとえばスマートグラスを用いて、街の風景に画像や映像を重ね合わせるAR体験は「視覚の拡張」。デジタルを使って、視覚だけでなくすべての感覚を拡張して新たな体験を提供していく取り組み。実際に広告やサイネージを作らずともAR出情報を伝えることで景観の保存などにもつながる。

「ゼロ・ディスタンスな世界」

まさに距離の壁をなくす取り組み。VRを活用して、移動せずに旅したり遠隔地のライブなどを鑑賞できるだけでなく、人とロボットが連動して触覚を伝えるなど、まるでその場にいるかのようなコミュニケーションができること。観る、聞くだけではなく「参加する」という体験を推し進めていく。

「人と地球にやさしいショッピング」

バーチャル空間でのARを活用した試着や、AIによる診断などで、自宅に居ながらにして簡単に自分に合うサイズ・デザインの洋服を手に入れることができる。大量生産ではなく、自分だけのオーダーメイド。製造段階では、デジタルでデザインし、型紙もバーチャル。無駄な素材を消費せず、在庫も不要な新たなショッピングのあり方。

「アンリミテッドな鑑賞体験」

音楽ライブや演劇など、オンラインで体験できる映像コンテンツに、独自のテクノロジーを提供。迫力のARやデジタルによるステージの拡張、実際のフェスのように複数のステージを行き来できる多チャンネル配信など、「リアルのかわり」ではなく「配信だからこそ実現できた」鑑賞体験をイベンターやアーティストとともにつくりだしてゆく。

「バーチャルヒューマンの日常化」

もっとも簡単で学習コストもかからないコミュニケーション方法は「人とのやりとり」。人間の姿で、人間のようにリアクションしてくれる究極で自然なインターフェイスとしてバーチャルヒューマンが日常的に活用される仕組み作りを進めてゆく。

なお、「coh」は「KANEBO」のメイクモデルとしてもすでに起用されている。XRを活用したスマホ向けサービス「au XR Door」でショッピングできるバーチャルコスメショップ「@cosme TOKYO -virtual store-」での、ヘア＆メイクアップアーティスト・イガリシノブさんによるメイク体験コンテンツ「coh × イガリシノブ supported by KANEBO」に登場、プロの手によるメイクを受けてまったく違う表情を見せている。

また「KDDI ART GALLERY」でのスマートグラスを用いたアート鑑賞で、作品を説明するアテンダントとしても活動中。

5Gの広がりとともに、通信テクノロジーはさらなる進化を見せる。KDDIは5GやXRを活用し、「au VISION STUDIO」からちょっと先の未来を面白く便利にするような新たな体験を生み出し、社会にワクワクを提供していく。