2017/10/26
『CEATEC JAPAN 2017』で自由視点VRを体験！ 「auの5Gな未来」がスゴすぎる
さる10月上旬、幕張メッセで開かれたCEATEC JAPAN。2020年には本格的に運用が始まるといわれ、「TIME & SPACE」でも機会があるたびに追っかけ続けている次世代移動通信システム「5G」について、KDDIの展示をチェックしてきた。
今年の展示を担当したKDDIモバイル技術本部 次世代ネットワーク開発部の渡里雅史は「今年は5Gです」という。
なるほど、コンパニオンのお姉さんの胸元にも誇らしくロゴが！
渡里「KDDIはライフデザイン企業への変革を進めています。今年は『エンターテインメント』『ソサエティ』『コミュニケーション』の3本柱を立て、5Gで日常の生活シーンがどんなふうに変わるのか、2020年に向けた未来観を提示しようと考えました。『エンターテインメント』ではあたらしいワクワク体験を！ 『ソサエティ』をより便利に、より安心安全に！ 『コミュニケーション』をより自由でより豊かに！ 2020年をひとつの目標として大きなビジョンを掲げながら、足元をどうつくって発信していくか。5Gがちゃんと進化し、生活に入ってくるシーンをきちんとお見せできるのは嬉しい限りです。（渡里）」
そんなわけで5Gを中心に据えたおおよそ10の展示のなかから、特に私たちの生活にがっちりと食い込んできそうな技術を4つピックアップしてきたのである。
①自由視点VRがついにリアルタイムで！
●自由視点のなにがすごいのか
自由視点VRは、TIME & SPACEでも過去何度かご紹介してきた。
自由視点VRとは、被写体をどの角度からでも見られるという仕組みだ。下の画像でいうと、右側でクライミングしている人を、左側のモニターのように、本来映っていない部分はCGで補完し、さまざまな視点から見ることができるというもの。
原理はこんな感じだ。
①被写体を周囲から複数台のカメラで撮影する。
②ざっくりと周囲から撮った被写体を3DCGモデル化する。
③カメラに映った背景に配置する。
ポイントは②の「ざっくり」という点。今回の展示の場合、カメラは16台。周囲から被写体の全アングルを撮るわけではなく「撮られてない隙間もあってよし」という考え方。その隙間を映像処理で埋めることで、自由な角度から被写体を見ることができるのだ。
左の画像、ディスプレイの周囲に各カメラのモニター画面が配置されているが、これらを指定して画面を切り替えるわけではない。コントローラのジョイスティックをグリグリ動かせば、真ん中の画像で、どの角度からの映像も見られるのである。
今回特筆すべきは、それをリアルタイムで処理できるようになった点。これまでは、約10秒の映像の自由視点化に数十分を要した。ものによっては数日必要だった。これからは、今撮影している被写体を、その場で自由なアングルから、そして好きな背景を合成することも可能だ。リアルタイムで！
KDDI総合研究所 超臨場感通信グループの野中敬介によると、これまで被写体を「点」で捉えて処理していたのを、輪郭線を積み重ねるようにして表現することにしたという。
野中「ちょうど等高線で山の形を表現するようなイメージですね。『点』の時には人間を表現するのに数十万個必要だったのですが、『面』にしたことで数百分の一に減らすことができたんです。結果、処理時間が従来の60分の1になりました。（野中）」
また、それにより自由視点VRで表現される３DCGモデルの精度も大幅にアップした。
野中「以前は、写真を切り抜いたような質感だったのですが、新方式では厚みのある立体として表現することができるようになりました。同時にAIを活用した人物判別エンジンを高速化することができ、特別な機材がなくても自由視点VRの映像は撮影できるようになったんです。（野中）」
●キモは5Gの「大容量」！ これでスポーツがより面白く、強く！
ここまでは、「リアルタイム自由視点VR」という新しい技術のお話。で、これを実践するためには大容量の映像を伝送する必要がある。今回のクライミング画像の場合は16台のカメラで同時に撮影している。それを「一斉に」送ることができるのが5Gの大容量伝送というわけだ。
野中「そうですね。制作側の技術ができてきましたし、伝送側における5Gの運用も間もなくです。2020年、もっとも身近に考えているのはスポーツ中継でしょうね。（野中）」
たとえばスポーツの試合を各家庭のテレビで見ながら、コントーラーをグリグリ動かしてあらゆる角度から選手の動きを見られるようになっているかもしれない。
野中「撮影と同時にあらゆる角度から確認できますので、選手の育成や強化にも活用していただけるのではないかと期待しています。（野中）」
②おはなしアシスタント「レナちゃん」が目の前に！ より賢く！
●「レナちゃん」って？
この人である。
身長157cm、体重45kg、生活デザイン学科で学ぶ18歳の女子大生だ。 2017年3月に、auのスマホ向け音声アシスタントサービス「おはなしアシスタント」に登場。
スマホの中にいて、話しかければ音声を認識、天気を教えてくれたりアラームをセットしてくれたり外国語に翻訳してくれたり、KDDIのサポート業務をしてくれたりするレナちゃんが、ついにスマホの中から飛び出してきたようです！
ホラよくみてください。こんなふうにレナちゃんがいますね（AR空間に！）。
これ、どの辺がすごいのかというと、現実のデスクの向こう側に座ってるところ。GoogleのTangoテクノロジーの空間認識技術を活用したもので、空間をきちんと認識し、奥行きや正しい距離を把握したうえで、背景と矛盾せずに「動く」ARレナちゃんを出現させるのである。
「これはKDDIの社内ハッカソンで生まれた『ミク☆さんぽ』のAR技術をベースに、『おはなしアシスタント』のAI技術を掛け合わせたものなんです」。そう言うのは、KDDIホーム・IoTサービス企画部の大川祥一。
前者は初音ミクのキャラクターがリアルな3DモデルとしてAR空間に現れ、一緒にお散歩できるアプリだ。
大川「空間認識できて、あたかもそこにいるかのようなAR技術と、人と対話しているかのようなAI技術を融合したら面白いんじゃないかという話になったんです。（大川）」
CEATECのレナちゃんは、5Gになれば「なにができるの？」なんて質問にスイスイ答えてくれるほか、オススメのレストランとか「好きなこと」を問うとちゃんと答えてくれるのである。
●5Gの「低遅延」が機能して、バーチャルキャラとの暮らしが実現??
KDDIパーソナルサービス企画部・増崎和彦と石先広海が補足する。
増崎「時々トンチンカンな返答をすることもあるんです。でも大丈夫。5Gの時代になれば、そこからどんどん成長してくれます。（増崎）」
石先「これまでは対話に関してもアプリのなかに登録されているケースが多く、アプリ内で処理することが多かったのですが、今後はリアルタイムでサーバーに送って学習させ、知らなかった言葉も認識して回答できるようになります。（石先）」
大川「5Gの時代になると、様々な会話のログを残しておいて、人のようなコミュニケーションに近づけることができるでしょうね。サーバーで学習した会話は、瞬時にレナだけでなくすべてのバーチャルキャラで共有できるようになります。（大川）」
今はレナちゃんが、おおよそ設定された質問に対して答えてくれるような状況だが、5Gの未来には、AR空間に好きなキャラクターがずーっといて、現実の人みたいにコミュニケーションできるようになるかもしれない。アイドルとかイケメン俳優との“AR 同居”も可能になるかも??
③膨大なIoTデバイスの情報をARで。「コネクティッドAR」！
次なる展示はこちら。駐車場を模したセットにラジコンカーが2台。スマホのカメラを利用した「カーシェアリング」のデモンストレーションだ。
スマホのカメラをかざすと類似したクルマであっても正しく画像認識し、瞬時にカーシェアリングするためのアプリに認識した車種が入力される。そのクルマを利用する時間と決済方法を指定して、予約すると……。
その場で、電子キーがダウンロードされるのである。あとはスマホでロック解除＆エンジンスタート！ と、実にスマートにカーシェアリングが利用できるという仕組み。
一連の流れを動画でどうぞ。
ただしこれ、単に「カーシェアリングが便利になるよ」という話ではない。IoTとARを連携させようという試みなのだ。今後、世の中の機器はどんどんIoT化していく。冷蔵庫もエアコンも電子レンジもコタツも、あと、そうクルマでさえも。今はいちいち全部マニュアルがあり、物によってはコントローラがあり、故障したらネットで型番を調べ･･････みたいなことをせにゃならんわけですが、マニュアルもコントローラも故障への対策も、スマホでその機器を認識させれば、そこにARとして情報を提示できたり、そのスマホがコントローラとして使えるようになったりする技術なのである。
カーシェアリングの場合、業者のサイトにアクセスして車種を指定して各種データなどを入力せねばならないが、「コネクティッドAR」なら、停まっているクルマにスマホをかざすだけ。画像認識し、サーバーから即、情報が降りてくる。
●すべてがネットにつながる時代こそ5Gの「多接続」。すべてがスマホで操れる？
5Gになるとひとつの基地局に対して同時接続数は100倍。間違いなく、今よりも多くのものがインターネットにつながっていくことになる。
KDDI総合研究所ソフトウエアインテグレーショングループの加藤晴久はいう。
加藤「あらゆるモノがネットワークに繋がるのが5Gの世界です。接続されることでデータは収集されて蓄積され、AIで最適化されたうえで、ARによって可視化されます。（加藤）」
たとえばエアコンなどでもスマホをかざすだけで、何度の設定で何時間運転していて、電気代がいくらかかっているかなどが表示され、リモコン代わりに操作することもできることになるだろう。
加藤「世の中すべてを画像認識して使用したり制御できたりする未来がくるといいですね（笑）。それにはもっともっと色々なものがIoTされる必要があるんですけどね。（加藤）」
④世界初！「音場のズーム合成技術」
●それはまさに「音のVR」なのであった
次の展示は「音場のズーム合成技術」。ヘッドフォンを装着した筆者が注視しているのはタブレットだ。
そこには5人の音楽家が演奏しているムービーが流れていた。
VRカメラをセンターにおいて取り囲むように演奏、撮影している。再生は2Dだけど、ぐるりと全員を見渡したり、左右にスクロールしたり、画面内の好きな場所にズームすることもできる。で、右端のおねえさんに寄ってみる。すると……
なんということでしょう！ ほかの４人の楽器の音は超小さくなり、彼女のオーボエだけが鼓膜にビンビン響くのである。
VRの映像は、アングルを変えたりズームができたりするけど、音の聞こえ方は一定だ。たとえばこんなクインテットの場合でも、画面に映ってない楽器の音も変わらずに聞こえてくる。そこで、ズームしたらその音にもズームインできるようにしたのがこの「音場のズーム合成技術」。
今回の五重奏の収録にはVRカメラの周りに6台のマイクを配置して、録音。あとはアプリで再生するだけ。再生時にはズームすれば音は大きく聞こえるし、画面を右にスワイプすれば聞こえていた音は右に流れていく。目の前の音がただはっきり聞こえるというだけでなく、横や背後も含めて周波数ごとに音の到達時間を計算し、音場の空間的な広がりを保ちながらリアルタイムで音を並べ替えて合成しているという。
こちらはカメラを取り囲むように円形になってパス。映像でボールを蹴る人寄ると音もはっきり。トラップする音もよく聞こえる。動画の39秒あたり、遠くの方に芝刈り機が見えるとその音も聞こえてくるのだ。
KDDI総合研究所インタラクションデザイングループの堀内俊治は、この技術は世界初だという。
「ある特定の音をピンポイントで、収音・再生することはできましたが、音が鳴っている場所に“幅を持ってズームする”ようにしたのは初めてです」
●5Gの低遅延なVR体験で、映像も音も臨場感満点に！
堀内「ミニライブなどを収録、この方式で再生して、“推しメン”だけズームインして聞ければ楽しいですよね（笑）。あと、スポーツのシーンでも、意外なつぶやきとかが聞こえるかもしれません。おすすめなのはお祭りです！ あちこちで色々な音がしていますから、あとでズームしながら思い出を振り返るのもいいかもしれません。（堀内）」
今回のデモはVRカメラと6台のマイクで収録したが、2Dの通常のカメラでも可能らしい。
堀内「5.1chサラウンドマイクも使えます。合成処理はリアルタイムでできますので、ライブでも使えます。5GになるとVRももっと増えてくるので、ぜひ音のほうも合わせて提供していきたいですね。（堀内）」
●あと3年？ 生活のあちこちに5Gの足音が！
ほかにもモバイルネットワークで自律飛行し、5Gで高精細映像を伝送するスマートドローンや、大容量・低遅延を活かした超高精細映像で、不動産物件をその場に行かずにVRで内見できるシステム、人間の動き通りに遠隔地のロボットを操作し、そのロボットの感覚を操作側の人間も共有できる技術「テレイグジスタンスロボット」などなど、多数出展。
まだまだ進化？ 「auの5G」
あらたなライフシーンを創出する「5G」。KDDIの展示では、5Gのある世界で、一体どんな便利で楽しく、あたらしい世界が待っているのかを体感することができた。しかし、それもまだその一端なのかもしれない。
「来年の5Gはもっとすごいことになるんじゃないですか？」と渡里に尋ねると、「そうですね。楽しみにしててください」と微笑んだ。さらにどんな進化が訪れるのだろうか。
文：武田篤典
撮影：竹内一将（STUH）
※掲載されたKDDIの商品・サービスに関する情報は、掲載日現在のものです。商品・サービスの料金、サービスの内容・仕様などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。
