5Gの新たな映像体験「ぐるっとTouch」とは？360°好きな視点で楽しめる仕組みを紹介

スマホで映像を見る際、「もう少し角度を変えて見たい」「もう少し拡大して見たい」と思ったことはないだろうか。そんな思いを実現するサービスとして、これまでTIME&SPACEでもスポーツ観戦を中心に「自由視点映像」を紹介してきたが、2021年5月31日、スマホの画面をタッチして、自分で360度自由自在に視点を変えながらコンテンツを視聴できる「ぐるっとTouch」に対応したコンテンツが配信開始となった。

自由視点映像「ぐるっとTouch（タッチ）」とは

この自由視点映像「ぐるっとTouch」は、スマホ画面をタッチし、360度自分の好きな角度に視点を変えて映像を視聴できる次世代の映像コンテンツだ。平面の映像とは異なり、非常に多くのデータを用いる映像だが、5G通信と、MECを組み合わせることで、スマホでも手軽に再生できるようになった。

いったいどんな技術で実現できたのか。そしてその魅力は何なのか。自由視点映像サービスの企画を担当するKDDIとKDDI総合研究所のメンバーに話を聞いた。

左からKDDI 5G・xRサービス企画開発部 氏原佳彦、三功浩嗣、KDDI総合研究所 今野智明、サービス統括本部 担当部長 栃本英源、KDDI 5G・xRサービス企画開発部 山田健太

―――自由視点映像とは、どのようなコンテンツを見ることができるのでしょうか。

山田：もともと自由視点映像は、その瞬間の映像を多角的に、しかも忠実に動画で記録できることから、スポーツとの相性が良く、まずは野球やサッカー、クライミングなどさまざまなスポーツシーンをコンテンツ化するところからスタートしました。そこではスタジアムや会場内でリアルタイムに見ることができる取り組みを進めていましたが、今回の「ぐるっとTouch」は、お客様が好きなタイミングで何度でも見ることができるコンテンツを目指しました。

その観点から、プロスポーツ選手の一流のフォームを見たい角度からじっくり見ることができたり、アイドルグループのパフォーマンスを真後や真上から見ることができるなど、何度も楽しめるコンテンツを中心に、いろんな人に楽しんでいただけそうなジャンルをご用意しました。

―――実際に映像を見ましたが、3Dでも高画質ですね。

今野：そう言ってもらえると嬉しいです。今回この「ぐるっとToutch」では、4K相当のカメラ48台を配置して撮影しました。今までの自由視点映像では16台程度で撮影することが多かったのですが、やはり少しでも良い画質で見てもらいたく、一気に48台まで増やしました。それだけにグループアイドルの映像はデータが重かったのですが、3Dデータの特長を活かし、一人ずつ撮影してあとでメンバーを組み合わせています。こういう合成も3Dデータだからこそできる利点ですし、また一人ずつ撮ることはこのコロナ禍でも安心な撮影環境だと好評でした。もちろん一人ずつの撮影になると、そのあとの編集も人数分必要になるので、私も何度も編集するうちに、自然に曲と振り付けを覚えてしまったくらいです。

一方で、自由視点映像の表示にあたっては、データ量の大きさから再生速度に課題が出てきました。そこで、これまでの自由視点映像の描画処理の仕組みを再設計して、映像素材データからの人物領域抽出による軽量化や、データ構造の最適化などを行うことにより、高速に再生可能な自由視点映像表示システムを開発しました。これによって、見たい視点の映像を瞬時に作り出すことができるようになったというわけです。

栃本：とはいえ、いかに編集を頑張っても、元々がカメラ48台分のデータですから、できるコンテンツもかなりのデータ量になります。3Dの動画映像制作をやっている会社は他にもありますが、3Dデータともなるとそのデータ容量は膨大で、制作はできても配信は難しいという課題がありました。特にストリーミング再生で自由に映像を動かすのが難しく、実現するには視聴前に何十GBという膨大な映像データをスマホに一度DLさせるという方法が現実的です。ただし、それだとスマホの容量によってDLできる本数に限りが出てきますし、何よりDLが終わるまで視聴できないとなると不便です。手軽にコンテンツを見てもらうには、新たな配信方法を模索する必要がありました。

氏原：そこで今回採用したのが、クラウドレンダリングという配信方法です。レンダリングとは、元になる情報を処理して映像や音声を生成する仕組みなのですが、そのレンダリング処理をクラウド上で行うことで、スマホ自体の処理速度に依存せず、他の動画コンテンツと同じようにブラウザ上で表示することができるようになります。あとはいかに、このクラウドレンダリングで処理した膨大なデータをスマホ上でレスポンス良く再生するかですが、5G通信とマルチアクセスエッジコンピューティング「MEC」がこの悩みを解決してくれました。

三功：「MEC」の説明の前に、この「ぐるっとTouch」において、実際にスマホでどういう処理が行われているかを説明しましょう。指で自由に視点を操作できるということは、言い換えると、指の動きで視点の位置と向きを決め、その位置と向きに応じた映像をブラウザ上に表示するということです。つまり、指によって位置と向きが決まった瞬間、サーバーからそのクラウドレンダリングされた視点映像を、遅延なくスマホに送らなければいけない。

三功：そこで私たちが注目したのが「MEC」です。従来の通信はスマホから基地局を経てインターネット上にあるサーバーとデータをやり取りしてきましたが、「MEC」ではお客様のスマホからより近い場所（エッジ）にサーバーが設置されているので、インターネット上にあるクラウドサーバーを介さず、すぐにスマホとデータのやり取りができるようになりました。

こうして少しでも早くデータをやり取りできる仕組みと、そのデータを瞬時に送れる5G通信によって、遅延なく自由に視点をスムーズに動かせるこの「ぐるっとTouch」を実現できたというわけです。

―――まさに通信と技術のチカラですね。

栃本：はい、5G時代だからこそ提供できたサービスだと考えています。最近起きた映像コンテンツにおけるブレイクスルーはドローンだと思っていまして、ドローンの出現以降、今までに見たことのない視点からの映像が次々に出てきました。そして今回のこの自由視点映像。この技術がもっと一般的になれば、思いもよらないダイナミックな視点からの映像だけでなく、自分の任意のスピードでカメラワークを作ることもできます。今回、ようやく皆様のお手元のスマホで再生できる体制が整いましたが、さらに今後スマートグラスそのものがSIMに対応し、通信できるようになると、SF映画のように、目の前に3Dレンダリングした人を出現させることも可能です。

氏原：将来の話で言えば、被写体を忠実に記録する自由視点映像の特性を活かして、人の映像だけでなく、人を含む空間そのものをまるっと映像化することにもチャレンジしたいですね。視覚だけではなく音も近づけば大きくなったり、遠ざかれば小さくなったりする。すでにKDDI総合研究所の技術にある「音のVR」との融合もおもしろそうです。

栃本：ビジネスとしても、世の中では3Dを撮影できるスタジオが増えてきていますが、配信まで提供できているところはまだ少ない。私たちのチームは通信会社だからこそ、撮影・編集・配信までを一貫して提供できることが強みだと考えています。もし配信に課題を感じている人がいれば、私たちのチームはそこを解決する技術とサービスを持っています。映像体験を新たなステージに導いてみたいと興味がある方々がいれば、ぜひ一緒に取り組ませていただきたいと思います。

氏原：何より、今まで課題に思ってきたことや夢に描いていたことが、この5G時代で解決できるようになってきました。今後VRやAR、xRなどの映像コンテンツが5Gと組み合わさることで、どんな新しい体験が生み出されるのか。考えるだけでワクワクします。これからもau5Gの世界を楽しみにしていてください。

こちらの記事もあわせてどうぞ

360°視点動画で子どもの次世代体験！「ぐるっと自由視点」体験会レポート in キッザニア