2017/03/27
サッカー日本代表の注目試合、アジア最終予選-ROAD TO RUSSIAを自由視点化！ スポーツ配信の未来とは
TIME&SPACEでも何度かご紹介している自由視点映像。･･････ではありますが、改めてここでもちょびっとだけ説明しておくのである。それは、文字通りユーザーが「映像をさまざまな角度から見ることができる」という技術。
原理はおおむねこんな感じだ。
①自由視点で見せたい被写体を周囲から複数台のカメラで撮影する。
②取り囲むようにして撮られた被写体を３Dとして切り抜く。
③人工的な背景を作り、そこに３D化した被写体を配置する。
④できあがり。
するとその映像は、360度どの角度からでも見ることができる。
直近で、この話題を取り上げたのは、新宿のカラオケ『シダックス』で、アイドルユニット「マジカル・パンチライン（マジパン）」の自由視点映像を公開した時。こちらの記事に詳しい情報があるので、併せてチェックされたし。
マジパンの時はVR（バーチャル・リアリティ）を体験できるゴーグルをかけて、歌い踊る彼女たちに近づいたり、サイドに回り込んだり、背後からも眺めたりすることができた。この時は、彼女たちのライブの模様を周囲から５台の４Kカメラで撮影し、３D化した。
そして今回は、11月15日に埼玉スタジアム2002で行われたアジア最終予選-ROAD TO RUSSIA 日本×サウジアラビア戦の模様を撮影、自由視点映像化したのである。まずは見ていただこう。
自由視点映像の動画に隠された秘密
動画ではまず、"Original"として「cam１」から「cam４」まで画面を４分割した映像が流れ、その後"Free Navigation"として、プレー中のピッチにカメラが近づいてプレーヤーに回り込む映像に代わる。
当日、現場では５台の４Kカメラが稼働。元々の動画が"Original"で、そこから対象物（この場合はピッチにおけるプレイヤーたち）を３D化して切り出して、自由視点映像にしたものが"Free Navigation"である。
このアジア最終予選-ROAD TO RUSSIAでは、４Kカメラを５台スタンバイし、角度を変えてピッチの半分を丸ごと撮影したという。基本的に原理はマジパンのときと同じだ。３Dとして切り出したい対象の周囲をしっかり映し、データをしっかりとりたいわけだ。
人物が重なり合う部分は被写体の映像が欠けてしまうので、「その際、大変なのは人がたくさん密集するところ。一体ずつ切り抜くわけですから、何体も同じ箇所に固まると対象物がかぶることになります。サッカーは特にそれが当たり前のように起きますよね」と、KDDI総合研究所超臨場感通信グループリーダーの内藤 整。この「超臨場感通信グループ」は、今回の自由視点映像に加えて、８K・４Kに代表される超高精細向け伝送技術など、３〜５年後の将来の映像サービスを支えるコア技術の研究開発に取り組んでいる。
"Original"の映像を見ていただくとわかると思うが、カメラはスタンドの高い位置にある。というのも、上の方から撮ると選手同士が重なりづらいから。で、撮ってきた映像がいかに自由視点化されるかというと、まずは「自動」らしい。
「被写体同士が重なっていなくて、広いスペースで動いていれば、１分ぐらいで自動的に生成されちゃうんですよ。とはいえ、５台のカメラですし、サッカーなんて誰かと重ならずにプレーすることは不可能なので、人と人とが重なって像が欠けているところを、今は人間の力で補ってやらなくてはならないんです」
そこの処理に時間がかかるのである。サッカーではピッチ上で選手が重ならないことはないが、選手同士が密集しているところでも自由視点映像で見れば、その時にどんなことが起こったのかを明らかにすることができる。そこに自由視点の大きな魅力がある。
「細かいプレーの局面でなくても、サッカーはいろんな方向から見たいですよね。仮にバックスタンドしかチケットを持っていない人でも、メインスタンドのロイヤルシートから見たいと思うこともあるでしょうし、ピッチサイドからも見られればいい」
"今いる場所"とは違うアングルから試合を振り返ることができるのも醍醐味。
「あとは非常にマニアックな使い方ですが、サッカー好きの人はフォーメーションや戦術を知るために、あえて上空から俯瞰（ふかん）のアングルで試合を見たり･･････」
なんのために、誰のためにつくる自由視点映像なのか
冒頭の動画は、スポーツ専門メディア「SPORTS BULL」からハイライト動画の一部として配信したもの。KDDIは昨年秋より「SPORTS BULL」と提携し、メジャーからマイナーまで幅広いジャンルで、１日400本を超える豊富なコンテンツを配信するこのメディアから、サッカー日本代表の試合ハイライト動画や試合速報、最新ニュースなどを配信している。ちなみにこれ、au以外のお客さまでも、無料でお楽しみいただくことができるのである。
ホスト中継放送をしていたテレビ朝日の全面協力、そして各方面の協力があって、今回の自由視点映像の制作が実現したのだ。実は、KDDIの技術を使ってサッカー日本代表戦を自由視点で映像化したのは今回が初めてではない。５年前のロンドンオリンピック予選の時にも行っている。
「ただその当時は静止画でした。時刻を止めて、あるシーンだけ静止画で自由なアングルから見られるようにして、それを動画と動画の間に挟むようなことをしました。それが今回は動画の状態でアングルを変えるということでができていますので、技術的な進歩はかなりあったと自負しています」
今回、「SPORTS BULL」を通じて世に出たのは、試合からおおよそ１週間後。実は翌日には、ざっくりした自由視点映像は仕上がっていた。
「前日夜に試合はキックオフして、翌日午後１時頃にはできていました。それを関係者と共有し、品質を確認してからさらに精度を上げることになったんですが、このタイムラグを短縮していくのが今後の課題ですね」
ちなみに前回の代表戦の撮影は、あるテレビ番組からの依頼によるものだった。昨年「TIME & SPACE」でご紹介したマジパンの案件はレコード会社とかカラオケ店との協力で実現したコラボだった。他にもあるスポーツの競技団体からプロモーション映像制作の打診を受けて実験的に撮影してみたり、内藤の部署では外部からの映像制作オファーに積極的に応えている。
ユーザーが「自由」に視点を変えられる。キモは５Gにあり？
すると、ここで内藤さん、PCにゲームコントローラを接続し、映像を見せてくれる。例の代表戦なのだが、十字キーとABボタンで視点の移動とズームイン、ズームバックを自由に操ることができる。このインターフェイスを使って、上の動画は編集されたらしい。
なので、この件に関しては「自由視点」ではあるものの「ディレクター視点」で編集されたもの。望むべくは、配信された映像「ユーザー視点」でまさに自由な視点から見たいのだ。
「自由視点映像の容量は非常に大きいんですね。４Kカメラで撮った映像が４〜５台分あって、ネットワークを通じて届けることができればお客様の手元でも自由にアングルを操ることができるようになります。配信したデータをお客様の手元で映像に戻すこと自体は軽い処理なので、そこのハードルはそんなに高くないんですが、現状では配信するネットワークのところが課題。約１分の映像で１ギガはあります」
なので、今のLTEやモバイル回線だと伝送するのが非常に難しいという。そう、残念ながら、今は誰でも自由に好きなアングルから見られる映像にはなっていない。
「でも、これが５Gになると可能性はでてきますね！」
その目処はおそらく2020年ごろとのことだ。
自由視点映像の未来。驚くべき速度で進化中
自由視点化のオファーはさまざまなところから来る。その主体によって、こだわりどころはまったく変わってくると内藤はいう。
「競技団体とかテレビ局、オンエア中に配信する場合、ウェブ配信する場合･･････。私たちは長らくJリーグ中継を撮影してきましたが、どんなシーンをどのように使うかは、会場や試合のグレードによらず、"出し口"によって変わることが多いんです。それで、いろいろな立場のみなさんのために、それぞれの方々が欲する映像をつくっていくことで我々にも知見は溜まっていくわけです」
いよいよ日本代表のアジア最終予選-ROAD TO RUSSIAがまたホームで行われる。この時にまた自由視点映像をつくるとすれば、座組みは同じになるだろうと内藤さんは見ている。とすると、求められる勘どころはだいたい同じということになる。
「そういう繰り返しでどんどん精度は上がります。次回撮影して、たとえば今回と同じように１週間後の提出ということになれば、前回よりは確実にいいものをお見せできると思いますね」
これまでのところ、自由視点映像や、それを含むVRについては、スポーツ中継や音楽のライブなどが中心的なコンテンツになっている。ちなみに、ほかの可能性も探れるのだろうか？
「やっぱりスポーツが多いですね（笑）。自由視点映像にはコート競技が向いていると思います。コートのサイズは規格で決まっているので、キャリブレーションという点ではカメラ映像だけに基づいて３D化できるからです。そういう意味では、柔道とかレスリングとかの屋内競技もどんどん作っていけると思いますよ。逆に、決められたスペースのない大平原みたいなところを撮るのは難しいですね。
将来的にはバーチャルショッピングとかにも応用できると思います。ショップに行かずして、試着できたり店員と相談できたり」
まだ表に出せないプロジェクトが実験的にいくつか進行中だという。その都度都度、内藤の元には新たな知見がたまり、次回へと応用できるようになっていく。自由視点映像そのものがどんどん進化していくのだ。すると、またニーズが高まり、新たな地平が開けることになるかもしれない。そしてまた知見がたまり、またオファーが来る･･････今、目に見えないところでどんどん自由視点映像は進化しているのだ。Time&Spaceでは今後も、その様子を紹介していきます。
文：武田篤典
撮影：富井昌弘
※掲載されたKDDIの商品・サービスに関する情報は、掲載日現在のものです。商品・サービスの料金、サービスの内容・仕様などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。
