「カメラマンなしのスポーツ中継」をAIカメラで実現 5G通信が起こす進化がすごい

カメラマンなし！ AIカメラ単体で成り立つスポーツ映像制作

いよいよ今年にも試験運用が予定されている次世代移動通信システム・5G。「高速・大容量、低遅延、多接続」の、次世代通信を見据えて、今、映像技術の進化がおもしろいことになっている。まずはこちらのムービーをご覧いただきたい。実業団のバスケットボールの試合中継だが、最初の数分だけでも見ていただければいい。

撮影：スターコミュニケーションズ株式会社

ジャンプボールは1分37秒あたり。カメラはつねにボールを持つプレーヤーを捉え、攻撃側のゴールを画面の端に収めている。スローインするプレーヤーを画面中央あたりに配置。黒チームのゴール後、攻守交代すると素早いボールの動きをきちんと捉えている。しかし……。

実はこの映像にはカメラマンもディレクターもいない。8Kの高精細映像を最大170°の広範囲でカメラが「撮りっぱなし」。その映像をAIが判断してカメラのアングルを調整し、必要に応じて拡大しているのだ。

こういった最新の映像技術が生かされるのも、次世代移動通信システムである５Gの環境があってこそといえる。

カメラマンなし！ カメラ1台でスポーツ中継できるAIカメラ

この映像を撮影したのはイスラエルの企業が開発した「Pixellot」というAIカメラ。インターネット環境があって、このAIカメラ1台あれば、誰でもプロ並みのスポーツ中継が可能となる。こういった技術と連携し、KDDIは来るべき5G時代に新しいスポーツ観戦の提供を見据えている。

簡単に仕組みを説明すると、「Pixellot」には4台の2Kカメラが少しずつ角度を変えて搭載されている。これらがスポーツの競技フィールドを少しずつ分割して撮影し、瞬時に繋ぎ合わせて滑らかな1枚のパノラマ映像を生成する。そしてプロのスポーツ中継のカメラワークを競技ごとにアルゴリズム化。「Pixellot」のAIはそれを学習して、ボールや選手の動きを追い、シーンにフォーカスして映し出す。

“動きを追う”といっても、実はカメラ自体にズームやパン（固定したカメラの向きを左右に振ること）する機能はない。AIが「どの部分を切り取って見せるのがいいか」「どの選手をアップにするのがいいか」を判断すると、大きなパノラマ映像から必要な部分を拡大することで映像を完成させる。これが自動制作の仕組み。「Pixellot」では「オートプロダクション」と呼んでいる。

しかし、フィールド全体を捉えるパノラマ映像はもちろん、それをAIが解析する過程も含めるとそのデータ量は膨大になる。そこで高速・大容量が実現できる5G通信なら、スムーズな番組制作およびライブ配信が可能になるというわけだ。

あらゆるアングルからの映像が見られる！ 「自由視点VR」

同じく5G時代を見据えた映像技術として、KDDI総合研究所が長らく研究しているのが「自由視点VR」。スポーツの試合やコンサートなどを、スマホやタブレットを使って、文字どおり自由な視点で見ることができる技術である。

通常の映像コンテンツはディレクターなど制作する側が選択したカメラアングルからしか見ることができない。ご存知のように、現在のスポーツの試合やコンサートなどには複数台のカメラが設置されており、制作側がそれぞれのカメラを切り替えている。

ところが自由視点VRでは、視聴者が指で画面をなぞったりコントローラを使って、画面に映っている映像を自分の好きなアングルから見ることができてしまう。

その仕組みと、実際の「自由視点VR」映像をわかりやすくまとめたムービーがこちら。

自由視点VRの映像は18〜46秒あたり。タブレットに映し出された打者がバットを振り、一塁へ走る映像を、指でなぞることでアングルを変え、グリグリと滑らかに視点を動かしながら見ることができる様子がわかる。

どういう仕組みなのかというと……。

実はスタジアム内に4Kカメラ16台がバッターボックスに向けて設置されている。これらのカメラが撮影した映像をもとに、AIが視聴者の選択したアングルに合わせて１本の映像としてつないでいく。その際、人物や背景など、映像を構成するすべてのパーツを3DCGとして配置・表現することで、カメラが存在しないアングルからの映像さえも再現できる。それが「自由視点VR」というわけだ。

選手の真下から見上げることも、空からのアングルも再生は可能。野球少年あこがれの選手のバッティングフォームを、選手は自分のフォームを、あらゆるアングルからチェックすることができる。

こちらの記事もあわせてどうぞ

自由視点視聴で『スポーツクライミング』をより楽しく！ 5G時代のスポーツ観戦を体験

自由視点映像は、複数台のカメラからの映像をつなぎ合わせ、かつその隙間を3DCGで埋めることから、データ容量は膨大なものになる。これをリアルタイムで観客席の複数のタブレットに配信するには、5Gの「高速・大容量、低遅延、多接続」という特性が生かされるのである。

2つの未来の映像技術が実際のスポーツ大会に投入された

そんな「Pixellot」と「自由視点VR」が、スポーツの大きな公式戦に投入された。1月に駒沢オリンピック公園屋内球技場で行われた「第14回ボルダリング・ジャパンカップ」である。では当日の模様と、どんな映像がつくられたのかを紹介しよう。

「ボルダリング・ジャパンカップ」は文字どおり、ボルダリングの日本一を決定する大会。世界トップレベルの選手たちを擁する「TEAM au」からは、4人の選手が決勝進出し、健闘した。

女子2位に野口啓代選手、3位に伊藤ふたば選手、男子2位に楢崎智亜選手が入賞。TEAM auからは3名が表彰台に

女子２位に入賞したTEAM auの野口啓代選手

まずは「自由視点VR」。当日は、実際に選手たちが登る壁に向けて16台の4Kカメラを配置。客席にサーバが置かれ、リアルタイムで自由視点映像が生成された。

また、「Pxellot」もスタンドに配置。

ライブ配信に必要なのは、左の「Pixellot」本体と右のPCだけ。それでもう、プロスポーツカメラマンのような映像制作が可能になるのである。

この大会の競技映像は、インターネットスポーツメディア「スポーツブル」でライブ配信された。そして競技終了後には「自由視点VR」も同サイトで配信。タブレットやスマートフォンでアクセスすれば、TEAM au　4選手のボルダリングの模様を、画面を操作しながら自由なアングルから楽しむことができる。

実際に「自由視点VR」として配信された映像がこちら。

そして、当日配信した「自由視点VR」をリプレイで楽しめる動画は、KDDIのクライミング総合サイト「au CLIMBING CHALLENGE」にて、スマホかタブレットでお楽しみください。

「自由視点VR」リプレイ動画はこちらから

「au CLIMBING CHALLENGE」

ボルダリングという競技において「自由視点VR」は、どんなふうに登ったのかを知るために非常に便利だ。登るべき壁の傾きや、配置されているホールド（＝とっかかり）の出っ張り方などは正面の映像からだけではわかりづらい。アングルを変えてみることで、選手の驚くべき創造性を知ることができるのだ。

今回の「ボルダリング・ジャパンカップ」は日本スポーツクライミング協会主催の公式戦。ボルダリング公式戦が自由視点映像によって撮影・配信されるのは国内初のこと。しかも「自由視点VR」の映像を、一般のサイトで誰もが体験できるところまで来ている。未来はいよいよ近づいているといえるだろう。

「Pixellot」で撮影した映像はこちら。

※「Pixellot」の機材提供、技術協力はPixellot代理店・スターコミュニケーションズ株式会社

まだボルダリングに対応していないので、AIによる自動制作はできないが、競技中の壁は全域を撮影している。そのため、あとから好きな箇所にズームするといったことができる。

「Pixellot」と「自由視点VR」は、今後様々な使い方が想定できる。

「Pixellot」はAIカメラ1台とPCだけという簡易なセッティングで、誰でも簡単に中継できるからこそ、学校の部活の試合といった撮影にも対応できるのだ。映像は競技フィールド全域を収録していて、あとから任意の場所にフォーカスできるので、サッカーなどでボールのない場所でのフォーメーション確認や、試合展開の分析などにも役立つだろう。もっと身近なところで考えると、親が「ボールに絡まないうちの子のプレー」だけを、試合中ずっと見続けることも可能だ。

「自由視点VR」は、今後、スポーツのライブ配信などに組み込まれるかもしれない。これは、スポーツ観戦の革命だ。今までは、撮影された映像を与えられるだけだった。今後は、視聴者一人ひとりがスマホやタブレットを使って視点を自由に変えながら映像を観ることができるようになる。スタジアムで観戦する際も、スマホやタブレットを持ち込んで観ることで、自分の座席以外からの視点をリアルタイムに楽しめるので、座席の良し悪しから解放され楽しみ方も広がるようになるだろう。

こうしたスポーツ観戦の革命を実現する5Gの時代

実は「ボルダリング・ジャパンカップ」のように限られた条件のもとであれば、現在の4G通信環境でも「Pixellot」や「自由視点VR」の運用は可能だ。しかし今後、リアルタイムで、もっと多くの人が、同時に楽しめるようになるには、「高速・大容量、低遅延、多接続」が可能となる次世代移動通信システム・5Gの実現が必須となる。

今回「ボルダリング・ジャパンカップ」に「Pixellot」を投入したKDDIテクノロジーの代表取締役社長・相澤忠之はいう。

「今回のボルダリング大会の映像ですが、実は数十秒だけ遅れて配信されています。中継処理のために現状ではどうしてもその時間がかかってしまう。しかし、5Gの時代になると遅延なくリアルタイムで中継できるようになります。より具体的にスマホやタブレットでの視聴を想定して、プロレベルの実況をオートプロダクションで見ていただくだけでなく、ライブ配信でありながら競技フィールド内の好きなシーンをVRのように見ることもできる。『Pixellot』の持っているコアな技術をベースに、KDDIのスマートフォンアプリケーションと5Gを絡めた独自のサービス展開を考えています」

KDDI総合研究所の内藤整は「自由視点VR」の精度をさらに上げるため、今回の「ボルダリング・ジャパンカップ」に参画した。

「『自由視点VR』は、実際運用するようなセッティングで競技を収録すればするほど精度が上がりますので、地道にあらゆるスポーツの会場に出かけていますよ。KDDIとしては次世代移動通信システムの5Gがどんなものなのか、具体的にお客様にとってどんなメリットがあるのかを伝えていかねばならないと思っています。『自由視点VR』はそのひとつ。5Gを概念だけでなく、お客様に実際に“こんなスペシャルな体験ができるのか！”と思っていただけるように、頑張っています」

５Gは2019年内にも試験的に運用が開始され、2020年からの商用サービスの開始も予定されている。今回ご紹介したスポーツ観戦の楽しさをさらに高める映像体験は、今後、みなさんの持つスマホやタブレットで普通に楽しめるようになるだろう。家庭でもスタジアムでも、スポーツに限らずコンサートや学校行事でも。より身近になり、より現実に近づいている5Gから今後も目が離せない。