AIがコーチに！ AR侍と対決！ 目の前に国宝が！ 5Gでできることを一足先に体験

第5世代移動通信システム、すなわち5G通信の商用サービスがいよいよ2020年春にスタートする。今年9月30日には5G基地局の第1号を設置し、すでに電波も発射されている。

現状の4G LTEの通信システムと比べると、5Gでは、スピードが約20倍、データ通信のタイムラグは約1/10、同時につなげるデバイスの数は約10倍となる。

では、5Gによって私たちの生活は具体的にどんなふうに変わるのだろうか。

2019年10月に幕張メッセで行われたIT・エレクトロニクス分野の国際展示会「CEATEC 2019」にて、KDDIは「スポーツが変わる」「エンタメが変わる」「街が変わる」という3本柱をテーマに展示を行った。5Gで私たちの生活はどう楽しく変わるのだろうか。近未来を感じさせる「新しいワクワク体験」を紹介していこう。

スポーツが変わる！

●プレーをスマホで撮影するだけで上達！ 「スポーツ行動認識AI」

「スポーツ行動認識AI」とは、AIが人の映像から65カ所のポイントを抽出し、その人のフォームや身体の使い方を細部まで認識。AIが学習済みのスポーツ選手などの動きと比較して理想的な動きができているかどうかをAIが判断し、アドバイスしてくれるもの。

カメラの前に立つと、目線・両肩・腕・腰・膝・足首・かかと・つま先が赤い点と線でポインティングされ、モニターに表示される。

前方のちっちゃいゴールに向かってボールをパスすれば、そのフォームを「スポーツ行動認識AI」が判定してくれる。

クラウドにあるAIが正確に判定するためには4Kなどの高精細映像が必要だが、5Gの時代になれば、スマホ１台でその大容量映像データを瞬時に送受信することができるようになる。また、送られるのはフォームや体の姿勢だけではない。

実は、サッカーボールの中には「縦・横・奥行き」を感知する3軸の「角速度センサー」「加速度センサー」「地磁気センサー」が搭載。ボールの回転数・回転の方向・速度を瞬時に導き出し、Bluetoothで連携したスマホから、5G通信でクラウドにアップ。これらのデータはクラウド上で、「スポーツ行動認識AI」により分析されたフォームと合わせて解析され、詳細な判定結果をスマホに送ってくれる。

下がその結果。

AIの分析によると、筆者の利き足でのキックは地面に対しておおよそ平行（8°）であるのに対し、逆足はかなり傾いている（12°）。さらに、キックのタイミングに関しては利き足のほうが早いということがわかるのだ。

ちなみに今回の展示ではサッカーボールを使用したが、ほかにも野球やバレーボールなど、さまざまなスポーツに応用が可能だ。

スポーツ行動認識AIを開発しているKDDI総合研究所の田坂和之はいう。

KDDI総合研究所・田坂和之

「たとえば、お父さんがお子さんのサッカーのキックフォームを撮影すれば詳細データをクラウドにアップし、リアルタイムに改善点をアドバイスできるようになります。

スポーツ行動認識AIは、現状、指先の動きまで把握できます。高精細カメラでクラウドに送ることで、体全体のフォームだけでなく、バレーボールのレシーブやゴルフのグリップなど、指先の使い方についても解析して判定できます。スポーツだけでなく、ピアノのタッチを学ぶことも技術的には可能です。5Gの到来で、コーチや先生に直接指導を仰ぐ機会がなくても、スマホ1台あれば正しいフォームを習得することができる時代になると考えています」

エンタメが変わる！

●スマホに現れる侍を撃ち倒す、5G時代のサバゲー「AR戦国シューティング」

ARシューティングとは、スマホカメラの映像に、現実にはない敵の映像を重ねて表示、その敵を撃ち倒すゲームだ。野山を駆け巡りながらスマホ上に現れる恐竜と戦うARシューティングは、実は、昨年から国内３カ所、韓国１カ所ですでにアトラクションとして運用されている。

そこにいない恐竜と戦うゲームを、目の前にいる人と戦うようにアップデートしたのが、この「AR戦国シューティング」。これはいわば、5G時代の“サバゲー”だ。上の写真のようにチームに分かれて人間同士で撃ち合うのだが、実際に狙うのは相手の前に立ちはだかる「侍」。

画面奥にグレーのカーディガンを着た女性が見えるが、この女性参加者をスコープを通して見ると……。

彼女を覆い隠すように、青い鎧兜に身を固めたARの侍が現れる。侍は参加者一人につき一体出現。相手のスコープから見れば、もちろん自分の前にも侍はいる。それを互いに撃ち倒し合うのだ。

動画だとこんな感じ。

ARの侍は、紐づけられた参加者の動きと連動して動く。そして、チーム戦であるという点が現行のARシューティングとの大きな違い。

ARシューティング担当者の北崎修央によると「5Gを使うことでこれらが実現できる」のだという

KDDIビジネスインキュベーション推進部 北崎修央

「今のARシューティングは、恐竜のデータなどはすべてスマホの中にあります。ある地点に行くと恐竜が出てくるようになっていて、恐竜を倒した得点もそのスマホ内で完結していますので、通信はあまりしていないんです。『AR戦国シューティング』の想定はサーバでの処理。侍のデータはサーバからリアルタイムに表示し、敵を倒した得点もその都度サーバにアップしてチームごとの点数を合算。5Gの高速・大容量・低遅延だから侍もスムーズに動くし、団体戦も可能になるんです。今回のデモでは2人 vs 2人の戦いですが、技術的には４万人vs4万人の合戦も可能です。ゆくゆくは関が原で本当にやってみたいですね」

●画面の中から好きな音だけ大きく聴ける「音のVR」

5G通信サービスが始まると、エンタメ系コンテンツに革新が訪れるかもしれない。 一般的なVRといえば、360°カメラで撮影された動画を装着したVRゴーグルで見るものだ。体験者は、あたかもその現場にいるかのような感覚を味わうことができる。

それを「音」でも実現したのが「音のVR」。

従来のVRでみたい場所を見ることができるように「音のVR」では聴きたい音を選んで大きくはっきりと聴くことができるのである。

一般的なVRでは、ゴーグル内で上下前後左右360°見たい方向の映像は見られるものの、聴きたい方向の音が際立って聴こえるわけではなかった。「音のVR」では、映像の中で聴きたい対象をズームすれば、そこから発生している音がより大きく聴こえる。

スポーツの中継や音楽ライブでの運用を想定していて、ゆくゆくは好きなアスリートの息遣いや、グループの推しのメンバーのボーカルだけを拡大して聴くことができるようになる。

「CEATEC 2019」では、この「音のVR」を体験するための、円形の展示室が設えられていた。中に入ると、部屋を帯状のスクリーンがぐるりと取り囲んでいる。

上の写真は弦楽五重奏の演奏動画（もうひとりチェンバロの演奏者は360°動画のため死角に入っている）。VR用の360°カメラで撮影された映像だが、体験者はVRゴーグルを装着せず、タブレットを手にスクリーンと向き合う。

タブレットを手にスクリーン上の聴きたい音（演奏者）のほうを向けば、そこにスポットが当たったようになり、その演奏者の楽器の音が大きくはっきりと聴こえる。

動画で実際に音を聴いてみよう。

ちなみに、収録はこの機材を取り囲んで行う。

下の大きいほうの球体がいわゆる360°カメラだ。上の小ぶりな球体には19個のマイクが入っていて、その場で聴こえる全方位の音を収録する。それを元に「音のVR」を生成する。

このシステムを開発したKDDI総合研究所の堀内俊治は、5Gに大きな期待を寄せている。

KDDI総合研究所 堀内俊治

「5Gになると、ライブの『音のVR』も、低遅延で配信することができます。今回の展示のようなスクリーンとサラウンドスピーカーを設置すれば、ゴーグルなしでVR体験をしていただけます。仲間と一緒ならこうしたシステムのほうがVRを楽しみながら自然にコミュニケーションが取れます。

この新しい技術で面白いクリエイターが、想像もし得ない使い方をしてくれると嬉しいなと思います。これまで“外側”から普通に撮影・収録していたコンテンツを“内側”から映像だけでなく音も意識して撮影・収録することで、視聴スタイルや撮影・収録される側の意識にも劇的な変化が訪れるのではないか、と期待しています」

街が変わる！

●どこででも、好きな角度から「NrealLight」による5Gアート体験

AR技術の進化により、私たちの日々の営みは変化している。街を歩きながらスマホ上に現れるモンスターを捕まえたりするような活動は、つい数年前まではなかったことだ。 今はスマホによるゲームが主流だが、5Gの時代になると、よりリアルな事象が、まさにあたかもそこにあるかのように街なかで見られるようになる。

鍵を握るのはスマートグラスだ。

KDDIは中国のNreal LTD.社と協力。軽量で見た目も通常のサングラスとほとんど変わらない「NrealLight」をベースにしたコンテンツ開発に力を入れている。そのひとつが、たとえば「アート体験」である。

国宝の特別展示や世界的な有名美術作品がにほんにやってきたりすると、すごい行列ができる。長時間並んだ挙げ句、見られるのはガラスケース越しに数分……なんてことも珍しくはない。

5G時代のスマートグラスは、そんなアート体験をよりリッチなものに変えてくれる。装着すれば、目の前に作品がリアルに浮かび上がるのだ。

今この波柄（光琳波というデザインらしい）の台を凝視している人物の目には、こんなものが見えている。

東京国立博物館所蔵の国宝「八橋螺鈿蒔絵硯箱（やつはしらでんまきえすずりばこ）」。これまでは決まった美術館や博物館などに行かないと見られなかった逸品が、今後は好きな場所で自由に見られるようになるだろう。このスマートグラスは装着者と対象物の位置情報を検知するので、グルリと回り込めば、側面や裏側など見たい角度から自由に見ることもできる。まるで国宝を所有しているような気分があじわえる。たとえば研究者ならば、いつでも好きな時に目の前に国宝を出し、詳細に観察することも可能だ。

KDDIでスマートグラス「NrealLight」のコンテンツを開発している王健によると「5Gはまさに『NrealLight』と親和性が高い」と言う。

KDDIプロダクト開発１部　王 健

「なぜならスマートグラス『NrealLight』は、スマホにつないで使用するからです。実は今回の展示で表示した硯箱（すずりばこ）のAR画像データはスマホに入っています。5Gの時代になれば、スマホに画像を入れておかなくても、サーバーに置いたAR画像データを手元の5Gスマホに瞬時に配信することができるようになります。たとえば美術館の展示物をすべて超精細なARで体験できる時代がくるかもしれません。

ゆくゆくは、熊本城のような大きな歴史的建造物の中を、自宅に居ながら自由に歩き回ることが可能になるでしょうね。今後の展開にぜひご期待ください」

●スマホをかざせばどこにでもいける！「XR Door」

たとえば旅行に行く時、旅先について調べる。現地の雰囲気を知るには写真や映像を見たりするが、VRだともっとわかりやすい。360°カメラで撮影した現地の様子を体感できれば、より魅力は伝わる。お店の下見などに関しても、またしかり。

VRゴーグルを使用せず、手軽にしかも没入感高くVR体験ができるのが「XR Door」である。

「CEATEC 2019」の展示ではドアのオブジェが建てられていたが、アプリを起動して何もない場所にスマホをかざせば、ディスプレイ上にARのドアが出現する。

画面内でタップすると、ドアが開く。

実際にドアの向こうに足を踏み入れれば、一面に広がる菜の花畑に！ 展示会場にいるのにもかかわらず、違う世界に移動している感覚になるのだ。

そして、いま入ってきたドアのほうを振り返ると……

一面の菜の花畑の世界の中にドアがぽつんと立っていて、その向こうは元いた展示会場の世界。このまま、またドアを通り過ぎれば、スマホ内も元の世界に戻る。

「XR Door」の開発を担当したKDDIの氏原佳彦によると「AR技術を使って、VRゴーグルを装着しない手軽な360度映像体験が狙い」だと言う。

KDDIプロダクト開発1部 氏原佳彦

「いまもっとも普及しているスマホというデバイスを使って、360°体験を提供したいと考えたんです。そして、リアルから360°映像の空間に入るきっかけに、ある種のお遊びとして“どこにでも行けるドア”を設置しました。このデモでは、あらかじめ撮影した映像をスマホの中に保存・再生していますが、5Gの時代には360°カメラによる生中継を体感していただければと考えています。

世界各地の観光地やスタジアムなどに360°カメラを常設し、自分の今いる場所からスマホ越しに気軽にそこへ行くことができたり、離れている友だちとバーチャル空間で合流することも可能。5Gという新しい通信インフラを使って、これまでにない体験が簡単にできることが重要だと考えています」

5Gは2020年から本格的にスタート！

さて、今回の「CEATEC 2019」会場で、KDDIは実際に5Gの電波を飛ばしている。下の写真の上部についているのが5Gアンテナだ。

同時に5G対応の「Xperia」と「Galaxy」の試作機も展示した。

では、実際の5G通信環境ではどれくらいの通信スピードがでるのだろうか？ この試作機を使って、どのくらいのスピードが出るかをテストができるのだ。表示された数値は……

取材時に確認した限りでは、最速で1,969Mbps！

では、5Gを使って、KDDIでは今後どのような展開を考えているのだろうか？ 最後に、KDDI次世代ネットワーク開発部の宮内勇介に聞いた。

KDDI次世代ネットワーク開発部 宮内勇介

「KDDIでは、通信の容量制限がなくなる時代がくることを見越して、『UNLIMITED WORLD』というテーマを掲げています。今は、パソコンなどで作業をする際もWi-Fiや4Gに“つなぐ”ということを意識していますが、5Gの時代には、あらゆるものがつながっているのが当たり前になり、究極的には一切意識しないまま通信につながっていて各種サービスをお楽しみいただけることになると思います。そのうえで、いろいろな“もの”と“もの”、“人”と“人”がつながる。通信はそうした世界での下支えになるべく役割を考えています。

2020年春に5Gの商用サービス開始を予定しています。今回のCEATECでは、身近なスマホを通じた体験によって、多くのみなさまに5Gが普及した“少し先の地続きの未来”をリアルに実感していただきたいと考えています」

5Gはもう「未来の通信システム」ではない。すでに基地局も設置され始め、2020年春には国内で実際に運用が始まる。ますます「もっとワクワクできる」サービスが立ち上がっていくことに期待したい。