2016/10/21

アイドルとカラオケなう! マジパンとは? 自由視点VRとは?

かわいいです。今年から始まったプロジェクト「マジカル・パンチライン」(通称・マジパン)として活動中のバリバリの5人組のアイドルグループ。魔法学校「タイガー・ゲート」の生徒とのことです。もうキラキラで眩しすぎます。

で、こちらのモニターに映ってるのはリーダーの佐藤麗奈。通称「さとれな」です。アイドリング!!! で活躍のあと、今年からマジパンのリーダーとして活躍中。映像では、にゅっと手を突き出され、さとれながデレております。握手会の模様なんですね。で、写真手前で握手を求めているチェックのシャツの主は・・・・・・。

こちらの男性。しかしそこは重要ではありません。大事なのは、一体彼が「どこで」「何をしている」か。装着しているサイバーなデザインのゴーグルには、上のさとれなちゃんの映像が映し出されているのです。で、右手に持った輪っか付きのスティックを動かせば、画面の中に、自分の手が出てくる。

感触はありませんが、完全にマジパンちゃんとの握手会にバーチャルで参加できるのです。彼がいるのは歌舞伎町のシダックス。写真ではさとれなの顔を見ていますが、目線を下げると手元も見られるし、左右に顔を振ればほかのメンバーたちの笑顔も視界に入ってきます。

前置きが長くなりましたが、そう、彼はVRを体験中なのです。あたかもビデオ映像の中に自分が入り込んだような「バーチャル リアリティ」が体験できるVRというわけです。今回はKDDIがマジパンとコラボしてオリジナルの自由視点VR映像をつくり、それを実際にカラオケのシダックス歌舞伎町店にある一室で体験できるというお知らせです。・・・・・・さて、VRとはちょっと違う、自由視点VRとは?

自由視点VRが表現の幅を広げてくれる

握手会以外にも、彼女たちが目の前で歌ってくれたり、シダックスのお部屋でマジパンたちを撮影した動画もあります。いわゆるお誕生日席から360°カメラで撮影。「なんか歌う?」とか「コーラ飲む?」とか、こっちを見ながら語ってくれて、完全に「マジパンとカラオケボックスなう」な状態。体験した筆者も「いやあ、歌はあとでいいですぅ・・・・・・」とか「あ、じゃあコーラで」とか、エアリアクションしてしまうくらい。これもう、ファンのみなさんにとっては「たまらん」としか言えんでしょう。

スタジオで撮影した映像が・・・・・・
こんな感じとか・・・・・・
こんな感じで楽しめちゃいます

先日の「水カン×ハコスコ」の記事を掲載しましたが、360°カメラを置いて、そのカメラにどんな役割を持たせて(=マジパンちゃんたちとカラオケしたり、握手会に参加するいちファンってところですね)撮影するという意味では同じ。違うのは、今回は自由視点でもマジパンを撮影している点。

※「水曜日のカンパネラ」VRライブ映像をハコスコアプリで配信! 普通の撮影と、VR撮影って、なにが違う?

どういうことか。以下の静止画をごらんください。

①前からマジパン

彼女たちが自己紹介するシーンを撮った映像を体験しているところ。体験者ではお誕生日席のまま、画面からちょっと離れてまっすぐ見ています。

②横からマジパン

同じ映像を見ながらステージを横から見るような②の位置に移動すると・・・・・・おお、マジパンが歌っているところを横からも見ることができる! まるで袖から暖かい目で見守るプロデューサー的な!? これが自由視点映像なのである。

自由視点VRは、なにが違う?

いわゆるVRを定義すると、「コンピュータ上に人工的な場所をつくり出し、まるで自分がそこにいるかのような感覚を体験できる技術」ということになる。自由視点映像というのもそのなかに含まれるのだろうけれど、被写体のまわりを360°囲むようなレンズがあるわけではないし、この不思議な映像ってどうやって撮影するんでしょうね? KDDI総合研究所で「超臨場感通信グループ」のグループリーダーを務める内藤 整に聞いてきました。

周囲をすべて撮るVRは全天球と言います。周囲360°を撮影できるカメラで"内から外を撮る"。これに対して自由視点は"全周囲"。今回の場合は4Kカメラ5台を設置して、"外から被写体の全周囲を撮る"。これで撮った対象を360°立体的に切り出し、どんな背景にも配置することができるんです

まずすごい点その1は、実写であるということ。

「ゲームなどで、ゼロからCGでつくり上げたキャラクターが自由にどの位置からでも見られるっていうのは案外簡単なんです。実写映像を取り込んで、それを実践するのが難しいんですね」

そしてその2は、おおよそ5台ほどのカメラで実写の映像を「立体物として切り出す」こと。カメラから外れる部分や、マジパンたちみたいにひらひらした衣装を着て複数の撮影対象が舞い踊る場合には、ほかのメンバーとかぶったりして、うまく認識できないこともあるのだが、そこをコンピュータで補うのがKDDIの追及する技術らしい。

「もっと細かく何十台ものカメラをセットして、周囲を撮るやり方もあります。カメラのブランクを補わずに、細かく映像を切り替えて被写体の周囲が全部写ってるように見せるやり方ですね。それを我々は"自由視点"とは呼びません。"多視点"ですね」

過去にはJリーグの試合を撮影し、ゴールシーンを実際には撮影していないような自由なカメラアングルで『やべっちF.C.』(テレビ朝日)で見せるという実験も行ったこともあるいう。今回はスタジオで彼女たちを取り囲むようにカメラを配置したが、サッカーの際には「できる限りカメラをスタンドの上部に配置し、ピッチが広く撮れるようにセッティングする」のだそう。要は、可能な限り選手たちの"全周囲"を撮影する必要がある。

「引き」の画で撮りながら、人物を切り抜くにはカメラの性能がモノを言う。近年4Kとか8Kとか、画素数がすごく増えてきていることは、自由視点の発展に大きく関わっているそう。使うの機材は、これ。

左がHTCの「VIVE」という市販品の機器。右の、ゴーグルとコントローラを認識するセンサーを室内2カ所に配置し、ユーザーの動きを感知するのだ。

自由視点映像はどんなふうに展開していく?

ではこういった技術、これから先は一体どんな発展を遂げるんでしょうね。

ビジネスIoT推進本部の企画2グループリーダー 田中勲

「すでにスポーツを中心としたオンラインコーチがありますが、現状ではテレビ電話からレクチャーしてくれるだけです」と、ビジネスIoT推進本部の企画2グループリーダー・田中勲。

自由視点VR技術を使えば、さまざまなスポーツのフォームを360°から見ることができ、悪いところがわかりやすくなります。ゴルフ練習場とかに入れて撮影し、帰りには自分のフォームをすべての角度から見ることができて、自由視点のコンテンツになっていてアプリケーションダウンロードして持って帰る。そんなやり方が考えられます」

ビジネスIoT推進本部の企画2グループ 並木慎

同じ部署の並木慎もいう。「CGではなく実写映像を、よりリアルにVRで体感できる。舞台としてはカラオケボックスという、ある種の密室は最適だと思います。アーティストのライブというのはひとつの出口としての提案ですね。実は我々のモチベーションはスポーツです。2020年には、なんとかリアルタイムの放送で自由視点映像をお届けできるように目指しています」

KDDIではすでに10年ほど、自由視点映像に取り組んでいるという。現状の課題は、"いかに自動的に自由視点映像を生成するか"と内藤は言う。

「撮ってそのまま、自由視点映像にならないと、まさに"自由"には扱えませんから。今回のライブ映像は、撮影したものを一部自動的に自由視点映像にしていますが、ある程度、人力で調整している部分もありますので」

アイドルが横にいるのはドキドキだし、実際にさまざまなコンテンツで役に立つこともわかった。すでに、スポーツの体感的な習得に関するニーズもあり、そちらの研究も進めているという。

スポーツでも競技によって撮り方は変わるし、ライブなどではまた全然違う問題が出てくる。日々様々な映像を撮り、自動的に自由視点映像を生成させ、そこから洗い出される問題をひとつひとつ、「もぐらたたきのように」潰していっているのだという。4年以内にはなんとかリアルタイムに使えるような目処は見えてきているようだ。

おまけ

11月18日まで、シダックス新宿歌舞伎町クラブで実証実験展開中です!

マジパンの自由視点VR動画、実際に体験できます! 4年後と言わず、この不思議な映像を今すぐ体験しに行ってみよう。マジパンのファンはもちろん、これまでにない新しいVRを体験したいみなさんも、ぜひ!

実施店舗/シダックス新宿歌舞伎町クラブ
実施期間/〜11月18日まで
詳細はこちら/カラオケでVR体験!

文:武田篤典
撮影:稲田 平