2021/12/15
北斎、広重の浮世絵から江戸の喧騒が聞こえる！知的好奇心を刺激する音のVRの世界
2021年12月15日に「音のVR」を活用した「バーチャル浮世絵」が公開された。まずは、こちらをご覧いただきたい。
KDDIとNHKエデュケーショナルの共創により制作された「バーチャル浮世絵」は、KDDI総合研究所の「音のVR」を活用し、VR空間の浮世絵を音でも鑑賞することができるというもの。
登場する作品は葛飾北斎の誰しも一度は目にしたことがある浮世絵「冨嶽三十六景 神奈川沖浪裏」と、歌川広重の「東都名所 日本橋真景并ニ魚市全図」。だが、この「バーチャル浮世絵」では、誰も経験したことがないような鑑賞の仕方を楽しめる。
バーチャル空間上に現れる浮世絵のさまざまな部分にズームインすると、そこに描かれた江戸の世界の音や声が聞こえてくる。波の音や船を漕ぐ人たちのやり取り、日本橋の町の喧騒とそこで暮らす町民たちの賑やかな声は22.2chサラウンド音響で制作されていて、まるで作品の中に飛び込んだかのような体験ができる。
音のVRとは
これまで「音のVR」は、いくつもの音楽コンテンツを制作・公開してきた。オーケストラや合唱団の好きな楽器やパートをズームすれば、その音色や歌声に近づいて聴くことができるというものだ。
「音のVR」の特長は、“音に近づける”という点。まるで演奏者と同じステージ上を自由に動き回るように、演奏全体を聴きながら目当ての楽器の音をより近くでしっかり聴くような体験ができるのだ。
新型コロナウイルス感染症の影響により、多くのコンサートや音楽発表の場が中止になった。そんななか、自宅でスマホやタブレットと向かいながら、あたかもホールで音楽を鑑賞するようなバーチャル視聴体験を「音のVR」はつくりだしてきた。
東京混声合唱団が中止になった卒業式の合唱を卒業生に体感してもらうべく定番卒業ソングを合唱
新日本フィルハーモニー交響楽団と伶楽舎による、オーケストラと雅楽のコラボ。「君が代」やホルストの「組曲『惑星』よりジュピター」などを演奏した
コロナ禍でこれまでどおりの卒業式が行えない学生たちの門出を応援するため、卒業ソングの定番「3月9日」の作者である藤巻亮太さんと東京混声合唱団が公募した学生と合唱
そして、今回初めて浮世絵の世界を取り上げることとなった。
これまでの「音のVR」の音楽系コンテンツは、主に実際の演奏を360度映像と360度音響で収録して制作してきた。いわば、演奏の現場でのライブレコーディングがほとんどだった。今回の「バーチャル浮世絵」では、本来2Dの浮世絵を360度のCG映像として展開し、その映像に合わせて波や風の音、町の喧騒、新たに収録した台詞などを22.2chサラウンド音響でちりばめた。
このプロジェクトは、コロナ禍でも体験学習を持続できる新しいかたちを生み出すべくスタート。KDDI総合研究所の音のVR技術と、NHKエデュケーショナルの教育コンテンツ制作のノウハウを活用することで実現した。
和田彩花さん、「バーチャル浮世絵」を体験する
今回、この「バーチャル浮世絵」をひと足先に体験したのは和田彩花さん。大学院でアートを学び、西洋美術や仏像などの鑑賞も大好き。浮世絵テーマにした番組や著書もある。さらにはかつて所属していたアイドルグループ・アンジュルムで「音のVR」での楽曲収録も経験している。
「音のVR 」アプリを立ち上げて「バーチャル浮世絵」を選択すると、まずバーチャル空間に葛飾北斎の「冨嶽三十六景 神奈川沖浪裏」が浮かび上がる。激しい高波に見え隠れするのは3艘の押送船（おしおくりぶね）。江戸に海産物を運ぶための船だ。
背景から波が飛び出し、砕け散る激しい音が響く。波にあおられる押送船が絵から抜け出て画面を行き来する。船にズームすれば船乗りのやり取りが聞こえてくる。
「すげえ波だ。積んだ鰹が落っこっちまうんじゃねえか」
「おいおい。その魚日本橋に届けるために、こちとら漕いでんだぞ」
和田さん、ニコニコしながら画面を操る。「わー」とか「おお！」と短く叫びつつ、完全に夢中になっているご様子。
「絵の奥行きを音で感じることができますね。波に近づけばその音がザブーンって際だって聞こえてくるし、船の音が絵に合わせて右から左に移動していくんですけど、そこにズームしたらまた、漕ぎ手の人たちがしゃべってて。絵の全体像をみただけではわからない、当時の庶民の生活ぶりが伝わってきて、すごく楽しいです！」
続いて、歌川広重の「東都名所 日本橋真景并ニ魚市全図」。モチーフになっているのは五街道の起点として多くの人が行き来し、江戸随一の賑わいを見せた日本橋の町で、橋の左手には押送船が何艘も集う。神奈川沖から初鰹を運んできたという設定だ。
町の喧騒のなか、船をズームすれば到着したばかりの船乗りたちのホッとした声。
画面右下の女性たちは、届いた初鰹を目にして季節の移り変わりを実感している。そして魚を行商する棒手振りたちが行き先を思案。
絵にはフキダシのようなアイコンが次々と現れ、それをタップすることでその場にいる町民の声を聴くことができる。
「鰹がすごくかわいい（笑）」と和田さん。
「運搬されて水揚げされてぶつ切りにされて運ばれてる一連の流れが興味深いですし、単純にブツ切りのフォルムがかわいくて（笑）。町の人の声をズームして聞くと、みんな初鰹を気にしてることがよくわかりますね」
絵の中から聞こえるかけ声や会話などは、経済学者で江戸の経済や庶民の生活に詳しい大阪学院大学の森田健司教授が監修。当時、実際になされていたであろうやり取りが忠実に、かつ軽妙で楽しく再現されている。
「音のVRだから、新たな美術の見方ができました」（和田彩花さん）
「普通に絵を鑑賞するのとは違う新鮮な見方ができました！」と、「バーチャル浮世絵」を楽しんだ和田彩花さん。印象派から仏像まで幅広くアートを愛好し、浮世絵関連の著書や展覧会の音声ガイド経験も持つ。
「これまで私は浮世絵を見るとき、おもに表現を意識してきました。北斎の波の描き方や富士山と船の構図、広重の日本橋の絵なら遠近法といった表現です。それが今回は『初鰹』というストーリーで、絵に描かれた世界にスッと入っていくことができました。
北斎のあの有名な絵の船が海産物を運ぶためのものだとわかったし、それが川を遡って広重の絵の日本橋に到着することで、川が江戸時代の物流の重要なルートだということにつながりました。だからこそ、その拠点となった日本橋は栄えたのか、と想像することができて。浮世絵の中の人が会話してくれることで自然と理解が深まりました」
今後、どんな絵画を音のVR化してほしいかを尋ねると……。
「私がよく観ている範囲なら、ルノアールの『ムーラン・ド・ラ・ギャレットの舞踏会』かな。ダンスホールにいっぱい人が集まってて、光の中で楽しそうに過ごしている作品なんですが、19世紀末のパリの人がどんな話をしているのか聞いてみたいです。集まった女性が着飾っている最新のドレスも絵の見どころなので、そういう当時の流行の話なんかが聞けると楽しいですね。
絵の楽しさは自由に見て、自由に想像して、好きなように感想を言えるところだと思います。どこから絵を見ればいいかわからないっていう人こそ、ぜひ『音のVR』で見てみてください。まず気になる人を探して近づいて、声を聞いてみるところから絵のストーリーを知り、自然とのめり込んで楽しく絵を見られるようになると思いますよ！」
浮世絵の世界を体験することで、その魅力により深く触れる
今回のコンテンツ制作を担当したNHKエデュケーショナルの岡崎文さんに、制作の起点やこだわったポイントなどについて聞いてみた。
NHKエデュケーショナル コンテンツ制作開発センター生活グループ プロデューサーの岡崎文さん
「気になるところに近づいて見たり聞いたりするという、リアルな世界では普通のことですが、これまでデジタルでは難しかった体験ができる点で、『音のVR』は面白いと思いました。そうして近寄った先が実写ではなく、そもそも音がしない浮世絵だったら……その絵の中の人から声が聞こえてきたら面白いだろうな、と考えたんです。
喧噪や波の音の中から会話が立ち上がってきて自然に聞こえるように、19個のスピーカーにひとつずつ違う音を仕込み、VR映像全体で自然に聞こえるようにつくり込みました。
今回は、“初鰹が江戸に届く日”という架空の設定ですが、本当にあったかもしれない江戸の1日。セリフは“なんとなく江戸っ子っぽい会話”ではなく、これまでの江戸研究からわかっている江戸っ子の暮らしや、文化が垣間見える内容にすることを心がけています」
普段、浮世絵を読み解くテレビ番組を制作している岡崎さん。「音のVR」とテレビ番組、絵を鑑賞するうえでどんな違いを意識して制作したのだろうか。
「テレビは普通、もっとも面白い順番で見てもらうべく構成された1本のストーリーをつくります。一方『音のVR』は、お客さんがどんな順番でどこを見るのか想定できません。だから逆にその特徴を最大限に生かし、絵の中のいろいろな場所で会話が同時進行するようにしました。
絵を鑑賞して自由に感想を持つのは楽しいことです。でも、描かれている世界を体験しながら鑑賞すれば、より深く絵の魅力に触れることができると思います。『音のVR』なら、気になるところをズームしたり、横から聞こえる声と照らし合わせて“なるほど、この人はセリをしていたんだ”なんて、わかることがたくさんあります。ぜひ、何度も江戸の世界に迷い込んで、いろんな人の話を盗み聞きして楽しんでください」
教育支援とエンターテインメントをテクノロジーでつなぐ
最後に、「音のVR」を開発したKDDI総合研究所の堀内俊治に、今回の取り組みについて聞いた。どのような思いで浮世絵という二次元コンテンツを『音のVR』で取り上げたのか、そしてどんな工夫を盛り込んで実現に至ったのだろうか。
KDDI総合研究所 先端技術研究所 メディアICT部門 XR空間表現グループ 堀内俊治
「浮世絵は江戸時代の情報メディアであると聞きました。ダイナミックに描かれた北斎の海の絵と、隅々までさまざまな情報で埋め尽くされた広重の町の絵に、現代の技術を活用して“音風景”を新たに与えることで、情報メディアとしての厚みを増すことができ、現代を生きる私たちとつながる新しい学びのエンターテインメントになるだろうと考えました。
これまで音楽系のコンテンツで制作してきた実写映像とは違い、今回は二次元の浮世絵を360度映像に展開するというCGでの映像表現を行い、描かれた人々や風景に音をつけていきました。その際、それぞれの音や声が独立して聴こえてくるのではなく、実写の音声をその場で生録音したときと同じように、江戸の町の喧騒が感じられるよう工夫しています。
今までにない絵の表現とともに、絵の中のどの箇所から声や音がするかは、NHKエデュケーショナルさんと何度もやり取りしながら決めていきました。ライブレコーディングとは違って、そもそも“ない音”ですので、時代考証を踏まえつつ想像力を大いに働かせて作業を行いました」
「バーチャル浮世絵」は、360度映像に展開された浮世絵の世界を楽しみながら鑑賞し、自由にストーリーを読み解いていくものだ。
「テクノロジーによる教育支援は非常に効果的だと考えています。とくにインタラクティブ性を伴うものや、パーソナライズ可能なコンテンツは体験する人の知的好奇心をくすぐり、楽しみながら学習するのに最適なものになるでしょう。また人それぞれの興味に合わせて最適化することも可能だと思います」
今回、KDDIがNHKエデュケーショナルとの共創で目指したのは、新しい体験学習のかたち。
今後も通信テクノロジーと教育コンテンツ制作のノウハウをかけあわせることで、楽しく遊びながら学べ、そしてワクワクする新たな体験価値を生み出していく。
「バーチャル浮世絵」の鑑賞体験は「GINZA 456」でも
この「バーチャル浮世絵」は、「新音楽視聴体験 音の VR」アプリでの配信のほか、KDDIのコンセプトショップ「GINZA 456 Created by KDDI」でも体験可能だ。
なお「GINZA 456 Created by KDDI」では、葛飾北斎の浮世絵を使った仮想空間と現実空間を融合するアート体験「HOKUSAI REMIX」を公開中。
自宅からでも自分の顔写真をもとに北斎風のアバターを作成し、浮世絵の世界に登場させることができる「HOKUSAI ME」や、「GINZA 456」に設置された楽器を叩くことで北斎の冨嶽三十六景の作品の波や山を動かし、その波に「HOKUSAI ME」でつくった自分のアバターがサーフボードに乗って登場する「BEAT HOKUSAI」を展開している。
※掲載されたKDDIの商品・サービスに関する情報は、掲載日現在のものです。商品・サービスの料金、サービスの内容・仕様などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。
