「森の中の音」に近づいて虫や鳥を見つけよう！「音のVR」で進化する新しい体験学習

2022年3月30日、KDDIは「音のVR」の新しいコンテンツ「音のかくれんぼ」を配信した。

「音のかくれんぼ」は、KDDI 総合研究所が開発したインタラクティブ視聴技術「音のVR」と、NHKエデュケーショナルの教育番組制作のノウハウを活用して生まれた新しい体験学習コンテンツだ。「新音楽視聴体験 音のVR」アプリを使って、iPhoneとiPadで体験することができる。

KDDIが20代から40代の小中学生の子どもをもつ男女に調査を行ったところ（※）、子どもたちが実際に鳴き声を聞いたことがある鳥や虫は、都市の住宅でも鳴き声が聞こえるようなスズムシ、コオロギが70％以上、ウグイスが約65％にのぼったものの、公園などに足を運ばなくては聞くことのできないことの多いクツワムシやヤマガラなどの声を聞いたことがある子どもは、全体の約2割以下にとどまった。

新型コロナウイルス感染症の影響もあり、このように子どもたちが自然と触れ合う機会が減っているなか、自然体験学習をサポートするため、「音のかくれんぼ」はつくられた。

アプリを立ち上げると、ディスプレイにバーチャル空間の森が映し出される。ガイドとして現れるのは音の妖精・ポリュムニアというキャラクター。ポリュムニアの声は、アニメ『鬼滅の刃』の栗花落カナヲ役などで知られる声優の上田麗奈さんが務め、柔らかく優しい声で森を案内してくれる。

「音のかくれんぼ」のプレイ画面。森に住む音の妖精・ポリュムニアが森を案内してくれる

森の中の音の気になる部分にズームすれば、そこで鳴いている鳥や虫の声に近づいて聴くことができる。姿を隠した生きものたちの鳴き声をたどりながら、森のなかを散策するような体験ができるのだ。

今回、「音のかくれんぼ」は同じ森を舞台にして、春の鳥のさえずりと秋の虫の鳴き声を楽しめる「春の鳥」編と「秋の虫」編が制作された。

「音のかくれんぼ」のプレイ画面。左・「春の鳥」編、右・「秋の虫」編

音のVRとは

「音のVR」について簡単に説明しよう。「音のVR」とは、音楽との親和性が高いインタラクティブ視聴技術だ。アプリの名称も「新音楽視聴体験 音のVR」となっている。

これまでオーケストラや合唱団など、多くの音楽系コンテンツを制作してきた。アプリで普通に再生すれば一体となったハーモニーを楽しむことができ、さらに、好きな楽器やパートにズームすればその音色や歌声に近づいて聴くことができる。

「音のVR」で配信してきた音楽系コンテンツ。左・猪苗代湖ズの渡辺俊美さんと福島の中高生吹奏楽部による「I love you & I need you ふくしま」、右・国立劇場での新日本フィルハーモニー交響楽団と雅楽の伶楽舎のコラボ

「音のVR」では、音楽系コンテンツだけでなく、2021年12月に「バーチャル浮世絵」を発表。バーチャル空間に映し出された葛飾北斎と歌川広重の浮世絵にズームすると、江戸の街の喧騒や町人の声が聞こえてくるというもので、NHKエデュケーショナルとKDDIの「音のVR」を活用した共創第1弾となった。

その第2弾となる「音のかくれんぼ」は、大人も楽しめる自然体験学習コンテンツとしてつくられた。

こちらの記事もあわせてどうぞ

北斎、広重の浮世絵から江戸の喧騒が聞こえる！知的好奇心を刺激する音のVRの世界

「音のかくれんぼ」はどのようにして生まれたのか、またどんな点にこだわったのか、今後テクノロジーは体験学習の場にどう影響していくのか、制作に関わった3人に話を聞いた。

左からNHKエデュケーショナル 科学健康グループ エグゼクティブ・プロデューサー 松本康男さん、東京大学 総合博物館 特任准教授 松原 始さん、KDDI総合研究所 先端技術研究所 XR部門 XR空間表現グループ エキスパート 堀内俊治

企画と制作を担当したNHKエデュケーショナルの松本康男さんは『ためしてガッテン』『ヴィランの言い分』などさまざまなジャンルの科学番組を数多くつくってきたテレビプロデューサー。登場する生きものたちの監修を担当した東京大学の松原 始先生は動物行動学の専門家。そしてKDDI総合研究所の堀内俊治は「音のVR」の開発者だ。それぞれの立場から大いに語ってもらった。

「音のかくれんぼ」はどのように生まれたか

――みなさんがどのように「音のかくれんぼ」に携わられたのかを教えてください。

松本さん「私は「音のかくれんぼ」の企画と制作を担当しました。「春の鳥」「秋の虫」というテーマや、音の妖精・ポリュムニアが森を案内するという構成と演出を考え、CGなどの制作はNHKエデュケーショナルのチームで行いました。」

松原先生「私は生きものと森の監修をしました。松本さんが候補に挙げられた鳥や虫が適当なのかどうか、彼らが暮らすためにはどんな森である必要があるのか、という点などについてアドバイスをしました。」

堀内「私は「音のVR」コンテンツとしての技術面での制作を担当しました。360度CGでつくられた森のあちこちに鳥と虫の声を配置し、森全体の音が一体となって聞こえるだけでなく、それぞれの生きものの声に近づいて聴くこともできる、「音のVR」コンテンツとして完成させました。」

――そもそも、「音のかくれんぼ」はどういった経緯で生まれたのでしょうか？

堀内「KDDIとKDDI総合研究所は、2030年に向けて、テクノロジーで新たなライフスタイルやビジネスを生み出す「KDDI Accelerate 5.0」という構想を掲げています。その一環として、以前からNHKエデュケーショナルさんと「音のVR」技術を活用して学びにつながるコンテンツをつくろうと連携していました。その第1弾として「バーチャル浮世絵」を制作し、先だって公開していました。」

松本さん「KDDIさんとNHKエデュケーショナルとのそうした取り組みを知って「音のVR」という技術に興味を持ちました。

私は子どものころ、家の裏の森にいる虫を捕りたくて、じっと耳をすまして鳴き声で居場所を探っていました。「音のVR」を使えば、あのときの「お互い息を潜めて相手の気配を探り合う」ような感覚を子どもたちに体験してもらえるんじゃないかと、この企画を提案したんです。」

堀内「特に今はコロナ禍の影響で、子どもたちがみんなで野山に出かけていって、自然と触れ合う体験がなかなかできなくなってきています。そこで「音のVR」が役に立てればという思いもありました。」

森のリアルな生態と楽しさを両立させた自然体験の再現

――舞台となる森は、実在の森をモデルにしているのですか？

松本さん「実在してはいませんが、関東近郊の住宅地から、子どもの足で10分から20分ほどで行ける山のすそ野に入ったあたりを想定しています。生きものはたくさんいそうだけど、子どもたちだけで行くにはちょっと怖い森というイメージです。

――大自然のど真ん中ではなく、日常とつながっている感じですね？

松本さん「そうです。街に暮らしている子どもでも、もしかしたら行けるかもと思えるような森です。ただそれを意識しすぎて、最初は非常に人工的な森になってしまいました。」

「音のかくれんぼ」の舞台となる森。左・「春の鳥」編、右・「秋の虫」編

松原先生「松本さんから最初に送っていただいたのは梅林のような森でしたね（笑）。鳥も虫も森に住み着くには、決まった条件があります。たとえば今回、非常に特徴的な声で鳴くオオルリという鳥が出てきますが、オオルリが飛来するには、ある程度樹齢のある高い木が必要なんです。

音のかくれんぼ「春の鳥」編の画像。高い木の枝にオオルリが止まっている

松本さん「生きものの鳴き声と居場所だけでなく、どんなふうに鳴くかというCGでの再現に関しても、今回、松原先生にはいろいろ教わりました。」

松原先生「鳴く際に身体のどの部位を動かすかも、鳥の種類によって微妙に異なりますし、のどを大きく震わすものもいれば、体全体を膨らませるようにして鳴くものもいます。くちばしを開ける際にも、開閉の起点となる関節がどこにあるかによって動きが変わるんです。そうした点まで非常に緻密にCGで仕上げてくれていると思います。」

松本さん「「秋の虫」に登場する虫たちも、特徴のある虫を選び、それぞれの特性を活かした見せ方をしています。よい声で鳴く虫たちは草むらに生息しているイメージがあったのですが、せっかくの360度動画なので、足下だけでなく森のいろいろな場所で見られるといいなと思っていたんです。」

松原先生「ご提案いただいた時点で、ハヤシノウマオイとカネタタキを候補に入れられていたのはナイスでした！彼らは意外と、高い木の上に暮らしていますから。」

音のかくれんぼ「秋の虫」編の画面。中央左中ほどにハヤシノウマオイ、画面右の木の上にカネタタキの姿が見える

「音のかくれんぼ」と体験学習

――松原先生は実際の森でフィールドワークもよくされると思いますが、今回の「森のかくれんぼ」にはどのような印象をお持ちですか？

松原先生「完成した「音のかくれんぼ」を実際に体験してみて感じたのですが、方向による音のメリハリが相当ハッキリしていますね。生きものたちの位置関係が音でしっかり把握することができて、とくに左右から聞こえてくる鳴き声の精度に関しては相当高いです。実際のバードウォッチングに近い体験ができると思いました。

実は鳥たちは普段木立に隠れていてほとんど姿を見せないんです。なのでバードウォッチングでは、最初に音で大まかに居場所に見当を付けてから双眼鏡を向けて鳥の姿を探す、というやり方をします。」

松本さん「私が子どものころ、虫を相手にやっていたことと同じですね。」

松原先生「子どもたちと一緒に森に入って「鳥の声を静かに聞いてみましょう」と言っても、意外に難しくてできない子が多い。森ではいろいろな音が耳に入ってくるので、その中から聞きたい鳥の声だけに耳をすますのは訓練がいるんです。」

「音のかくれんぼ」を体験している様子。ポリュムニアはアテンションオブジェクトという光の球で鳥や虫の居場所のヒントをくれる

堀内「たしかに環境音を聞き分けるには慣れが必要ですよね。」

松原先生「「音のかくれんぼ」を使えば、漠然と“森の音”だと思って聞いていた背景音のなかから、具体的に「この鳥の声」「あの虫の声」を聞き分ける練習ができます。そうして実際に森に入って、鳴き声を元に鳥や虫を観察することができるようになれば、自分たちが生きている世界の“解像度”はすごく上がります。

デジタルテクノロジーは教育系コンテンツをどう変えるか

――「音のかくれんぼ」は「音のVR」を用いた新たな体験学習コンテンツとなりましたが、今後、テクノロジーは教育系コンテンツにどんな影響を及ぼすとお考えですか？

松原先生「一般的な教育系コンテンツでいうと、現状すでに図鑑が大きく変わっていますね。QRコードが載っていて特設サイトとリンクされ、本というかたちは残しながら、それを起点にスマホで動画も音声情報も手に入る。情報量の差は歴然ですよね。

一方で、情報量が多すぎるとどこを見ればいいかわからなくなることもあります。私が教えている学生たちのあいだでも起きていることですが、今後ますます、無数の情報のなかからなにが必要かを判断する技術や視点が重要になってくると思いますね。」

松本さん「テレビの番組は、1回見ただけで内容が分かるように「一筆書き」的に内容を構成するので、基本的に後戻りができません。それと比べると、アプリは見たいシーンや見たい箇所を体験者が自由に選べるのが大きな強みですよね。」

「音のかくれんぼ」でオオルリに近づいて鳴き声を聴く

堀内「「音のVR」をはじめとしたXR技術は、お客さまに双方向性や任意性、自由度を提供するメディアという点では長けていますよね。スマホやタブレットで勉強していて間違えたところがあると、AIがそれに応じて問題を変えるなどといった活用は今後増えていくのかなと思います。

またエンタメ系コンテンツに用いられることでも、XR技術は普及していくとも思っていて。スポーツやライブを360度映像などで撮っておいて、手元のデバイスでユーザーが自由に切り替えて視聴できるマルチアングルのような見かたなどは今後も発展していくのではないかと思っています。」

松原先生「私たちの研究の範疇でいうなら、カメラや通信機器はより軽量になって長距離通信が可能になると思います。それらをペンギンや渡り鳥に、ストレスなく装着することができて映像とデータを得ることができたら、鳥たちへの理解が一層深まります。もちろん研究だけでなく、何千キロも旅する渡り鳥の視点の映像が見られるなんて最高じゃないですか！」

先端技術で「学び」や「社会」をよりワクワクするものに

KDDIは「音のかくれんぼ」においてNHKエデュケーショナルとともに、学びをより面白くし、自然体験をサポートするコンテンツを生み出した。

これからもKDDIは、通信をはじめとする先端技術やあらゆるコミュニケーションへの知見を活かし、さまざまなパートナーとの連携によって、「通信とライフデザインの融合」を推進する。社会課題を解決するだけでなく、ワクワクするような未来を創造していくのだ。

もっと知りたい

新音楽視聴体験　音のVR

もっと知りたい

KDDI Accelerate 5.0

もっと知りたい

KDDIのSDGsについてはこちら