東京国立博物館とauがコラボ 5GとARで文化財の鑑賞体験が劇的変化！

KDDIは最先端の通信技術である5GとAR（拡張現実）というテクノロジーで文化財の新しい鑑賞体験を提供する。題して「5Gで文化財 国宝『聖徳太子絵伝』ARでたどる聖徳太子の生涯」。

これは、「au Design project（aDp）」による新しい取り組みだ。「aDp」といえば、2001年からスタートし、INFOBARをはじめとする数々のデザインケータイを発表してきたプロジェクトだが、2020年より「au Design project［ARTS ＆ CULTURE PROGRAM］」という枠組みで、文化財や芸術作品と最新テクノロジーを融合させた新たな鑑賞体験の提案を行っている。

今回、東京国立博物館、文化財活用センター、KDDI（aDp）の三者は、5GやARなどの先端技術を活用して文化財の魅力を引き出す共同プロジェクトを発足した。その第一弾が東京・上野にある東京国立博物館の法隆寺宝物館で行われている。

東京国立博物館 法隆寺宝物館

このコンテンツは、1パネルあたり36億画素の高精細画像と5Gの高速大容量通信技術やAR技術を組み合わせることで、奈良・法隆寺の東院伽藍の絵殿の内壁にかつてはめこまれていた東京国立博物館所蔵の国宝「聖徳太子絵伝」の新たな鑑賞体験を提供するものだ。東京国立博物館の法隆寺宝物館内に5G基地局を設置し、5GスマホとARグラスの活用を可能とした。

法隆寺宝物館の会場の様子

また、コンテンツ開発には、東京国立博物館の研究員も参加。絵画・彫刻室長の沖松健次郎氏と工芸室主任研究員の三田覚之氏の監修のもと、直観的にわかりやすいコンテンツが完成した。

こちらの記事もあわせてどうぞ

【au20周年】進化し続ける『au Design project』 INFOBARから聖徳太子へ

国宝「聖徳太子絵伝」の鑑賞体験を5GとARで一新

法隆寺宝物館は、奈良・法隆寺から皇室に献納され、戦後、国に移管された300件あまりの宝物を所蔵・展示しているが、今回、5GとARを活用して鑑賞できる国宝「聖徳太子絵伝」も、そうした宝物のひとつ。聖徳太子の生涯における58のエピソードが絵物語風に描かれたものだ。「聖徳太子絵伝」はさまざまな時代にさまざまな場所で描かれており、全国に多数の「聖徳太子絵伝」は存在するが、東京国立博物館所蔵の国宝「聖徳太子絵伝」は平安時代に描かれた現存最古のもの。当時は、「絵伝」をもとに僧侶などが聖徳太子の偉業を解説してゆく、というかたちで公開されたという。

会場に設置された国宝「聖徳太子絵伝」の1、2面複製パネル

こちらが国宝「聖徳太子絵伝」の1、2面複製パネル。国宝は、展示できる機会が限られているため、今回は原寸大複製パネルでの体験となる。会場には国宝「聖徳太子絵伝」の複製パネルが10面全5枚展示されている。

今回の会場内全景

こうした古い文化財の鑑賞は、その歴史的背景やそこに描かれた内容を理解することで、より豊かな体験となる。従来は、解説パネルや音声ガイドを活用するのが一般的だったが、5GスマホとARグラスを活用することで新たな鑑賞体験を提供することができるのだ。

ARグラスで絵の具が剥がれ落ちた場面を再現したアニメを鑑賞

来場者は会場で貸し出される5Gスマホ「Xperia 1 II」で国宝「聖徳太子絵伝」を鑑賞。「魔法のグラス」は、「Xperia 1 II」とARグラス「NrealLight」をつないで体験する。

5G対応Xperia 1 IIとNrealLightと組み合わせた「魔法のグラス」

国宝「聖徳太子絵伝」は、おおよそ千年前の作品なので、あちこち絵の具が剥落し、元の絵の図柄が見えにくい箇所も多い。そうした失われた線を研究員の監修によりわかりやすく復元的に作画し、ARグラス内でアニメーションとして見ることができるのが「魔法のグラス」だ。

たとえば、こちらは国宝「聖徳太子絵伝」の3、4面。右上の赤丸のあたりに番号が表示されるので視線を向けてみると……。

会場に設置された国宝「聖徳太子絵伝」の3、4面複製パネル

肉眼では黒い馬にまたがった太子らしき人物が山の右側の宙空を舞っている様子しか確認できない。

会場に設置された国宝「聖徳太子絵伝」の3面複製パネル（部分）

だが、この絵が描かれた当初は、馬の後ろ足のあたりに、馬の世話をする係の調子麻呂（ちょうしまろ）と呼ばれる人物がいたと考えられている。「魔法のグラス」でこの絵を見れば、調子麻呂の姿が完全再現され、左側から右側へと、黒馬を駆って聖徳太子が山を超える様子がアニメで見られるのだ。

ほかにも「超人的な弓や跳躍の能力」「36人の子どもの話を記憶する」「太子の魂が青龍車に引かれ、宙を舞って中国・衡山まで旅をする」など、ARグラスとアニメによって再現されるシーンは全部で15用意されている。

絵を見ながら解説、超速で拡大・スクロール

そして「魔法のルーペ」。こちらはスマホ単体で体験。

5G対応Xperia1 IIの展覧会用のアプリ「魔法のルーペ」

専用のアプリを立ち上げ国宝「聖徳太子絵伝」の複製パネルを見ると、瞬時に画面認識。ディスプレイに写ったパネル上にARで番号が表示される。タップすれば、そこに描かれたエピソードの解説が始まる。

「5Gで文化財 国宝『聖徳太子絵伝』」体験イメージ

同時に、国宝「聖徳太子絵伝」の実物を撮影した1パネルあたり36億画素の高精細画像をサーバから読み込んで表示。下の画像は、2mほど離れて肉眼で見た実際に展示されている複製パネル。赤丸内になんとなく2人の人物が確認できるだろう。

会場で肉眼で見た国宝「聖徳太子絵伝」の複製パネル

それを「魔法のルーペ」で見ると、こうなる。

Xperia 1 IIで国宝「聖徳太子絵伝」を拡大したイメージ

こんな顔をしていることまでわかるぐらいに拡大できる。

Xperia 1 IIで国宝「聖徳太子絵伝」を拡大したイメージ

さらには絵の全域を自在にスクロールしながら、見たい箇所を選んで超アップで鑑賞することができる。このとき、スクロールや拡大のたびにサーバとデータのやりとりを行っているのだが、驚くほどスムーズ。まさに5Gの実力を体感することができる。

動画など大きなデータを受信する際、ブロックノイズが発生し、まず粗い画像が表示された後、徐々にクリアになるケースがよくある。この「魔法のルーペ」では、そうしたストレスはまったく感じない。

テクノロジーで鑑賞体験を変える「aDp」

国宝「聖徳太子絵伝」の新たな鑑賞体験は、「aDp」による新しい取り組みによるものだ。そもそも、これがデザインケータイの「aDp」とどのようにつながり、いかに5Gは活用されたのか。2000年に「aDp」を立ち上げたKDDI サービス統括本部の砂原哲と、東京国立博物館とのプロジェクトの立ち上げに関わった神田麻友子に話を聞いた。

KDDIサービス統括本部 5G・xRサービス戦略部 エキスパート 砂原 哲

「これまで『aDp』は携帯電話やスマートフォンのデザインを革新することに主眼を置いた活動でしたが、5G時代を迎え、『aDp』の精神はそのままに、先端技術により日本の文化芸術体験を拡張するaDp［ARTS ＆ CULTURE PROGRAM］を開始しました」（砂原）

そして砂原は、昨年来、ARと5Gを活用し、街なかをミュージアム化するという構想を進めていた。

「5Gに加えてAR技術もだいぶこなれてきて、ARグラスも『NrealLight』の登場で実用化にリアリティが出てきました。そこで、ARグラスを装着すれば、東京の街自体を歩いて体験できるミュージアムにすることができるのでないか、美術館やパブリックアートとは違う新しいアート体験を生み出すことができるのでないかと考えていました」（砂原）

2020年3月の5G商用化にともない、アートや文化芸術の領域で5Gを有効活用するプロジェクトを神田は模索していた。そのようななか、東京国立博物館を訪問する機会があり、5G基地局設置の提案と5Gを活用した鑑賞体験のアップデート案について議論を重ねていた。

KDDIサービス統括本部 5G・xRサービス戦略部 神田麻友子

「東京国立博物館さんと、2019年4月から半年ほど議論をしてきました。そのなかで、見えてきたのは、日本の博物館がかかえる課題。無数の国宝や文化財を収蔵しながら、法律で展示できる期間が決まっていて、非常に展示替えが多い。そのため、『東博といえば○○』という、象徴的な作品を打ち出しにくいという課題を持たれていることがわかりました。また、展示の際に解説パネルなどを作られているのですが、国宝や文化財は照明を抑えて展示されているので、それだけだと今ひとつ伝わりにくい。だから、今よりももっと直観的に文化財を体感できて、本物が展示されたときに『東博に行きたい！』とお客様が思える方法があればいいですよね！っていう話をしていたんです」（神田）

砂原自身、アートに造詣が深いものの、古い日本の文化財については深い知識があるわけではなかった。

「『絵伝』と出会って、その面白さに一気に引き込まれました。千年前のスペクタクル。超人的、幻想的、悲劇的、実にさまざまなエピソードが描かれている。今のマンガやアニメ、ゲームなどに通ずる表現もある。そして、なにより描かれている太子が可愛い（笑）。この面白さを誰もが体験できるようにしたい、ARと5Gをうまく料理すればできると確信しました」（砂原）

テクノロジーによる文化芸術振興の模索と、ミュージアムの持つ課題解決、これらが合致し「aDp」は国宝「聖徳太子絵伝」の新たな鑑賞体験の提供へとつながったのだ。従来のように、説明パネルと展示物を行き来しながら鑑賞する必要はないし、音声ガイドと展示物を脳内で合致させるという手間もかからない。5GとARを活用することで、目の前の展示物の見たままガイドを重ね合わせることができ、アニメーションなど、さらに興味深く見られる工夫も加わった。

今回の展示に関して5Gは「MEC」（マルチアクセスエッジコンピューティング）というかたちで活用されている。

従来はスマホから基地局を経てインターネット上にあるサーバと通信し、データをやり取りしてきたが、「MEC」では端末の近くにサーバを設置することで、国宝「聖徳太子絵伝」の実物をスキャンした1パネルあたり36億画素という超高精細画像のデータを超低遅延でサーバから読み込み、5Gの電波によって一瞬にして表示される。

最新通信テクノロジー×文化芸術の「aDp」は続く

今回の国宝「聖徳太子絵伝」の鑑賞体験は、「aDp［ARTS ＆ CULTURE PROGRAM］」の第1弾となる。今後はどのように展開していくのだろうか。2人にビジョンを聞いてみた。

KDDIサービス統括本部 5G・xRサービス戦略部 エキスパート 砂原哲と神田麻友子

「今回、東京国立博物館さんとお話したなかで、まだまだ取り組めていないことがいっぱいあるので、今後少しずつ取り組んでいければいいなと思っています」（神田）

「いま、多くの美術館や博物館で収蔵品のデジタルアーカイブ化が進んでいます。それらのデータを活用すれば、今回のような新しい鑑賞体験を創ることができます。また、絵画だけでなく、彫刻などはいろいろな角度から撮った画像があれば映像で動かすこともできる。テクノロジーを活用すれば、もっと面白く内容が伝わるようになるのではないかと考えています。これは文化財だけでなく、現代アートの見せ方でも同様です。もしかしたら博物館をまるごとデジタルアーカイブ化して5Gで体感できる未来がくるかもしれません」（砂原）

では、砂原が自らディレクションした本企画の予告ムービーをご覧いただこう。

そして、国宝「聖徳太子絵伝」の詳細もあわせてよくわかる、砂原と東京国立博物館の沖松健次郎氏、三田覚之氏との鼎談はこちら

5Gの運用がはじまり、少しずつ一般的になり、手軽に扱えるARグラスも出てきている。これまで課題となっていたこと、できなかったことはたくさんあったが、新しい技術によってどんどん解決できるようになってきた。「技術はあくまでも黒子的存在であるべきですが、これからできることを想像するだけでワクワクします」と砂原はいう。

今後、5GとaDpが組み合わさることでどんな新しい体験が生まれてくるのか、ぜひとも期待していただきたい。

もっと知りたい

KDDIのSDGsについてはこちら