ウエアラブル必要なし 映像をジェスチャーで操作できる『Mistform』

リアルな空間にバーチャルな映像や情報を立体的に表示し、さらに操作できる、VRとARを組み合わせたようなMR（複合現実）と呼ばれる技術が登場し、話題を集めている。MRとは、現実世界に仮想世界を重ね合わせ、相互に影響を与える技術のことで、実際に見ている世界に文字やCGを重ねるなど、VRとARの“いいとこ取り”をした技術のことだ。

MicorosoftのHolorens

Microsoftが発売するHololensは、頭にかぶるだけでMRを実現できるデバイスだが、さらに、そうしたデバイスを使わずにバーチャルな情報を操作できる技術が開発されている。

イギリスのエセックス大学で開発されている「Mistform」は、霧状のカラー立体タッチディスプレイにプロジェクタから投影された映像を安定して表示させ、手のジェスチャーで操作できるという技術だ。ふわふわと浮かぶ霧の中で手を動かすと、その動きにあわせて画像を動かしたり、表示を切り替えたりできる。

映像は39インチのテレビ画面と同等のサイズで、画像はまるでホログラムのように空間に浮かび上がる。HMD（ヘッドマウントディスプレイ）や専用のデバイスを使う必要がないため、小さな子どもから高齢者まで、誰でも直感的に操作できる。操作している人以外も画面を普通に見ることができ、一緒に操作したり自在に参加できることから、VRやARなどより扱える自由度が高くなる。

写真提供： Yutaka Tokuda/University of Sussex

これまでにも霧状のタッチディスプレイは学会や展示会でいくつも出展されているが、これほど大きなサイズで、なおかつカラー表示が鮮明なものは初めてという。開発には２つの技術が組み合わされており、ひとつはゆらぐ空気のカーテンのような霧の上に見やすい状態で画像を安定して表示させるというもの。手の動きに遮られない角度から映像を投影するのがポイントになっている。

複数の人が同時に3D映像を見られる・操作できる仕組みは？

仕組みは、霧のカーテンの上にあるピクセルに投影された点（下図のF）の見え方がユーザーごとに計算され、手前の仮想的なスクリーン平面上に左目から見える位置（Left Eye View）と右目から見える位置（Right Eye View）を逆算して再投影することで、複数の人が自然に3D映像を見ることができるという。

画像提供： Yutaka Tokuda/University of Sussex

２人で同時に画面を操作した場合もそれぞれの動きを認識できるという点も、本技術の大きな特徴になっている。画面の上にグリッド状にセンサーを配置する技術を用いて、上下左右といった立体的な動きが感知できる独自のアルゴリズムで判断し、動きにあわせて操作できるようプログラミングされている。

画像提供： Yutaka Tokuda/University of Sussex

3Dオブジェクトの操作にはどの程度の「奥行」を想定すればよいかも検証されていて、上の図のように、ディスプレイから32cm離れて立った大人の男性が3Dオブジェクトを操作する場合、18cm程度の範囲をトラッキングできれば、自然な操作が可能になる。（Aは手前側にあるオブジェクトを、Bは奥側にあるオブジェクトを操作している図）

さまざまな用途での活用が期待されている

Mistformは、ユーザーインターフェイスに関する技術を世界のトップ技術者が発表する学術会議「CHI 2017」で発表されたことで話題になった。使用できる場所として、霧を発生させられる、ある程度薄暗い場所というように条件に制約はあるものの、HMDを使わず誰でもすぐに操作できることから、展示会やゲーム、アトラクション、博物館や水族館でのインタラクティブな情報提供ツール、さらに教育ツールなど、今後幅広い用途で活用されることが期待されている。