スマホで誰でも手話コミュニケーションができる日が、すぐそこまでやってきた

手話には手の動きだけでなく、表情やジェスチャーのクセといった要素も組み合わせながら分析する必要があるため、それぞれ異なる角度に設置した３台のビデオカメラとセンサーを組み合わせた独自のシステムを開発。手話通訳者の手の動きと顔の表情を同時に読み込み、テキストに翻訳するというプロトタイプを構築し、基本的な表現の収集から始めている。

映像から身体の動きや表情を読み込む技術は、映画のCGエフェクトに使用するモーションキャプチャー技術の向上で精度は上がっているが、さらに手話ならではの独自アルゴリズムを構築することで、個人のくせや細かな指の動きの違いを分析して会話を判断し、適切に通訳できるところまで性能を上げるという。今後はさまざまな組織と連携しながらデータの収集と技術の向上を進め、将来的にスマホのカメラを使って、リアルタイムで自動通訳を行えるようになるレベルを目指している。

もっと手軽に、オンラインでコミュニケーションを楽しめるアプリも開発されている。「Five App」は、英単語をクリックすると、それに合わせた手話のGIFアニメが自動で作成されるアプリで、手話がわからない人でも簡単に使えるのが特徴だ。単語と組み合わせてキャラクターの表情もちゃんと変更できるので、短いメッセージで微妙なニュアンスを伝えるのにも向いている。現在は英語版のみで、使える単語も少ないが、試験的に無料で公開されていて、登録すれば誰でも使うことができる。チャット感覚で手軽に使えるうえに、テキストや動画なども組み合わせられるなど、メッセージアプリ単体としても興味深いものになっているので、手話通訳以外にも新しいコミュニケーションの方法として進化するかもしれない。