2016/11/25

スマホで誰でも手話コミュニケーションができる日が、すぐそこまでやってきた

テクノロジーを使ってアクセシビリティーを充実させようというアイデアは、世界でも関心が高まっている。そうしたなか、スマホをコミュニケーションの仲介役として活用するための技術やアプリが、いろいろ登場している。

ハンガリーのブダペストを拠点とするスタートアップ「SignAll」は、現在、映像からリアルタイムで手話通訳を可能にする技術の開発に挑んでいる。コンピューターに手話の動きや表情などを記憶させ、複雑な手話も理解できるプロトタイプを作成中だ。これまでにも手話を自動化するアイデアはいろいろあったが、実は手話は世界で約300もの種類があり、普通の言葉と同じように、ひとつの国のなかでも世代や地域によって意味が異なるという。そこでまず、SignAllは、もっとも一般的とされているAmerican Sign Language (ASL)をもとに、手話のデータベースを構築することに着目した。

手話のデータ化(画像提供:SignAll)

手話には手の動きだけでなく、表情やジェスチャーのクセといった要素も組み合わせながら分析する必要があるため、それぞれ異なる角度に設置した3台のビデオカメラとセンサーを組み合わせた独自のシステムを開発。手話通訳者の手の動きと顔の表情を同時に読み込み、テキストに翻訳するというプロトタイプを構築し、基本的な表現の収集から始めている。

映像から身体の動きや表情を読み込む技術は、映画のCGエフェクトに使用するモーションキャプチャー技術の向上で精度は上がっているが、さらに手話ならではの独自アルゴリズムを構築することで、個人のくせや細かな指の動きの違いを分析して会話を判断し、適切に通訳できるところまで性能を上げるという。今後はさまざまな組織と連携しながらデータの収集と技術の向上を進め、将来的にスマホのカメラを使って、リアルタイムで自動通訳を行えるようになるレベルを目指している。

SignAll

「see you later」を意味するGIFアニメーション。(画像提供:Five Technologies sp. z o.o.)

もっと手軽に、オンラインでコミュニケーションを楽しめるアプリも開発されている。「Five App」は、英単語をクリックすると、それに合わせた手話のGIFアニメが自動で作成されるアプリで、手話がわからない人でも簡単に使えるのが特徴だ。単語と組み合わせてキャラクターの表情もちゃんと変更できるので、短いメッセージで微妙なニュアンスを伝えるのにも向いている。現在は英語版のみで、使える単語も少ないが、試験的に無料で公開されていて、登録すれば誰でも使うことができる。チャット感覚で手軽に使えるうえに、テキストや動画なども組み合わせられるなど、メッセージアプリ単体としても興味深いものになっているので、手話通訳以外にも新しいコミュニケーションの方法として進化するかもしれない。

800あまりの表現がアイコンで表示され、選択した表現をアニメーションで確認できる。(画像提供:Five Technologies sp. z o.o.)

前述のSignAllは手話以外にも、ダンスやパフォーマンス、リズムなど、あらゆるものを自動翻訳する技術を研究することで、言語以外のコミュニケーションを豊かにする、夢のような未来を目指している。そのために必要なビッグデータとAIの技術は大きく進化しており、Five Appのようなユニークなアイデアも登場している。手話の自動翻訳技術がもっと身近になる日はそう遠くはなさそうだ。

文:野々下裕子

この記事の評価をお願いします

ご回答ありがとうございました。
よろしければ評価の理由を教えてください。

※300文字以内でご入力下さい。
※ご入力いただいた内容については今後の改善に利用させていただきます。
※返信は行っておりませんので、個人情報のご入力はご遠慮下さい。

最新情報はこちらでもチェック

  • メール
  • LINE
  • twitter
  • facebook