筑波大学のデジタルネイチャー研究室が、ろう（聾）・難聴者とのコミュニケーションのためにリアルタイム字幕を表示する透明ディスプレイ「シースルーキャプションズ（See-Through Captions）」を開発研究中です。

参考・画像出典：筑波大学 デジタルネイチャー研究室  See-Through Captions

このシステムが一般化すれば、聴覚障害者をはじめ、高齢で難聴に悩んでいる人や、マスク越しでの会話、騒がしい場所での会話にまで、幅広く役立つ場面がありそうです。

要注目のボイステックとして、以下でご紹介します。

相手の表情、ボディーランゲージ、テキストを同時に見られるメリット

シースルーキャプションズが生まれた背景には、開発チームの中で耳が聞こえないメンバーとのコミュニケーションにあったとのこと。

チーム内ではチャットツールや音声入力アプリでコミュニケーションをする中で、相手の表情やジェスチャーが見られないといった問題を感じていたようです。

さらに、コロナ禍によってゼミがフルオンライン化。当初使っていたオンライン会議ツールには自動字幕機能がなく、このような不便を補完するために音声の字幕化の研究を開始したといいます。

自動音声字幕技術を生かし、コミュニケーション上の課題にスポットを当てたシステムとして開発がスタート。研究室では透明のディスプレイに着目し、会話の音声がリアルタイムに自動で文字起こしされ、さらに話し手と聞き手の双方が相手の表情と字幕を見ながら会話できるシステムの開発に至ったようです。

透明ディスプレイでは、話者側からもテキストを確認できるので、書き起こされた字幕にミスがないかどうかが即時にわかるというメリットもあります。

シースルーキャプションズは、つくば市の住民説明会やつくば市長の会見、日本科学未来館で受付やガイドツアーなどで試験導入されています。

科学未来館のガイドツアーとして、携帯できる小型サイズの透明ディスプレイを使った「ろう・難聴者向けツアー」が行われ、好評を博しました。

ガイドツアーに用いられる中で、小型サイズでの表示文字数の限界や視認性についての課題があがっており、今後もさらなる開発を進めていくようです。

話すことが難しい人からのコミュニケーションに課題

スマートフォンや音声アシスタントの普及、音声入力アプリの進化、シースルーキャプションズの開発など、「聞こえる・話せる人」から「聞こえない・話すことが難しい人」へのコミュニケーションのシームレス化が進む中で、「聞こえない・話すことが難しい人」から「聞こえる・話せる人」へのコミュニケーションについては、まだ多くの課題がありそうです。

当然、会話は相互コミュニケーションですので、「聞こえない・話すことが難しい人」からの発言を、相手にスムーズに伝える技術にも目を向けたいところです。

この点では、アメリカとインドの大学の研究グループが開発している、口の動きで音声を認識するデバイス「ジョーセンス（JawSense）」が注目の技術としてあげられます。詳しくは過去にVoista Mediaで紹介しているので、そちらをご覧ください。

過去記事：まるで潜入捜査の秘密会話！？ 口パクで音声認識をするウェアラブルデバイスが開発中

身近な方法は「自動文字起こし」ができる録音アプリを使うこと

透明ディスプレイにリアルタイム字幕を書き起こす「シースルーキャプションズ」や、口の動きを感知し音声として伝える「ジョーセンス」といった画期的なデバイスを、誰もが日常生活の中で気軽に利用するまでには、もう少し時間がかかりそうです。

身の回りに「聞こえない・話すことが難しい人」がいない方も、道を尋ねられたり、ふとした瞬間にサポートをする必要があったりと、そのような人とのコミュニケーションがいつ必要になるかはわかりません。

そんなときに、時間のかかる筆談やスマホの文字入力ではなく、音声入力で素早く言葉を伝えられたらスマートです。

自動文字起こし機能を備えた音声入力アプリは、メモ代わりに使えたり、会議の議事録作成の手助けになったりと、日常生活での活躍の場もあるため、どれかひとつをスマホに入れておきましょう。

無料のAI録音アプリ「Voistand」は、精度の高い自動文字起こし機能を備えており、録音データと文字起こしテキストはカレンダー（日時）で管理できるため、「いつ、どのような話をしたか」をわかりやすく整理できます。

過去記事：AI録音アプリ「Voistand」の自動文字起こし機能が便利。議事録やメモづくりに活用！

ぜひ、以下からダウンロードをして使ってみてください。

まとめ

いかがだったでしょうか？

ボイステックは日々進化しています。メガネやコンタクトレンズがなかったときと今では、視力が低い人の生活のしやすさがまったく異なるように、「聞くこと」や「話すこと」が難しい人が直面しているハードルが、今よりもずっと低くなる日が目の前に来ているのかもしれません。

また、聞こえにくさや難聴は、加齢とともに多くの人が抱える問題です。今は自分事として考えられない人にとっても、将来は当事者として困難に直面する可能性があるのです。

人と人とのコミュニケーションを支援する技術に、ぜひ注目してみてくださいね。