IT・AIなどのテクノロジー

メガネに装着し音声を可視化するLTCCSの特徴をまとめてみた

先日、記事で見かけたものに、メガネに装着するウェアラブルディバイスで、音声認識を活用し、お話しした内容をスカウターのように見れるものがありました。こちらのものは、今現在、クラウドファンディングにより、資金を集めている最中ですので、製品化されているわけではないのですが、情報共有という意味で、こちらにも記載してみます。

こんなものも開発されつつあるという事で、ご参考になれば幸いです。

メガネに装着し話した音声を文字化するLTCCS

こちらに関しては、動画を見ていただくとイメージがわきやすいと思います。

indiegogoより引用

メガネに特殊なディバイスを取り付け、ディバイスに取り付けられているレンズから文字が見えるようになるシステムが、The Live Time Closed Captioning System。略して、LTCCSになります。

メガネに装着するウェアラブル機器がLTCCSメガネに装着するウェアラブル機器がLTCCS

youtubeより引用

このようなディバイスをメガネに取り付け、メガネから文字を見れるようにします。

マイクは、胸元に装着マイクは、胸元より上に装着

youtubeより引用

音声認識に必要なマイクは、ご自身につけて使用します。少しわかりにくいのですが、胸元より少し上に黒いマイクがあります。

マイクから翻訳する音声を入力し、その音声を文字化して、レンズに送る、このようにする事で、お話ししている内容が文字で見えるようになります。

LTCCSで文字を可視化したイメージLTCCSで文字を可視化したイメージ

youtubeより引用

文字の可視化に関するイメージは、このようになるようです。目に見えるように文字が出ている事がわかります。

LTCCSに関して、わかりやすい記事は、こちらにもあります。

リンク:現実世界にテロップを出して聴覚障害者を助けるヘッドセットディスプレイ「LTCCS」

マイクを自分自身につけて音声を認識するタイプは、初めてですね。こちらのプロジェクトは、2年くらいかけているようですので、試行錯誤の結果、このようになったのでしょう。これは、期待できるディバイスとなりそうです。

コミュニケーションの改善

お話しが聞きにくい難聴の方、聴覚障害の方にとっては、このようにお話しが理解できるようになると楽になりますね。コミュニケーションに必要なのは、

  • 思った事をお話しする事
  • 相手から言われた事を理解する事

この二つが必要ですが、相手から言われた事を理解する事に関して、このディバイスは、補助してくれます。お話しする分には、問題ない方で、聞きにくさにより、相手から言われた事を理解する事が難しい方にとって、非常に有効であると考えられます。

過去のディバイスとの違い

こちら以外にもこのブログに記載させていただいたものは、Captioning on GlassというGoogle glassを活用したものがあります。このディバイスと今回のディバイスで異なる点は、相手が主体か、自分が主体であるか、この違いになります。

Captioning on Glassは、スマートフォンをマイクにし、そこで音声を拾ったものを音声認識により文字化し、その内容をGoogle glassに送る事で、文字を可視化しています。

Captioning on Glass使用イメージCaptioning on Glass使用イメージ

youtubeより引用

こちらが使用イメージです。

Googleの音声認識で音声を認識するGoogleの音声認識で音声を認識する

youtubeより引用

スマートフォンに音声を送ると……

Google glassに文字が可視化されたイメージGoogle glassに文字が可視化される

youtubeより引用

Google glassに文字が可視化されます。その文字を読み取って会話する事ができます。

この機器の場合、相手にスマートフォンを持っていただくという事が必要になるのですが(それ以外にもスマートフォンとのペアリング、スマートフォンに話しかけていただくという事が必要になります)、LTCCSの場合、自分にマイクをつけるため、そこから、全ての音を拾い、可視化します。

マイクの部分に関して、相手が主体か、そして自分が主体かが異なります。自分が主体な場合、相手にお願いしなくて済み、それにより、気軽に使用できるという大きなメリットがあります。

この点が、Captioning on Glassと大きく異なります。

心配事

個人的に心配な部分は

  • 精密度
  • 複数の人の会話は?
  • 自分の声は?

この三つになります。

精密度

精密度に関しては、どのくらいの飛距離なら音声を認識するのか、そして翻訳の正確性は、どのくらいあるのかを表します。

音は離れると離れるほど、小さく聞こえるようになりますので、どのくらいの距離なら良いのかが気になります。当然ですが、音が小さいと正確に認識できなくなります。人も同じで音が小さいと何と言っているかわからない時がありますよね。それと同じです。

Captioning on Glassは、この正確性を高めるためにあえてあのような仕組みをとりました。Captioning on Glassが出る前にGoogle glassのマイクを活用し、音声認識をするアプリがあったのですが、翻訳の正確性、難しさが出てしまい、そのプロジェクトは、今どのようになったのかは定かではありません。

LTCCSで気になるのは、この点です。良いマイクを使用しているようですが、このマイクがどれほどのものなのか、そして翻訳の正確性、どのくらい認識するのかの精密度がカギになりますね。

複数の人の会話は?

複数の人の会話は、どのように表示されるのでしょうか?そもそも対応しているのでしょうか?そして、この場合における翻訳の正確性は、どのくらいなのでしょうか?そこも気になりますね。

自分の声は?

マイクを自分につける際に考慮すべき点は、自分の音声は、どのようになるのかもあります。こちらは、認識しないような工夫があるのでしょうか?それとも、ディバイスに表示されるのでしょうか?こちらに関しても気になりますね。

LTCCSのまとめ

LTCCSは、まだ始まったばかりであり、気になる事もありますが、その一方、もしかしたらやってくれるのでは?この業界に大きなインパクトを与えてくれるのでは?という希望もあります。

Captioning on Glassの良いところは、正確性ですが、悪い所は人にお願いをしなければならないところです。この点は、非常に大きいネックですので、自分が工夫するだけで、音声を可視化しやすくなるディバイスというのは、使用する方からしたら非常に魅力的です。

技術的に難しい部分というのもこれから先、出てくる可能性はありますが、大いに期待したいディバイスの一つです。

なお、この内容は、LTCCSの認識が、自分にマイクを装用し、使用する音声認識ディバイスである事が条件です。色々調べ、間違いがないようにしておりますが、もし違う点があれば、全ての理論は崩れます。その点だけ、恐れ入りますが、ご了承ください。

 

この内容をご覧になった方は、こちらの内容もお勧めです。

リンク:音声をリアルタイムで翻訳するCaptioning on Glass

リンク:別の方法で聴覚を補うVESTの需要は、どうなのかを考えてみる

リンク:音を振動やライトで教えてくれるアプリOtoSense

リンク:新たな手話通訳、Google Gestureが創り出す繋がる世界

ABOUT ME
深井 順一・聞こえにくい人を支援する補聴器専門店
聞こえにくい人を支援するお店、パートナーズ補聴器、代表。2019年で補聴器使用歴25年、補聴器販売歴10年。補聴器を使っている経験から、お店のサービスを考え、聞こえにくさにお悩みの方を一人でも多く、より良い生活が送れるよう、支援しています。書いている人の詳細は、”書いている人のページ”。連絡先は、”お問い合わせページ"にあります。
【お困りの方へ】聞こえのご相談、承っています。

当店は、東京都墨田区で生まれつきの難聴者が対応している補聴器専門店です。

補聴器を使っている人の視点で、お店のサービスを考え、聞こえにくさにお悩みの方がより良い生活が送れるよう、支援しています。

  • どこに相談したら良いかわからない
  • 別の場所で、うまくご相談ができなかった
  • ご自身のペースで一つずつ理解しながら補聴器のご相談をしたい

という方がいましたら、お気軽にご相談ください。

適切なご相談ができるよう時間をとってご対応させていただき(予約制)、補聴器のご説明から、日常生活〜職場で補聴器を試せるよう、補聴器の無料貸出も行っています。

ご希望の方は、お問い合わせページより、ご連絡願います。

当店の特徴やお客様の改善事例は、以下の通りです。

お店の特徴を見るお客様の改善事例

関連する記事
IT・AIなどのテクノロジー

Mimiヒアリングテストを活用するには

2015年8月3日
2つの視点でよくする耳・補聴器ブログ
さて、Mimiヒアリングテストについて書く事3回目ですが、今回は、Mimiヒアリングテストを活用する方法について、述べていきます。前々回、前回をご覧の方は、欠点がわかっていますので …
IT・AIなどのテクノロジー

3Dプリンターが起こす流通革命、より楽になる補聴器使用者

2014年11月7日
2つの視点でよくする耳・補聴器ブログ
よく考えてみれば、3Dプリンターは、補聴器業界に革命を引き起こすのではないか。再度、そんな風に思いました。 3Dプリンターが普及すれば …
IT・AIなどのテクノロジー

補聴器販売店はAIによって職がなくなるのだろうか

2016年4月19日
2つの視点でよくする耳・補聴器ブログ
昨日、スマホで朝生を見ていました。その内容は、AIに関する内容で、それ以外にも多くの内容が出ていました。私自身がTwitterでフォローして …