2つの視点を持つ人が書いている耳・補聴器ブログ

東京都墨田区で補聴器の販売をしている難聴者のブログ。補聴器や耳に関する事を書いています

メガネに装着し音声を可視化するLTCCSの特徴をまとめてみた

Pocket

先日、記事で見かけたものに、メガネに装着するウェアラブルディバイスで、音声認識を活用し、お話しした内容をスカウターのように見れるものがありました。こちらのものは、今現在、クラウドファンディングにより、資金を集めている最中ですので、製品化されているわけではないのですが、情報共有という意味で、こちらにも記載してみます。

こんなものも開発されつつあるという事で、ご参考になれば幸いです。

メガネに装着し話した音声を文字化するLTCCS

こちらに関しては、動画を見ていただくとイメージがわきやすいと思います。

indiegogoより引用

メガネに特殊なディバイスを取り付け、ディバイスに取り付けられているレンズから文字が見えるようになるシステムが、The Live Time Closed Captioning System。略して、LTCCSになります。

メガネに装着するウェアラブル機器がLTCCS

メガネに装着するウェアラブル機器がLTCCS

youtubeより引用

このようなディバイスをメガネに取り付け、メガネから文字を見れるようにします。

マイクは、胸元に装着

マイクは、胸元より上に装着

youtubeより引用

音声認識に必要なマイクは、ご自身につけて使用します。少しわかりにくいのですが、胸元より少し上に黒いマイクがあります。

マイクから翻訳する音声を入力し、その音声を文字化して、レンズに送る、このようにする事で、お話ししている内容が文字で見えるようになります。

LTCCSで文字を可視化したイメージ

LTCCSで文字を可視化したイメージ

youtubeより引用

文字の可視化に関するイメージは、このようになるようです。目に見えるように文字が出ている事がわかります。

LTCCSに関して、わかりやすい記事は、こちらにもあります。

リンク:現実世界にテロップを出して聴覚障害者を助けるヘッドセットディスプレイ「LTCCS」

マイクを自分自身につけて音声を認識するタイプは、初めてですね。こちらのプロジェクトは、2年くらいかけているようですので、試行錯誤の結果、このようになったのでしょう。これは、期待できるディバイスとなりそうです。

コミュニケーションの改善

お話しが聞きにくい難聴の方、聴覚障害の方にとっては、このようにお話しが理解できるようになると楽になりますね。コミュニケーションに必要なのは、

  • 思った事をお話しする事
  • 相手から言われた事を理解する事

この二つが必要ですが、相手から言われた事を理解する事に関して、このディバイスは、補助してくれます。お話しする分には、問題ない方で、聞きにくさにより、相手から言われた事を理解する事が難しい方にとって、非常に有効であると考えられます。

過去のディバイスとの違い

こちら以外にもこのブログに記載させていただいたものは、Captioning on GlassというGoogle glassを活用したものがあります。このディバイスと今回のディバイスで異なる点は、相手が主体か、自分が主体であるか、この違いになります。

Captioning on Glassは、スマートフォンをマイクにし、そこで音声を拾ったものを音声認識により文字化し、その内容をGoogle glassに送る事で、文字を可視化しています。

Captioning on Glass使用イメージ

Captioning on Glass使用イメージ

youtubeより引用

こちらが使用イメージです。

Googleの音声認識で音声を認識する

Googleの音声認識で音声を認識する

youtubeより引用

スマートフォンに音声を送ると……

Google glassに文字が可視化されたイメージ

Google glassに文字が可視化される

youtubeより引用

Google glassに文字が可視化されます。その文字を読み取って会話する事ができます。

この機器の場合、相手にスマートフォンを持っていただくという事が必要になるのですが(それ以外にもスマートフォンとのペアリング、スマートフォンに話しかけていただくという事が必要になります)、LTCCSの場合、自分にマイクをつけるため、そこから、全ての音を拾い、可視化します。

マイクの部分に関して、相手が主体か、そして自分が主体かが異なります。自分が主体な場合、相手にお願いしなくて済み、それにより、気軽に使用できるという大きなメリットがあります。

この点が、Captioning on Glassと大きく異なります。

心配事

個人的に心配な部分は

  • 精密度
  • 複数の人の会話は?
  • 自分の声は?

この三つになります。

精密度

精密度に関しては、どのくらいの飛距離なら音声を認識するのか、そして翻訳の正確性は、どのくらいあるのかを表します。

音は離れると離れるほど、小さく聞こえるようになりますので、どのくらいの距離なら良いのかが気になります。当然ですが、音が小さいと正確に認識できなくなります。人も同じで音が小さいと何と言っているかわからない時がありますよね。それと同じです。

Captioning on Glassは、この正確性を高めるためにあえてあのような仕組みをとりました。Captioning on Glassが出る前にGoogle glassのマイクを活用し、音声認識をするアプリがあったのですが、翻訳の正確性、難しさが出てしまい、そのプロジェクトは、今どのようになったのかは定かではありません。

LTCCSで気になるのは、この点です。良いマイクを使用しているようですが、このマイクがどれほどのものなのか、そして翻訳の正確性、どのくらい認識するのかの精密度がカギになりますね。

複数の人の会話は?

複数の人の会話は、どのように表示されるのでしょうか?そもそも対応しているのでしょうか?そして、この場合における翻訳の正確性は、どのくらいなのでしょうか?そこも気になりますね。

自分の声は?

マイクを自分につける際に考慮すべき点は、自分の音声は、どのようになるのかもあります。こちらは、認識しないような工夫があるのでしょうか?それとも、ディバイスに表示されるのでしょうか?こちらに関しても気になりますね。

LTCCSのまとめ

LTCCSは、まだ始まったばかりであり、気になる事もありますが、その一方、もしかしたらやってくれるのでは?この業界に大きなインパクトを与えてくれるのでは?という希望もあります。

Captioning on Glassの良いところは、正確性ですが、悪い所は人にお願いをしなければならないところです。この点は、非常に大きいネックですので、自分が工夫するだけで、音声を可視化しやすくなるディバイスというのは、使用する方からしたら非常に魅力的です。

技術的に難しい部分というのもこれから先、出てくる可能性はありますが、大いに期待したいディバイスの一つです。

なお、この内容は、LTCCSの認識が、自分にマイクを装用し、使用する音声認識ディバイスである事が条件です。色々調べ、間違いがないようにしておりますが、もし違う点があれば、全ての理論は崩れます。その点だけ、恐れ入りますが、ご了承ください。

 

この内容をご覧になった方は、こちらの内容もお勧めです。

リンク:音声をリアルタイムで翻訳するCaptioning on Glass

リンク:別の方法で聴覚を補うVESTの需要は、どうなのかを考えてみる

リンク:音を振動やライトで教えてくれるアプリOtoSense

リンク:新たな手話通訳、Google Gestureが創り出す繋がる世界

Pocket

この記事を書いた人:深井 順一
自己紹介
聞こえにくい人を支援するお店、パートナーズ補聴器、代表。生まれつきの難聴者である事、補聴器の販売をしている事、この二つの視点で、ブログを書いています。お店では、耳の状態を理解した後、効果的な補い方を導き出し、お客様の聞こえを改善しています。私に関する内容は、書いている人の詳細をご覧下さい。当店の特徴は、こちらです。場所は、東京都墨田区の本所吾妻橋駅(都営浅草線)より徒歩3分のところにあります。

補聴器で耳を改善させる手引き書、作りました

聞こえにくい事でお悩みの方のために、補聴器で耳を改善させる手引き書を用意しました。

  • 自分の症状に合う補聴器は何か
  • 自分の聴力に合う補聴器は何か
  • 補聴器の種類、性能、違いを知りたい

などお考えでしたら、こちらをご覧下さい。補聴器で耳を改善させる内容のみに絞って記載してみました。お役に立てば幸いです。

お困りごとのご相談、承ります

Webサイトに訪れる方のご要望にお応えするため、東京都墨田区に店舗を構えました。

  • 聞こえにくい事で困っている
  • どこに相談したら良いかわからない
  • お使いの補聴器でうまく聞こえない

などお悩みがございましたら、お気軽にご相談下さい。当店で行なっていること、よくいただくご相談は、リンク先の通りです。

〜更新情報のお知らせ〜
こちらのいずれかにご登録いただきますと更新時、お知らせします。お気軽にご登録ください。なお、Twitterでは、私自身が興味を持った記事や自分のエントリーについてツイートしています。もしよろしければフォロー、ご登録いただけるとうれしいです!
検索フォーム