考えていることが音声に!神経科学者が脳波を音声へ変換することに成功

サイエンスニュース

口の聞けない人たちに希望がもたらされました。Siriなどの音声アシスタントを動かしているのと同じ技術によって、将来口の聞けない人たちに声が生み出される可能性があります。コロンビア大学の神経科学者たちが、この将来の目標へ大きな一歩を踏み出しました。脳波を明瞭な音声へと変換することに初めて成功したのです。

Scientific Reports」に掲載された論文では,今までとは少し異なったアプローチが取られました。言語を発しようと考えたときの脳波を直接調べるのではなく、対象者が他の人の話を聴いているときの脳波のパターンを調べたのです。脳波のデータはボコーダーと呼ばれる、合成音声を作る人工知能へと投入され、若干ロボットみたいな声ですが理解可能な、参加者が聴いたままのフレーズを再現することができました。

このテクノロジーは将来、口が聞けなくなった人たちに再び声によるコミュニケーションを可能にするものであることが示されました。また、うまく進展すれば、この音声技術を使う人は、単に話したい内容を心に浮かべるだけで、機械がその思考を音声化してくれるようになるかもしれません。

ホーキング博士の合成音声

イギリスの物理学者スティーブン・ホーキング博士は、他者とコミュニケーションをとるために、原始的な音声合成技術を使っていました。ホーキング博士が筋萎縮性側索硬化症(ALS)と診断されたのは21歳の時です。運動ニューロンの病気は、博士から話す能力を奪い、話すために小さなキーボードを使わなければならなくなりました。手の運動能力も失われると、顔の筋肉の動きを感知するシステムでスイッチを入れました。

今回の技術が発展することで、間に介在していたコンピューターや動作感知システムなどがなくても声を出すことができるようになります。

脳波から音声を合成する実験

コロンビア大学のチームは、5人の脳手術を控えた、てんかん患者に協力を求めました。脳活動をモニターする装置が取り付けられている状態で、一連の音声、例えば0から9まで数え上げる音声、を聴いてもらったのです。

装置によって集められた脳波は、ボコーダーに投入され、ニューラルネットワーク学習の助けを借りることで、音声が合成されました

次に、他の11人の参加者に、このAIによって合成された音声を聞いてもらいました。その結果、参加者たちはその音声の長さのうち約75%をはっきりと理解して、繰り返すことができました。この数字は以前の実験の数値を遥かに上回っています。

合成音声はここで聞く事ができます。一番下の音声ファイルが一番聴きやすいです。英語でカウントしている様子が、うまく聞き取れるでしょうか?

実用化に向けた次のステップ

著者であるニマ・メスガラニと共同研究者達は、近い将来もっと複雑なフレーズを合成したいと思っています。また、ただ他の人の話を聴いている場合だけでなく、話そうと考えたりイメージしている参加者の脳のシグナルも記録することも考えています。最終的には、チームの目標は考えを直接言葉に翻訳できるインプラントを開発することです

考えるだけで言葉に変換してくれる装置は、言葉を失った人たちに再び自由な会話をもたらしてくれるでしょう。また、障害のない人でも思っただけでコンピューターを操作したりインプットしたりできる技術へと応用できそうです。ただ、思っていることが筒抜けになってしまう危険も有るため、使い用によっては恐ろしい未来になりそうです。

参考記事: Smithsonian.com

コメント