發布日期:2019-08-22
《自然—通訊》近日發表的一項研究介紹了一種可以將問答對話相關腦活動轉化為文字記錄的神經解碼器。
大腦皮層包含不同的區域,其中的神經活動會編碼語音感知與生成。研究表明,這種腦活動可以被解碼;但是之前的研究側重于將聽說任務分開解碼。
美國加州大學舊金山分校的Edward Chang及同事在模擬的問答對話試驗中,通過腦活動解碼語音感知與生成。被試為3名正在接受癲癇治療的患者,他們要聽一系列的問題并通過一套規定的答案,口頭回答問題,作者將被試在這個過程中的腦皮層活動記錄了下來,之后這些數據被用于訓練語音檢測和解碼模型。接著,被試再聽一系列問題,并大聲地用自己所選的答案作答。
僅使用在對話中記錄下的神經信號,作者便能夠檢測被試何時在聽、何時在說,并且能夠預測所聽或所說的是什么。通過解碼問題,他們能夠利用所得信息提高被解碼答案的準確性(因為部分答案只適用于特定問題),而且對于生成語音和感知語音的解碼準確性分別提高到了61%和76%。
還需要開展進一步的工作來解碼想象的語音回答,這樣才能使因為損傷或神經退行性疾病而無法說話的個體使用這項技術。(來源:中國科學報 唐一塵編譯)
相關論文信息:https://doi.org/10.1038/s41467-019-10994-4
來源:《自然—通訊》