一位患有嚴(yán)重語言障礙的男子，借助大腦植入裝置實(shí)現(xiàn)流暢地說話和歌唱。該大腦植入物近乎即時(shí)地將他的神經(jīng)活動(dòng)轉(zhuǎn)化為言語，不僅能傳達(dá)他的語調(diào)變化，強(qiáng)調(diào)他選擇的單詞，甚至能夠讓他哼唱出由3種音高組成的音符。
植入運(yùn)動(dòng)皮層的電極有助于記錄一個(gè)說話不清楚的人與語言相關(guān)的大腦活動(dòng)。圖片來源：Kateryna Kon/Science Photo Library
該裝置被稱為腦機(jī)接口（BCI），它使用人工智能解碼參與者試圖說話時(shí)的腦電活動(dòng)。該裝置是第一個(gè)不僅能再現(xiàn)一個(gè)人的意圖，還能復(fù)制自然語言特征的BCI。音調(diào)、音高、重音等自然語言特征有助于表達(dá)意思和情感。
在一項(xiàng)研究中，一種模仿參與者自身聲音的合成聲音，在參與者神經(jīng)活動(dòng)發(fā)出說話意圖信號(hào)后10毫秒內(nèi)，就說出了他的話語。這項(xiàng)6月11日發(fā)表于《自然》的研究成果標(biāo)志著對(duì)早期BCI的重大改進(jìn)，早期BCI通常在3秒內(nèi)輸出語音，或者只能在用戶完整模擬整個(gè)句子后才能生成語音。
“這是語音BCI領(lǐng)域的圣杯。”荷蘭馬斯特里赫特大學(xué)的計(jì)算神經(jīng)科學(xué)家Christian Herff說，“這是真實(shí)的、自發(fā)的、連續(xù)的講話。”
這項(xiàng)研究的參與者是一名45歲的男性，在患上一種運(yùn)動(dòng)神經(jīng)元疾病——肌萎縮側(cè)索硬化癥后，他失去了清晰說話的能力，這種疾病會(huì)損害控制肌肉運(yùn)動(dòng)的神經(jīng)，包括說話所需的神經(jīng)。雖然他還能發(fā)音和說話，但他講話很慢，也不清楚。
在癥狀出現(xiàn)5年后，他接受了手術(shù)，在控制運(yùn)動(dòng)的大腦區(qū)域插入256個(gè)硅電極，每個(gè)1.5毫米長。論文作者之一、美國加利福尼亞大學(xué)戴維斯分校的神經(jīng)科學(xué)家Maitreyee Wairagkar和同事訓(xùn)練了深度學(xué)習(xí)算法，每10毫秒捕捉一次他大腦中的信號(hào)。他們的系統(tǒng)實(shí)時(shí)解碼的是該男子試圖發(fā)出的聲音，而不是他想要表達(dá)的具體詞語或基本音素——構(gòu)成口語單詞的語音子單位。
“我們并不總是用詞語傳達(dá)想法。我們有感嘆詞，還有其他一些表達(dá)性的發(fā)音，這些都不在我們的詞匯表里。為了實(shí)現(xiàn)這一點(diǎn)，我們采用了這種完全不受限制的方法。”Wairagkar解釋說。
該團(tuán)隊(duì)還通過訓(xùn)練人工智能算法，根據(jù)參與者生病前的采訪錄音，將合成聲音個(gè)性化，使其聽起來像參與者自己的聲音。
研究人員要求參與者試發(fā)出“啊”“哦”“嗯”之類的感嘆詞，并說出虛構(gòu)的單詞。BCI成功地產(chǎn)生了這些聲音，表明它可以在不需要固定詞匯的情況下生成語音。
使用該裝置，參與者可以拼寫單詞、回答開放式問題，并使用解碼器訓(xùn)練數(shù)據(jù)之外的一些單詞說出他想說的話。他告訴研究人員，合成的聲音說話讓他“感到高興”，感覺就像他的“真實(shí)聲音”。
在其他實(shí)驗(yàn)中，BCI識(shí)別出參與者是想把一個(gè)句子說成疑問句還是陳述句。該裝置還能判斷他在同一句話中強(qiáng)調(diào)哪些詞語，并相應(yīng)地調(diào)整其合成語音的語調(diào)。“我們正在引入人類語言中所有這些非常重要的不同元素。”Wairagkar說，以前的BCI只能產(chǎn)生單調(diào)的語音。
瑞士日內(nèi)瓦大學(xué)的神經(jīng)工程師Silvia Marchesotti說，該裝置的功能“對(duì)于未來患者的日常使用至關(guān)重要”。“從某種意義上說，這是一種范式轉(zhuǎn)變，它可以真正帶來一種現(xiàn)實(shí)生活中的工具。”
相關(guān)論文信息： https://doi.org/10.1038/s41586-025-09127-3
中國-博士人才網(wǎng)發(fā)布
聲明提示：凡本網(wǎng)注明“來源：XXX”的文/圖等稿件，本網(wǎng)轉(zhuǎn)載出于傳遞更多信息及方便產(chǎn)業(yè)探討之目的，并不意味著本站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性，文章內(nèi)容僅供參考。
