首次实现汉语实时脑机解码!上海团队攻克声调语言脑信号翻译难题-肽度TIMEDOO

近日,来自上海的研究团队在 Science Advances 发表最新成果:他们成功利用脑机接口(Brain-Computer Interface, BCI)系统,实现了对汉语普通话的实时语言解码——这是全球首例针对声调语言的脑机实时译码研究。令人惊喜的是,受试者不仅能通过脑信号输出汉语语句,还能控制机械臂、数字化身,并与大语言模型互动。

脑机接口:为失语患者“读心”发声

尽管“读心”技术听上去有些科幻,但对于那些因神经系统疾病(如中风或肌萎缩侧索硬化症,ALS)而失语的患者,脑机接口提供了一条全新的沟通途径。通过解码大脑皮层中的神经信号,BCI系统可以将脑活动“翻译”成语音或文字,帮助患者重新获得交流能力。

目前,国际上多数BCI语音解码研究集中在英语等非声调语言。这种研究通常聚焦于大脑的腹侧感觉运动皮层(ventral sensorimotor cortex),该区域负责控制发音运动。科学家可将该区域的神经信号转化为离散的语言单元或发音参数,再合成为语音或文字,从而恢复患者的沟通能力。

汉语的挑战:声调与同音字的“噪音”

然而,普通话的脑机解码难度要远高于英语。汉语是声调性单音节语言,具有大量同音词和复杂的音调变化,这使得神经信号的区分更加困难。以往的研究多能识别少量音节或声调,但尚未实现覆盖全部音节、实时输出的系统。

此次研究的突破得益于一项临床合作。科研团队在一名43岁的癫痫患者临床监测过程中,植入了一块256通道高密度皮层脑电图(ECoG)阵列,连续记录了11天的语言相关脑信号。受试者完成了包括单字朗读与句子阅读在内的任务,研究团队还引入了**三元汉语语言模型(3-gram Mandarin language model)**以提升句子解码的准确性。

实时解码与交互:从脑信号到语言

结果显示,ECoG信号揭示了音节与声调在大脑中的不同神经表征。系统在单字任务中达到了71.2%的音节识别准确率;结合语言模型的实时句子解码准确率达73.1%,信息传递速率约为每分钟49.7个汉字。

论文作者指出,这一成果得益于“高密度、超贴合ECoG阵列与以音节为中心的解码框架(syllable-centric decoding framework)相结合”。这种设计使得研究团队能够在无需语言学后处理的情况下,仅通过神经特征成功区分394个汉语声调音节。

首次实现汉语实时脑机解码!上海团队攻克声调语言脑信号翻译难题-肽度TIMEDOO

展望未来:从单例验证到普适应用

尽管成果显著,研究团队也指出当前工作仍有局限:实验仅基于一位受试者,电极覆盖范围也受到临床监测需求限制,尚未囊括所有与声调加工相关的脑区。

未来,研究人员计划进一步扩展研究对象,提升系统的普适性与稳定性。他们认为,除了改进硬件与算法外,扩大脑区信号采集范围将是下一阶段的重要方向。未来的BCI系统可能不仅利用运动与前运动皮层信号,还会整合中颞回、下额回及缘上回等更高层次语言处理区的活动,从而融合语义与句法信息,构建出更稳定、更精准的语音解码系统。

这项研究不仅为声调语言的脑机解码奠定了技术基础,也为失语症、脑卒中及神经退行性疾病患者的沟通重建带来了新的希望。

参考文献:Youkun Qian et al, Real-time decoding of full-spectrum Chinese using brain-computer interface, Science Advances (2025). DOI: 10.1126/sciadv.adz9968

编辑:王洪

排版:李丽