使用社交账号登陆

当前位置: 主页 > 观点 > 博客 > Rajeev Raizada

在阅读?你的大脑已上线

作者: admin 来源: 未知

新的研究成功更新了神经学家们对语言处理复杂性的认识

 

图片1.png 

这些大脑成像图显示了我们如此准确地预测当我们看到新的以前未见过的句子,不同的大脑区域的神经激活模式。脑区越亮,精度越高。可以看到,那条明黄色条纹也是精确的区域,它是大脑左侧的一个区域,被称为颞上沟Superior Temporal Sulcus。脑扫描结果显示,在完成句子预测任务时,14被试中11位该区域均被激活,达到了统计上的显著水平。虽然这是最精确地句子预测相关的脑区,其他几个广泛分布在大脑中脑区也被激活了并在句子预测时产生了显著效果。

(图片来源:罗切斯特大学/ Andrew Anderson & Xixi Wang图片使用已获得许可

 

众人拾柴火焰高,当单词汇聚在一起而自己独成一家时,它们便可以实现更多意义聚沙成塔,集腋成裘,用单词造句,句子便可表达更为丰富的内涵神经科学领域,人脑如何表征编码句子含义?这一直是一个未解决的问题,最近,我我的同事在《大脑皮层》(Cerebral Cortex)杂志上发表了一篇文章,问题做了些阐述。在此,我想要为正在阅读这篇文章的读者们概述一下有关本研究大致情况,这一研究做了什么以及我们发现什么之前未被发现的事情

 

为了测量人们的大脑激活状况,我们使用了功能磁共振成像(functional Magnetic Resonance Imaging)。20世纪90年代初时,科学家首次进行功能磁共振成像研究,他们主要只是关注大脑的哪个区域被点亮(激活)了,即当人们执行一个给定的任务时,大脑哪一区域是活跃的。

 

然而,在过去的十年左右,一种不同的研究取向迅速得到普及影响力猛增,神经科学家不关注究竟是哪个脑区被激活了,而是试图进行神经解码”(neural decoding:我们观察大脑活动模式,并试图找出是什么引起这一模式。做个比喻,假如我们正步行穿过一片森林,看到中有一个动物脚印。通过看泥中脚印图案,即脚印的形状,我们也许能弄清楚是哪种动物出来的。但为了做到这一点,我们首先需要了解不同动物的脚印形状,更难的是脚印弄脏或是变得模糊,我们要如何解码它们。

 

神经解码与这一过程是非常相似的。通过泥浆中的脚印推断动物可以根据熟悉的动物的脚印进行判断我们解码的基于我们过去已知的单词句子模式,如何推测是什么刺激(此处是单词和句子)引起特定的大脑激活模式。

 

我们研究的新颖之处是之前神经解码尚未在整个句子的水平上实现过。要知道为什么整句解码是困难的让我们回到动物足迹的比喻上吧假设在核磁共振成像扫描仪里的人一次只读一个单词。这是一次在泥里看到一个脚印,并试图找出它来自哪种动物。与之相反,当扫描仪中的人正在读一个完整的句子时,这几个单词同时激活不同脑区。解码,就像几个不同种类的动物都同时一块泥地里了,然后我们的任务是尝试着从混杂着脚印的“跑道”上尽可能多地辨别出不同种动物。

 

当然,我们的研究不仅局限与此。我们建立了一个计算机模型,这一模型不仅研究特定单词神经足迹。该模型可分析单词中不同的感觉、情感社会和其他方面信息,从而预测出遇到新单词的大脑模式,以及单词重组而成的新句子对大脑的激活模式。放到我们动物足迹的比喻,这就好像我们被训练去辨识鹿脚印,然后我们得到一个之前闻所未闻的新足迹,例如,麋鹿。如果有一个模型告诉我们,麋鹿是一种与牛大小差不多的鹿,那么,模型可以预测一麋鹿的足迹会有点像牛足迹那么大的鹿足迹。这一预测并不完全正确,但它也在一定程度上说明问题。总比随机猜测要好吧

 

沿着类似的路线,我们的计算机模型可以预测,当看到一个之前未被训练的新句子大脑模式是什么的,只要大脑在不同上下文的句子中充分地训练过其中的单词。例如,我们的模型可以预测“这一家人在沙滩上玩耍”(The family played at the beach)这一句子的大脑模式,因为它已经被其他有着相同单词句子训练过了,如年轻的女孩踢足球”(The young girl played soccer.)和“沙滩上空无一人”(The beach was empty.

 

一利用了计算机模型来从大脑数据中提取信息过程,在许多方面,与其他正在成为我们日常生活一部分的技术一样大数据模式提取有意义的信息的计算机模型被称为机器学习”的领域发展而来的,也常被称为数据科学。当你手机镜头对准别人的时候,它会在脸部周围自动绘制一个框,此时手机接收到大量数据——数以百万计像素数据——并据此提取有意义的信息,即人脸在哪个位置。

 

语音识别Voice-recognition软件Siri,接收到空气迅速变化的振动(语音)并获取大量数据从中提取相应的单词。神经解码在描绘大脑激活状态的fMRI三维成像(称为“三维像素voxel)数据提取信息在我们的研究中,这些信息包括在接受着脑部扫描时人们在阅读单词和句子的含义。

 

解码所收集到的信息,我们需要一个跨学科的团队。这项研究是由Andy Anderson主衔负责的,他是我实验室的一位博士后研究员,有着所需的所有跨专业领域知识:词义的计算模型,机器学习和脑成像。团队的另一重要成员是Jeffrey Binder博士他是威斯康星医学院Medical College of Wisconsin的神经学家也是世界著名的研究大脑如何表征意义的专家学者

 

但整个团队要比这些大得多:我们的论文有九位作者,他们都扮演了不同关键的角色,作者跨越了六个不同的国家,都有着工业和学术界的背景。我们的资金来源于两个不同的政府机构(情报高级研究项目活动和国家科学基金会)。近年来,科学前沿研究组往往是由一个许多不同国家的人大型的合作团队组成。

 

解码大脑加工句子过程可能是激动人心的,但为什么很重要?对于问题有两个答案。一个答案是,我们的大脑造就了我们自己,而语言是人类认知的最基本方面之一。

 

除了纯科学角度的兴趣外,这样的工作也有一天会有实践方面的应用。我们的研究从人们的大脑中提取了意义信息生活中有许多人患有创伤性脑损伤,那些有意义的言语“禁锢”在大脑里无法张口进行表达,例如布罗卡区(Broca's area)损伤的患者。

 

我们的研究还使用了计算机模型来表征意义。现有的计算机模型也比几年前进步得多,Siri和谷歌翻译中可以看出系统成功之处。但是,这些现有的模型也有很多不完善的地方,就如那些常常输出乱码的计算机系统。到目前为止,世界上最好的表达意义就是人类大脑。在探索大脑是如何做到这一点的过程中,我们可使我们的计算机模型更好地处理意义相关信息。

 

基础研究在实践上的应用不会迅速得到印证回报,明天,甚至明年也不会有回报。大脑到底是如何表征意义一个极为困难的问题。而我们发表新文章虽聚焦前沿问题,仍有许多问题没有得到解决要解决这些棘手的问题,需要进行长期的科研工作。正如句话所说“聚词成句,含义自丰。”许多单独的科学研究,汇聚起来,就能帮助我们更好地了解我们所处的世界。

 

本文观点仅代表作者,不代表《科学美国人》


(翻译:李美佳;审校:李昱)

 

 

原文链接【科学美国人博客】: http://blogs.scientificamerican.com/guest-blog/how-the-brain-decodes-sentences/

 


关于我

Rajeev Raizada

Rajeev Raizada是罗切斯特大学(University of Rochester)脑与认知科学学院的助理教授,同时也是Center of Excellence in Data Science的成员。他的研究采用模式识别算法研究人类大脑中的神经表征的结构,特别关注视觉对象识别和语言意义领域。