人工智能正在改变科学家对语言学习的理解

国际站说al科技 2024-04-21 00:33:22

与大多数书籍和电影中精心编写的对话不同,日常互动的语言往往是混乱和不完整的,充满了错误的开端,中断和人们互相交谈。从朋友之间的随意对话,到兄弟姐妹之间的争吵,再到会议室中的正式讨论,真实的对话是混乱的。鉴于语言经验的偶然性,任何人都可以学习语言似乎是奇迹。

出于这个原因,许多语言科学家——包括现代语言学的创始人诺姆·乔姆斯基(Noam Chomsky)——认为语言学习者需要一种粘合剂来控制日常语言的不守规矩的本质。这种就是语法:一个生成语法句子的规则系统。

孩子们必须有一个语法模板连接到他们的大脑中,以帮助他们克服语言体验的局限性 - 或者说是思维。

例如,此模板可能包含一个“超级规则”,用于指示如何将新部分添加到现有短语中。然后,孩子们只需要学习他们的母语是一种,比如英语,动词在宾语之前(如“我吃寿司”),还是像日语一样,动词在宾语之后(在日语中,相同的句子结构为“我吃寿司”)。

但对语言学习的新见解来自一个不太可能的来源:人工智能。一种新型的大型AI语言模型可以撰写报纸文章,诗歌和计算机代码,并在暴露于大量语言输入后如实回答问题。更令人惊讶的是,他们都在没有语法帮助的情况下这样做。

没有语法的语法语言

即使他们选择的单词有时是奇怪的,荒谬的,或者包含种族主义,性别歧视和其他有害的偏见,有一件事是非常清楚的:这些AI语言模型的绝大多数输出在语法上是正确的。然而,没有语法模板或规则硬连线到它们中 - 它们仅依赖于语言经验,尽管它可能是混乱的。

GPT-3可以说是这些模型中最著名的,是一个拥有1750亿个参数的巨大深度学习神经网络。它被训练来预测句子中的下一个单词,因为之前从互联网,书籍和维基百科中遇到了数千亿个单词。当它做出错误的预测时,使用自动学习算法调整其参数。

值得注意的是,GPT-3可以生成可信的文本,对诸如“上一部《速度与激情》电影的摘要是......”之类的提示做出反应。“或者”写一首艾米莉·迪金森风格的诗。此外,GPT-3可以响应SAT级别的类比,阅读理解问题,甚至解决简单的算术问题 - 所有这些都来自学习如何预测下一个单词。

比较人工智能模型和人脑

然而,与人类语言的相似性并不止于此。发表在《自然神经科学》杂志上的研究表明,这些人工深度学习网络似乎使用与人脑相同的计算原理。由神经科学家乌里·哈森(Uri Hasson)领导的研究小组首先比较了GPT-2(GPT-3的“小兄弟”)和人类在播客“美国生活”中的故事中预测下一个单词的能力:人们和人工智能在近50%的时间内预测了完全相同的单词。

研究人员在听故事时记录了志愿者的大脑活动。对于他们观察到的激活模式,最好的解释是,人们的大脑-如GPT-2-在进行预测时不仅使用前面的一两个单词,而且依赖于多达100个前几个单词的累积上下文。总而言之,作者总结道:“当参与者聆听自然言语时,我们对自发预测神经信号的发现表明,主动预测可能是人类终身语言学习的基础。

一个可能令人担忧的问题是,这些新的AI语言模型被输入了很多输入:GPT-3是在相当于20000年的语言经验上训练的。但一项尚未经过同行评审的初步研究发现,GPT-2仍然可以模拟人类的下一个单词预测和大脑激活,即使只用1亿个单词进行训练。这完全在普通孩子在前10年可能听到的语言输入量之内。

我们并不是建议GPT-3或GPT-2像孩子一样学习语言。事实上,这些人工智能模型似乎并不理解它们所说的内容,而理解是人类语言使用的基础。尽管如此,这些模型证明的是,学习者—可以从仅仅接触中很好地学习语言,从而产生完美的语法句子,并以类似于人脑处理的方式做到这一点。

重新思考语言学习

多年来,许多语言学家一直认为,如果没有内置的语法模板,学习语言是不可能的。新的AI模型证明了这一点。他们证明,产生语法语言的能力可以仅从语言经验中学习。同样,我们建议孩子们不需要天生的语法来学习语言。

“孩子应该被看到,而不是被听到”是一句老话,但最新的人工智能语言模型表明,没有什么比这更远离事实了。相反,孩子们需要尽可能多地参与来回对话,以帮助他们发展语言技能。语言经验-而不是语法-是成为称职的语言使用者的关键。

0 阅读:0

国际站说al科技

简介:感谢大家的关注