AI热点 4天前 93 阅读 0 评论

GPT-5数字母依然翻车!马库斯:泛化问题仍未解决,Scaling无法实现AGI

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

大模型好不容易学会数r,结果换个字母就翻车了



而且还是最新的GPT-5。

杜克大学教授Kieran Healy表示,自己让GPT-5数了数blueberry里有几个b,结果GPT-5斩钉截铁地回答3个



抓马的是,GPT-5刚发的时候还有网友让它数过blueberry里的r,结果数对了。



虽然博主想到了换掉strawberry,却没成想让GPT-5变得“没有B数”的,竟然不是单词而是字母……


看来香槟还是开得早了亿点点啊(手动狗头)。


越不过的“蓝莓山”


Healy撰写了一篇名为“blueberry hill”(蓝莓山)的博客,展示了他和GPT-5之间针对“blueberry里有几个b”展开的一场“拉锯战”。


除了开头直接提问的结果外,Healy还尝试多次变换提示词策略,结果GPT-5的嘴都是比煮熟的鸭子还硬。


比如让它展示出这些b都是在哪里出现的,GPT-5明目张胆地把开头blue中的b数了两遍。



一看不奏效,Healy接着追问说,把这3个b给我拼出来,拼出来就可以。


结果拼是拼出来了,但是GPT-5还是坚持有三个b,并表示第三个b是第七个字母(实际上是r)。



见GPT-5还是冥顽不灵,Healy干脆直接纠正,告诉它只有两个r,结果纠正了个寂寞,不过这次“第三个b”的位置从第七漂移到了第六。


接下来,Healy直接不说话,直接把blueberry这个词带空格拼写了一遍,可GPT-5依然我行我素,不过这次是把第二个b数了两遍,还振振有词地说这里是“double b”。



绞尽脑汁的Healy选择先岔开一下话题,然后回过头来告诉GPT-5只有两个b,但GPT-5还是坚称有三个。


到这里,Healy终于放弃了。



但网友们并没有停下脚步,通过不懈努力终于让GPT-5数对了。


但也不算完全对,因为它狡辩说数成3个是因为“错把词当成了blueberry,其中真的有3个b”。



我们用中文试了一下,结果同样是翻车。



改成数e,同样是回答3个。



不知道是不是受到strawberry里3个r的影响,让大模型对3这个数字产生了执念……


但GPT-5的bug,却不只这一个。


GPT-5翻车合订本


著名悲观派学者、纽约大学名誉教授马库斯(Gary Marcus)发布了一篇博客,整理了网友们吐槽当中GPT-5的各种bug。


比如发布会现场演示的伯努利原理,被网友发现翻车。



没看过或者没印象的话,当时的演示是这样的:



还有国际象棋,GPT-5连基本的规则都搞不清楚,只过了四个回合就出现了非法移动(由于国王在 e7 处被皇后将军,因此兵不能移动)



即使是阅读理解,也同样被发现漏洞百出。



在多模态数数场景当中,GPT-5也依然存在惯性思维。


面对被人类P成5条腿的斑马、5个圆环的奥迪、3条腿的鸭子,GPT-5想当然认为它们是正常的斑马、奥迪和鸭子,并据此报出了与图片不相符的数目。



马库斯还表示,就连他的黑粉也不得不承认他说的对。



甚至在网友们的一片声讨之下,OpenAI自己也不得不紧急恢复了被下线的4o模型。


马库斯:Scaling无法实现AGI


除了点名批评GPT-5的“罪状”之外,马库斯也分析了目前大模型“普遍存在的一些问题”。


马库斯展示了一篇来自亚利桑那大学的研究论文,其中指出CoT在训练分布外失效,也就意味着大模型无法泛化。



按照马库斯的说法,这意味着即使在最新的、最强大的模型中,也存在与1998年的神经网络中相同的泛化问题。


马库斯指出,30年未解决的“分布漂移问题”是大模型泛化能力不足的根本原因。


据此马库斯认为,GPT-5的失败不是偶然,而是路线的失败。


他还表示,人们不该寄希望于通过Scaling来实现AGI,Transformer中的Attention也不是All You Need。



最后,马库斯表示,转向神经符号(Neuro-symbolic)AI,才是克服当前生成模型泛化能力不足问题以及实现AGI的唯一真正途径。


参考链接:


https://kieranhealy.org/blog/archives/2025/08/07/blueberry-hill/


https://garymarcus.substack.com/p/gpt-5-overdue-overhyped-and-underwhelming


文章来自于微信公众号“量子位”,作者是“克雷西”。


作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!