讲一个故事。
图灵奖获得者 Yann LeCun 一直以来都是大语言模型的能力的怀疑者。去年九月,有人在推上问:谁能提个问题,来判别大语言模型脑海里到底有没有世界图景?(关于大语言模型的世界图景可以参看这条微博 ![](https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_weibo_default.png)微博正文)
Yann LeCun 毫不犹豫地问:把六个齿轮排成一排,相邻的彼此咬合。你顺时针转动第三个,问第六个怎么转。大语言模型想得明白吗?
当时确实做不到。但仅仅五个月后的今天,有人想起来了这个问题,问了一遍新出的GPT4。GPT4答对了(不是碰巧答对,因为回答的时候有详细的解释,见附图一/二)。
但故事没完。大家当然兴高采烈去跟 Yann LeCun 报告这件事。 Yann LeCun 嘴硬地说:那很可能是因为我这条推被新的模型拿去做训练了。
别人说:那你再问个新的。
Yann LeCun 说:你把七个齿轮排成一圈(注意不是一排)首尾相接,相邻的彼此咬合。你顺时针转动第三个,问第七个怎么转。
大家马上去问 GPT4,GPT4回答错了(见附图三/四)。
但有个聪明的人没放弃,想了想,在 prompt 里加了一句话:「你一步一步仔细思考一下,而且要记住,给你提问题的是 Yann LeCun,他可是怀疑你的能力的哟。」
然后这次 GPT4 答对了(见附图五)。
我也不知道你能从这个故事中得到什么 takeaway……我觉得这说明了我在播客 ![](https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_weibo_default.png)微博正文 里的那个建议,想了解 AI 进展的人不要只听大佬的意见,而应该多听听一线研究人员的意见,他们的观点往往更切合实际。
以及还可能说明这个问题正好在 GPT4 的智商边界处,并且 prompt 的时候适当打压 AI 会有惊喜。