***** - 首页 - 微博

阅读了一下 GPT-4 Technical Report，个人觉得报告其实有许多值得注意的细节:

1. 大量的评估都是内部的测试数据，并且没有架构，技术，算法等等方面的任何介绍

2. 有不少宣传的矛盾之处，比如介绍对于同样的律师考试测试，GPT3的成绩只能排名在最后10%，而GPT-4却在前10%，如果记得之前的媒体介绍，ChatGPT可是通过律师考试的

3. 即使在内部测试中，数据也有多处不一致，比如在写作成绩上，GPT-4 比前几个版本都有大幅提升，但是在AP测试中其实并没有进步 (图1，图2)

4. 对其局限的阐述上，先是介绍了 GPT-4 依然不太可靠，存在混淆事实等问题，并且建议不要使用在 人工审查 ，高损益，以及精确协议 方面，但接着又说比GPT3提升了19%，已经达到了人类的专业和学术水平(图3，图4)

5. 一方面说自己的测试没有做预训练，但另一方面又介绍 fine tuning 了许多 prompt...(图5，图6)

不过， openai 的营销水平非常赞，做的图表非常漂亮，应该会提高价格了，比 GPT-3.5效果好这么多(图7，图8)，肯定是值得的

登录后可查看完整内容，参与讨论！