算法 - 首页 - 微博

国内2023 年大概率是难有超越,甚至比肩现阶段 ChatGPT的大模型诞生。我说说原因。第一个是 ChatGPT 是一个工程突破而非理论突破。也就像光刻机一样,原理上大家都懂,但是里面的工程细节是海量的。 OpenAI 的工作一直具有很好的延续性,这个从他这几年的论文就可以看到,要看懂他最新的一篇就要回溯他上一篇,这里面所谓连续性其实就是工程细节的积累。关于ChatGPT 别说工程细节了,连论文都没有,大家也仅限于从之前的 InstructGPT等相关论文。第二个是,国内厂商的对英文世界,或者多语言世界的掌控偏弱。In Context Learning 的核心是 Concept的概念学习,不同语言在人类世界是困难,但是在 在 LM 中蕴含的知识和Concept是互相增强的。按某位大佬的原话说就是:百度+腾讯+头条全部中文语料估计也不及英文为主的其他语言语料信息量的20%-30% (按per capita data generated *人口比例算)还不考虑西方更偏好知识共享(比如开源)、数据共享和言语自由的bias。在这种情况下,国内还需要很好的去学习驾驭多语言,从而利用全人类的知识和概念,这也是一个漫长的过程。第三个就是先发优势了,这个没啥可说的,而且背靠微软这个大山,要钱有钱要算力有算力,加上自己现在的积累和成功,很难能超越它了。

https://weibo.com/mygroups?gid=201011110008380742