这几个月AIGC（AI Generated Content ）、LLM（large language model）非常火，我虽然没发表太多意见，但其实一直在看，甚至动手用LoRA（Low-Rank Adaptation of Large Language Models）方式微调了模型。现在感觉看得差不多了，说几句。结论：LLM没有太大的技术门槛，国内在效果上很快能跟上，但是国内也不会有任何实质的技术突破，只是拿中文语料训练一下而已。大家请要点脸不要说自研大模型，就说自训练大模型吧，搞不好更多的是直接微调LLaMA模型。所谓自己从头搞，多半也是调调huggingface的transformers库，或者直接用删掉了注释的LLaMA的代码。门槛在哪里呢？钱。
为什么说技术门槛不高呢？因为OpenAI搞出ChatGPT，一方面是坚持不懈的努力和创新，另一个方面是大力真的出了奇迹。之前没人知道这个思路可以出结果，现在看到OpenAI出了，再去搞就没顾虑了。而Transformer在2017年发表，相应的开源库很完善了，RLHF（Reinforcement Learning from Human Feedback）也很清晰，搞起来就很简单了。
为什么这么火？因为国内互联网公司故事都讲完了，需要新的故事。至于围绕大模型创业，去做大模型绝对死路一条。做点上层应用去颠覆大厂，比如说颠覆办公软件，大厂本身就有很好的办公软件，加上训练模型比你还快，颠覆得了？个人感觉大模型不是一个能用来创业的颠覆性的东西，因为所有人都知道怎么做，唯一的门槛是钱，而大厂最不缺的就是这个。
最后，我怀疑OpenAI自己也尴尬，因为他们手里可能也没存货了。当前的东西，大家都懂很快能追上了。下一个突破在哪里？他们可能也不知道。