机器学习 - 首页 - 微博


浙商:
ChatGPT的背后:芯片
▲芯片需求=量↑x价↑
1)量:AIGC带来的全新场景+原场景流量大幅提高
① 技术原理角度:ChatGPT是基于GPT3.5架构开发的对话AI模型,历经 GPT-1/2/3迭代,在GPT3.5模型后,开始引入代码训练和指令微调,加入RLHF技术(人类反馈强化学习),从而实现能力进化。GPT作为知名的NLP模型,基于Transformer技术,随着模型不断迭代,层数也越来越多,对算力的需求也就越来越大。
② 运行条件角度:ChatGPT完美运行的三个条件:训练数据+模型算法+算力。其中训练数据市场广阔,技术壁垒较低,投入足够的人力物力及财力后即可获得;基础模型及模型调优对算力的需求较低,但获得ChatGPT功能需要在基础模型上进行大规模预训练,存储知识的能力来源于1750亿参数,需要大量算力。所以,算力是ChatGPT运行的关键所在。
2)价:对高端芯片的需求将拉动芯片均价
采购一片英伟达顶级GPU成本为8万元,GPU服务器成本通常超过40万元。对于ChatGPT而言,支撑其算力基础设施至少需要上万颗英伟达GPU A100,一次模型训练成本超过1200万美元。
从芯片市场角度出发,芯片需求的快速增加会进一步拉高芯片均价。目前OpenAI已推出20美元/月订阅模式,初步构建了优质的订阅商业模型,未来继续扩容的能力将会大幅提升。

“背后英雄”系GPU或CPU+FPGA等算力支撑
1)GPU可支撑强大算力需求。具体来说,从AI模型构建的角度:第一阶段是用超大算力和数据构建预训练模型;第二阶段是在预训练模型上进行针对性训练。而GPU由于具备并行计算能力,可兼容训练和推理,所以目前被广泛应用,ChatGPT训练模型中就已导入至少1万颗英伟达GPU(曾经风靡一时的AlphaGO也只需要8块GPU),推理部分使用微软的azure云服务,也需要GPU进行运作。所以,ChatGPT的火热兴起对GPU的需求可见一斑。
2)CPU+FPGA拭目以待。从深度学习的角度来看,虽然GPU是最适合深度学习应用的芯片,但CPU和FPGA也不可忽略。FPGA芯片作为可编程芯片,可以针对特定功能进行扩展,在AI模型构建第二阶段具有一定的发挥空间。而FPGA想要实现深度学习功能,需要与CPU结合,共同应用于深度学习模型,同样可以实现庞大的算力需求。
3)云计算依靠光模块实现设备互联。AI模型向以ChatGPT为首的大规模语言模型发展,驱动数据传输量和算力提升。伴随数据传输量的增长,光模块作为数据中心内设备互联的载体,需求量随之增长。此外,伴随算力提升能耗增长,厂商寻求降低能耗方案,推动低能耗的光模块发展。

结论:ChatGPT作为一种新兴的超智能对话AI产品,无论是从技术原理角度还是运行条件角度,ChatGPT都需要强大算力作为支撑,从而带动场景流量大幅增加,此外,ChatGPT对于高端芯片的需求增加也会拉动芯片均价,量价齐升导致芯片需求暴涨;面对指数级增长的算力和数据传输需求,可以进行提供的GPU或CPU+FPGA芯片厂商、光模块厂商即将迎来蓝海市场。

https://weibo.com/mygroups?gid=4021853226232613