***** - 首页 - 微博


近日,火爆全网的 ChatGPT,仿佛开启了第四次工业革命,将微软、谷歌等全球科技巨头打得措手不及,引得各路玩家纷纷入局,抢占赛道。

GitHub 知名深度学习项目 Colossal-AI 也火速跟进,成功做出了首个开源低成本复现 ChatGPT 完整流程!

此次开源亮点包括:

  • 开源完整基于 PyTorch 的 ChatGPT 复现流程,涵盖全部 3 个阶段,可实现从预训练模型到 ChatGPT 的蜕变;
  • 体验最小 demo 训练流程最低仅需 1.62GB 显存,任意单张消费级 GPU 即可满足;
  • 相比原生 PyTorch,最高可提升单机训练速度 7.73 倍,一行代码即可使用;
  • 支持从 Hugging Face 导入 OPT,GPT-3,BLOOM 等多种预训练大模型;

目前,相关代码已开源至 GitHub,感兴趣的同学可以看下。

GitHub:github.com/hpcaitech/ColossalAI

另外,项目还有提供完整的中文教程,进一步降低学习门槛,让大家能更快上手开发

https://weibo.com/mygroups?gid=221012100009820647