感觉transformer至少首先是改变了科研届了。今天听说了一个应用的神奇案例，说我们隔壁组也是做机器学习和物理系的，观察某种宇宙粒子，但是这种宇宙粒子的出现比率是百万分之一，剩下都是白噪声。他们80年代搞了一个计算机，用特别老式的fortran写的代码，simulate这个东西。然后那个模拟器就一直用了40年了，一直没换过，现在没人知道那个机器背后的逻辑，但是还能用。然后今年他们用transformer模型，让Transformer去训练那个计算机生成出来的模拟数据，作为识别数据，来生成一些模拟的模拟数据，然后再部署到原本的那个模型里。发现transformer直接把这个百万分之一的生成原理学会了，生成出来的数据使得模型的表现提高了数倍。
我下一个项目可能也是做这个，根据日内瓦那个大型强子对撞机的那个数据来训练，生成一些高能粒子的运动轨迹数据，然后来对这个进行建模，原本这里是用贝叶斯和MCMC进行模拟，但是最近几个月我们组的所有导向几乎全都在谈论generative。