2015年钢铁侠马斯克和一个叫奥特曼的年轻人成立了OpenAI公司,一开始就聚焦在AGI(Artificial general intelligence,通用人工智能)上,研制像人一样学习和思考的机器。他们基于可以进行并行数据计算和训练的自我注意力机制变换器模型(transformer),推出了生成式预训练变换器GPT(Generative Pre-trained Transformer),对人类文字语言和自然语言进行理解和处理。
2020年5月,拥有1750亿参数的GPT3启动,利用前面过滤形成的45TB的压缩文本,开始了大规模的机器学习,把能获取的人类书籍、学术论文、新闻、高质量的各种信息作为学习内容,并形成了根据人类反馈的强化学习方案RLHF(reinforcement learning from human feedback)。这个时候的GPT已经达到了大学生的思考能力,关键是它还能自己创编新的知识。