2.3　大模型基础结构——Transformer

OpenAI于2022年发布了一款名为ChatGPT的聊天机器人，它能模仿人类的语言与用户自然交流。从用户使用效果来看，ChatGPT不仅能与人顺畅地对话，还能写诗作文、编程开发，它的能力令人惊叹。

ChatGPT的全称是基于Transformer的预训练聊天生成模型（Chat Generative Pre-trained Transformer）。顾名思义，其基本结构就是2017年谷歌发布的Transformer模型。接下来将详细介绍Transformer的原理。