基于转换器的生成式预训练模型

2018年6月11日，OpenAI发表了一篇名为《通过生成式预训练提高语言理解能力》（Improving Language Understanding by Generative Pre-Training）[6]的论文，在其中介绍了“基于转换器的生成式预训练模型”（GPT）。^[1]

ChatGPT (Chat Generative Pre-trained Transformer，基于转换器的交互式生成式预训练模型）是由OpenAI于2022年11月30日发布的一款聊天机器人。它采用的是GPT-3.5，应用了“基于人类反馈的强化学习方案”（Reinforcement Learning from Human Feedbac，RLHF）。

BioGPT是由微软开发的一种专注于生物医学领域的GPT模型。

ProtGPT2是一种专注于蛋白质研究的GPT模型。