是我创造了首个-LLM：Kaggle-前首席科学家一句话引发-AI-学术圈考古行动

论如何在技术圈争论中一句话噎到对方：

哥们，是我创造了第一个大语言模型。

发言者 Jeremy Howard 为澳大利亚昆士兰大学名誉教授、曾任 Kaggle 创始总裁和首席科学家，现 answer.ai 与 fast.ai 创始人。

事情的起因是有人质疑他最近的项目 llms.txt 在帮助大模型爬取互联网信息上并没太大作用，从而引发了这段争论，迅速引起众人围观。

闻讯而来的“赛博考古学家们”一番考据之后，发现第一个大语言模型这个说法还真有理有据：

2018 年初，Jeremy Howard 发表的论文 ULMFiT，使用非监督预训练-微调范式达到当时 NLP 领域的 SOTA。

甚至 GPT-1 的一作 Alec Radford，在发表 GPT-1 时也公开承认过 ULMFiT 是灵感来源之一。

有人搬出综述论文，指出从“遗传学”视角看，ULMFiT 是所有现代大模型“最后的共同祖先”。

还有好事者软件工程师 Jonathon Belotti，专门写了一篇完整考据谁才是第一个大语言模型

大语言模型起源考据

首先来介绍一下 ULMFiT 这篇论文，入选 ACL 2018：

提出有效迁移学习方法，可应用于 NLP 领域的任何任务，并介绍了微调语言模型的关键技术，在六个文本分类任务上的表现明显优于当时的 SOTA 方法，在大多数数据集上将错误率降低了 18-24%。此外，仅使用 100 个带标签的示例，它的性能就与在 100 倍以上数据上从头开始训练的模型性能相当。

那么 ULMFit 算不算第一个大语言模型呢？Jonathon Belotti 考据遵循这样的思路：

首先找一个大家都公认肯定算大语言模型的成果，GPT-1 肯定符合这个标准。

再从 GPT-1 和后续 GPT-2、GPT-3 中提取一个模型成为成为大语言模型的标准：

首先要是一个语言模型，根据输入预测人类书面语言的组成部分，不一定是单词，而是 token

核心方法是自监督训练，数据集是未标记的文本，与此前特定于任务的数据集有很大不同

模型的行为是预测下一个 token

能适应新的任务：不需要架构修改，就有 few-shot 甚至 one-shot 能力

通用性：可以先进的性能执行各种文本任务，包括分类、问答、解析等

接下来分析 GPT-1 引用的几个重要模型：原版 Transformer，CoVe，ELMo 和 ULMFiT。

Transformer 虽然是现代主流大模型的架构基础，但原版只用于机器翻译任务，还不够通用。同时非 Transformer 架构如 LSTM、Mamba 甚至 Diffusion 也可被视作大型语言模型。

CoVE 提出了语境化词向量，是迁移学习领域的一项重要创新，但它通过监督学习训练（英语翻译德语）创建向量，不符合自监督学习的条件。

ELMo 使用了自监督预训练和监督微调范式，但在 few-shot 能力上还差点意思。