我创建了第一个LLM：Kaggle的前首席科学家在AI学术

关于如何使另一方在技术圈辩论中爆炸：好友，我创建了第一个大语言模型。议长杰里米·霍华德（Jeremy Howard）是澳大利亚昆士兰州大学的名誉教授，他是Kaggle的前创始总裁兼首席科学家，现在是答案的创始人。该事件的原因是，有些人要求他最近的项目llms.txt对帮助大型模型爬在互联网信息上没有影响，这有助于这场辩论，并迅速引起了很多关注。在听到消息后来到这里的“网络考古学家”进行了一些研究之后，他们发现第一个大语言模型的说法确实是合理的：在2018年初，杰里米·霍华德（Jeremy Howard）的角色被用来在当时使用身份不明的预培训预训练 - training-training-training-training-training-training-training-training-training-Tunigal Paradigm paradigm。即使是GPT-1球员Alec Radford，GPT-1出版时也向公众承认Ulmfit是Inspirati的来源之一在。有人发表了一份论文评论，并从“遗传学”的角度教导了乌尔姆菲特（Ulmfit）是所有现代大型模型的“最后共同祖先”。还有这个好人的软件工程师乔纳森·贝洛蒂（Jonathon Belotti），他在文字“谁是第一个大语言模型”中写了一篇完整的文章。首先，在原始文本文章中，让我们介绍ACL 2018中选择的Ulmfit论文：提出一种有效的转移学习方法，可以应用于NLP字段中的任何工作，并介绍了维修语言模型的基本技术。当时在六个文本分类活动中，它比SOTA程序更好地执行，并且在大多数数据集中，错误率降低了18-24％。此外，仅使用标记的100个示例，其性能与从一开始是数据的100倍以上的模型可比。那么Ulmfit是第一个大语言模型吗？乔纳森·贝洛蒂（Jonathon Belotti）的研究文本遵循了这一想法：首先，找到每个人都认识的成功当然被认为是大型语言模型，GPT-1肯定会符合此标准。然后从GPT-1和随后的GPT-2和GPT-3中获取成为大型语言模型的标准：首先，这是一种语言模型，预测基于输入的书面语言的成分，不是必要的单词，但是代币的主要方法是要进行自我要求的练习，练习了数据集，该数据集与过去的文本相同，这是一个非常不同的工作。 Model的行为是预测下一个令牌可以适应新任务：不需要架构变化，有一点镜头甚至是大学能力的镜头：它可以执行具有高级性能的各种文本活动，包括分类，问答，回答，审查等。Transfbagagamanormer是现代基础模型的基础，仅用于现代基础模型，原始版本仅用于机器翻译任务。同时，非转化器的ArchitectuRE，例如LSTM，Mamba甚至扩散，也可以被视为大型语言模型。 Cove推荐上下文化的单词向量，这是转移研究领域的重要变化，但它通过管理学习培训（Paggerman English翻译）创建向量，并且不符合监督研究的条件。 Elmo使用自我监督的预训练并监督微调的范式，但就某些射击功能而言，它仍然非常有趣。简而言之，在乔纳森·贝洛蒂（Jonathon Belotti）的布景中，科夫（Cove）和埃尔莫（Elmo）都没有达到大型语言模型的门槛。最后，让我们看一下Ulmfit，其名称代表了通用语言模型，可用于文本排序。这是Witikitxt数据中有监督的LSTM培训模型，能够适应新的低成本任务，执行大量的文本排序任务而不更改架构，并在当时实现SOTA性能。与GPT-1相比，不同的是微调不是足够方便和应用程序任务的宽度。在GPT-1论文的原始文本中，它还教导说，“最接近我们的工作”是ulmfit和Google研究的半监督顺序。 The GPT-1 paper also claims that LSTM change in the transformer can expand the ability of pre-trained models, which is easier to adjust than Ulmfit activities.研究员乔纳森·贝洛蒂（Jonathon Belotti）终于总结了：成为第一个重要的事情吗？我认为有些重要。该软件和学院行业尊重其创始人，我们都是开放社区资源中NO层建设的一部分。杰里米·霍华德（Jeremy Howard）随后的响应是我们创建了第一个“通用语言模型”，但是随后的论文并不遵守它，而是创建了新的术语“大语言模型”。苹果工程师认为，内森·劳伦斯（Nathan Lawrence），尽管今天可​​能会有关于谁是第一个LLM的争议，但每个人最终都会考虑Ulmfit是S建筑点。即使那些像我这样持怀疑态度的人即将开始意识到大规模的一般培训是NLP的未来。有些人还建议杰里米·霍华德（Jeremy Howard）说，乌尔姆菲特（Ulmfit）是第一个“一般实践前模式”。 “我在chatgpt中发明了GP”是一个非常鳄鱼的话，而不是夸张。 ulmfithtpps：//arxiv.org/abs/1801.06146gpt-1https：//cdn.openai.com/research-povers [1] https://thundergolfer.com/blog/the-first-clm