GPT更拿手自然言语生成类使命

咱们一般认知里的AI，是针对详细使命进行练习。例如一个能分辩猫种类的Agent，需求你供给A-缅因猫，B-豹猫这样的数据集给他，让它学习不同种类之间的特征差异，从而学会分辩猫种类这项才能。

但大言语模型不是这样运作的，他是通过一个大一统模型先来知道这个国际。再带着对这个国际的认知对详细范畴进行降维冲击。

在这里让咱们先从从NLP范畴的中心使命说起。像中文分词，词性标示，NER，句法分析等NLP使命。他们本身无法直接运用，不发生用户价值，但这些使命又是NLP所依靠的，所以称之为中心使命。

在以前，这些中心使命都是NLP范畴必不可少的。可是随着大型言语模型的出现，这些中心使命现实上已经逐步消亡。而大型言语模型其实便是标题中的“言语预练习模型”。

他的完成方法是将海量的文本语料，直接喂给模型进行学习，在这其间模型对词性、句法的学习自然而然会沉积在模型的参数当中。咱们看到媒体对ChatGPT铺天盖地的宣扬里总是离不开这样一句话——在具有3000亿单词的语料基础上预练习出的具有1750亿参数的模型。

这里面3000亿单词便是练习数据。而1750亿参数便是沉积下来的AI对这个国际的理解，其间一部分沉积了Agent对各类语法、句法的学习（例如应该是两个馒头，而不是二个馒头，这也是中心使命为什么消亡的原因）。而别的一部分参数参数则储存了AI关于现实的认知（例如美国总统是拜登）。

也便是通过预练习出一个这样的大言语模型后，AI理解了人类对言语的运用技巧（句法、语法、词性等），也理解了各种现实常识，甚至还懂得了代码编程，并最终在这样的一个大言语模型的基础上，直接降维作用于垂直范畴的运用（例如闲聊对话，代码生成，文章生成等）。

而BERT和GPT两者都是根据大言语模型的，他们在这一点上是相同的。他们的不同在于双向/自回归，fine-tuning/Prompting这两个维度，咱们接下来会要点弄明白这四个术语。

2. 「双向 VS 自回归」

BERT：双向。双向是指这个模型在“猜概率的时分”，他是两个方向的信息使用起来一起猜想。例如“我__20号回家”，他在猜测的时分，是一起使用“我”+“20号回家”两端的信息来猜测空格中的词或许为“计划”。有点像咱们做英文的完形填空，一般都是结合空格两端的信息来猜想空格内应该是哪个单词。

GPT：自回归。自回归便是猜概率的时分从左往右做猜测，不会使用文本中右侧的内容，和BERT相反。这就有点像咱们写作文的时分，咱们肯定是一边写一边想。

两者基本理念的差异导致BERT在之前更拿手自然言语理解类使命，而GPT更拿手自然言语生成类使命（例如聊天、写作文）。——注意，我说的是之前，后边的章节我会介绍现在的情况发生了什么变化。

 「fine-tuning VS Prompting」

假定现在预练习好的大模型要针对详细范畴工作了，他被组织成为一名鉴黄师，要分辩文章到底有没有在搞黄色。那么BERT和GPT的差异在哪里呢？

BERT：fine-tuning（微调）。微调是指模型要做某个专业范畴使命时，需求搜集相关的专业范畴数据，做模型的小幅调整，更新相关参数。

例如，我搜集一大堆标示数据，A-是黄色，B-没有搞黄色，然后喂给模型进行练习，调整他的参数。通过一段时间的针对性学习后，模型关于分辩你们是否搞黄色的才能更超卓了。这便是fine-tuning，二次学习微调。

GPT：Prompting。prompt是指当模型要做某个专业范畴的使命时，我供给给他一些示例、或许引导。但不用更新模型参数，AI仅仅看看。

例如，我供给给AI模型10张黄色图片，告知他这些是搞黄色的。模型看一下，作用就提高了。我们或许会说，这不便是fine-tuning吗？不是相同要额外给一些标示数据吗？

两者最大的差异便是：这种形式下，模型的参数不会做任何变化升级，这些数据就如同仅仅是给AI看了一眼——嘿，兄弟，参考下这个，可是别往心里去。

不可思议吧，但他成功了！而更令人疯狂的是，到现在为止，关于prompt分明没有对参数发生任何影响，但的确又明显提高了使命的作用，还是一个未解之谜。暂时而言我们就像程序员对待bug相同——I don’t know why , but it work lol.

这种Prompt其实便是ICT（in-Context Learning），或许你也能够称为Few shot Promot，用大白话说便是“给你一点小提示”。

一起还有别的一种Promot，称之为Zero shot Promot。ChatGPT便是Zero shot promot形式，现在一般称之为instruct了。

这种形式下用户直接用人类的言语下达指令，例如“给我写首诗”，“给我做个请教条”，可是你能够在指令的进程顶用一些人类言语增强AI的作用，例如“在输出答案之前，你先每一步都想一想”。就仅仅增加这样一句话，AI的答案作用就会明显提高。

你或许会问这是什么魔法咒语？！

有一个比较靠谱的猜想是这句话或许让AI回想起了学习的资料中那些推理常识如同前面都会有这句话。