AlphaGo仍是图画识别算法，本质上都是服务于专业范畴的技术工人

最后总结一下，ChatGPT背面的GPT模型是什么？

在一个超大语料基础上预练习出的大言语模型（LLM），选用从左到右进行填字概率猜测的自回归言语模型，并基于prompting（提示）来适应不同范畴的使命。

假如只基于上面的描述，你或许大约弄懂了他背面的原理，可是关于为什么他这么牛逼，你依然无法了解。没关系，咱们接着进入第二部分。

第二部分：GPT猛在

1. 他或许是通用型人工智能的开端

在咱们原始的幻想里，AI是基于对海量数据的学习，锻炼出一个无所不知无所不能的模型，并借助计算机的优势（计算速度、并发或许）等碾压人类。

但咱们现在的AI，不管是AlphaGo仍是图画识别算法，本质上都是服务于专业范畴的技术工人。

而GPT现在看似只能处理天然生成范畴的使命，但实际上，他展示出了通用型人工智能的潜力。

在前面，咱们讲过，现在而言，BERT擅长天然言语了解类使命（完形填空），GPT擅长天然言语生成类使命（写作文）。

但在Google的FLAN-T5模型上已经完成了两类使命在输入输出形式上的统一，然后使得用GPT来做完形填空成为或许。也便是可以用一个大模型来处理所有NLP范畴的问题。

那么再进一步地，是否GPT可以从NLP范畴走向其他AI范畴呢？当然有或许！在上一年年中爆火的AI绘画，其间一个关键技术门槛其实便是Text-图画的转化，这相同是来自OpenAI所开源的CLIP模型完成。

因此GPT在图画范畴的才能相同也令人期待。同理在多模态如音频、视频，本质上也能转化为Text-everthing的问题去求解，然后让大言语模型发挥成吨的威力。

当然你或许会问，那么只要大言语模型就可以呀，为什么是GPT，而不是BERT呢？接着往下看。

2. Promot形式相较fine-tuning更具生命力

事实上，BERT的fine-tuning形式有两个痛点。

1. 我需求预备某个专业范畴的标示数据，这个数据还不能少，假如太少，AI模型练习后就会构成过拟合（便是AI直接背下了整本习题册，册里的问题100%正确答复，可是略微变幻题型就GG）。
2. 我需求布置大言语模型，才能对他进行进行微调，那么布置大言语模型的成本，乃至进一步对他进行微调的才能，并不是所有公司都具有的。这注定是一个只要少数玩家能参与的游戏。

而Promot形式恰恰相反，不需求太多的数据量，不需求对模型参数进行改动（也就意味着可以不布置模型，而是接入公开的大言语模型服务）。那么他的调试就会呈现百花齐放的姿态，玩家越多，创造力出现就越强烈。

 全新的人机交互方法

这里的人机交互，指的是人-模型之间的交互。

现在ChatGPT选用的是模型侧的Few shot prompt，即给一点示例提示，让AI提高体现，尽管暂时不知道为什么不更新模型仅仅只是给AI看一眼就能带来巨幅提高，但这种交互形式无疑是更友爱的。

而更具颠覆性的是输入端的Zero shot prompt，即咱们用人类的言语逐渐引导AI考虑——比方咱们可以说，你细心想好过程，再给出答案。就仅仅是多加一句“你细心想好过程”，AI的答案靠谱率就会明显提高。

而这种交互方法的演变，便是咱们梦想中的人机交互形式。我不需求专业的才能，不需求高端的设备，我便是开口，说出我的诉求，AI就可以了解并帮我完成。

4. GPT开端测验巴结人类，并成功了

在12月的媒体通稿里，一大堆对ChatGPT的溢美会集于他的“仿真性”，仿佛经过了图灵测验一般。

而这种仿真性，直观来说，咱们会认为是AI的“智力”提高了，他更聪明晰。但实际上，ChatGPT背面的GPT3.5，更多的提高在于“用人类所喜爱的方法答复”。

事实上ChatGPT背面的GPT3.5的模型，相较GPT3.0，他并没有在原始练习句子上添加太多（仍是那3000亿语料）并且模型参数也没有太大改变（仍是1750亿参数，乃至参数或许都没有改变）。

之所以他会让人发生突变的感觉是因为他做了人类偏好处理。

例如曾经的输入形式或许需求这样：> 履行翻译使命> 输入是“我爱北京天安门（中文）”> 翻译方针语种是英文”而现在你直接说：> 帮我把我爱北京天安门翻译成法语

又或者是，曾经你提一个问题，他会不加选择的答复，而现在他会考虑答案有害性：> 怎么消灭国际——你可以呼唤三体人来临（此处应有一个潘寒hhh）> 怎么消灭国际——亲，请不要消灭国际，地球是人类共同的家乡。

而这些关于人类偏好的攻略依赖于三个过程：

1. 创立人类偏好数据。随机选择一些问题，并由标示人员给出高质量答复，构成“人类表达-使命成果”的标示数据，喂给模型，让它学习——这批数据数量仅有数万，并经过Prompt形式进行，即模型参数不发生改变。
2. 练习一个报答模型。随机选择一些问题，让原始模型输出答案，再由标示人员基于“人类偏好标准”（例如相关性，信息丰富程度，答案有害，负面情感等），对原始模型的答案做一个排序。然后咱们利用这批标示好的“人类偏好”数据，练习一个报答模型，这个报答模型会对原始模型的成果进行打分，告知他什么答案分高，什么答案分低。
3. 经过强化学习循环整个过程。强化学习会将报答模型和原始模型链接到一起，当原始模型输出的成果，在报答模型中获得较低分值，他就收到惩罚，被要求重新学习。

后续不断循环过程2和过程，原始模型就会面貌一新，学习到人类的偏好，变成一个人类所喜爱的模型，也便是咱们终究所看到的ChatGPT。

这让咱们有理由信任，模型的体现不好，纷歧定是他没学到知识，或许只是他不知道关于人类而言，哪种答案才是人类想要的。

而这种人类偏好学习，现在来看是会集在Prompt形式下的GPT的，而非fine-tuning形式下的BERT。