什么是ChatGPT？

我们在学习、了解AI中，会经常遇到有很多buzzwords（热词），比如AI、AIGC、LLM、AGI，接下来我会带大家了解这些名词背后的故事。
在先讲ChatGPT之前，我们得先来了解一下AI。AI又称人工智能。

人工智能在又分为：弱人工智能和强人工智能（AGI）
弱人工智能：就比如我们用的搜索引擎（百度、谷歌），我们平时用的内容平台（抖音、B站）有的推荐算法，再包括图像识别一一AI识别你的脸，阿尔法狗；

而强人工智能，又被称为通用人工智能（AGI），是指AI能够具体人类相似的能力，具有一定的通用性。
而我们的主人公，ChatGPT为首的一系列LLM（Large Language Model，大语言模型），被认为是AGI的前身。
那么什么是LLM呢？
我们先来看AI按照技术来分类的一张图，人工智能领域按技术可以划分为几个主要的类别，机器学习（Machine Learning）和深度学习（Deep Learning），Deep Learning下主要我们介绍两个模型，Transformer模型最初在2017年由Vaswani等人在论文《Attention is All You Need）》中提出。我们现在的ChatGPT等大语言模型都是基于Transformer模型的。Diffussion扩散模型大家可能熟悉的是Stable Diffusion，没错，AI绘画和视频很多技术背后就是Diffusion模型，具体我补们等到AI绘画再和大家介绍。大家只需要记住这两个模型和这张图即可~

我们如果按照领域分，比如可以分成自然语言处理（Natural Language Processing，NLP）和计算机视觉
（Computer Vision，CV）等等，自然语言处理（NLP）是人工智能（AI）和语言学领域的一个交叉学科，专注于使计算机能够理解、解释、操纵和生成人类语言。而大语言模型LLM就是NLP领域下的重大突破

大型语言模型（LLM，Large Language Models）是自然语言处理（NLP）中的一类模型，通常指那些具有大量参数和在大规模数据集上训练的模型。这些模型因其能够捕捉语言的复杂模式和关系，而在多种NLP任务上表现出卓越的性能。

不同的LLM可能基于不同的神经网络架构，主要包括：
·Transformer：目前最流行的模型架构，如GPT（Generative Pre-trained Transformer）系列、BERT
（Bidirectional Encoder Representations from Transformers）
·RNN-based：较早的语言模型通常基于循环神经网络（RNN），如LSTM（Long Short-Term Memory）等。

大模型所对应的不是小模型，是一个叫做特定语言模型Specific Language Model。特定语言模型是指专门做一件事情的，比如只能做翻译的AI。
就好像一个是一把锁，而大语言模型是一个通用的万能锁。
大语言模型下最著名的框架Transformer带领下的派系，又衍生出两类
·GPT（Generative Pre-trained Transformer）系列

·BERT（Bidirectional Encoder Representations from Transformers）

什么是GPT？

ChatGPT和这个GPT有没有关系呢，其实ChatGPT里面的GPT就是这个GPT
·G for Generative生成试：区别于一些其他的AI，比如识别，人脸识别，语言识别，这一类叫做生成式人工智能（Generative AI），是指那些能够创建或生成新内容的人工智能技术。这种类型的AI使用机器学习模型，尤其是深度学习网络，来生成数据样本，这些样本可以是文本、图像、音乐、视频甚至代码。生成式AI的核心特点是它不仅仅是对已有数据进行分类或预测，而是能够基于学习到的数据模式创造全新的、逼真的输出。
·P for Pre-Training预训练：以往的人工智能模型通常针对特定任务进行训练，如通过大量人脸的图片训练模型识别人脸。而预训练模型（Pre-Training）采用不同的方法，它们先在广泛的数据上进行预训练，形成通用的基础模型。之后，根据具体需求，用户可以对这个模型进行微调（Fine-Tuning），使其适应特定的应用场景。

预训练+微调三先练基本功+再按特定情况微调

·T for Transformer：就是我们刚刚提到的Transformer模型，GPT是基于Transformer架构的一种模型Transformer的核心思想是通过"自注意力机制"（Self-Attention Mechanism）来处理数据。这种机制能让模型在处理一个词或句子的时候，能够注意到句子中的其他词，这样就可以更好地理解语言中的上下文关系。例如，当我们使用”他"这个代词时候，在当下这个句子的语境里和在其他的语境里指代的可能是不同的人，而transformer就可以理解我们语言中存在的这种逻辑，从而更准确地处理信息。Transformer的结构包含了多层这样的自注意力，这使得它非常擅长从大量数据中学习语言模式。

GT本质上是一个预先训练好的模型，它通过生成的方式，将输入的文本转化为输出的文本，类似于一个翻译过程。但是他能做的远远比翻译更多。
关于GPT和BERT的故事还挺有趣的，我这里简要概述一下，最早谷歌这家公司研发出来了Transformer，谷歌在这基础上，2018年开发出来了BERT，它采用了一个新颖的训练方法一一双向Transformer，这使得模型能够同时考虑到文本中每个词的左侧和右侧上下文。
同时，2018年，OpenAI开发出来GPT-1。但是GPT-1在很多性能上都比BERT差，但是OpenAI没有被动摇，坚信自己的技术发展方向，随后推出的版本，GPT-2和GT-3，通过扩大模型的规模（增加参数数量和训练数据），显著提高了生成文本的质量和多样性。尤其是GPT-3，它拥有1750亿个参数，能够生成极其自然的文本。效果也超过了BET的技术方案，也让人们开始相信大语言模型的魔力。是不是越大越好，大力出奇迹？
而ChatGPT就是在GPT-3之后推出的面向大众的产品，所以也叫GPT3.5，但由于ChatGPT过于出圈，很多人把ChatGPT泛化为背后的模型，乃至GPT系列，目前GPT已经到GPT-4。

ChatGPT背后的原理？

ChatGPT背后从输入的文本转化为输出的文本的过程，简单理解是通过概率把人类知识进行任意的排列组合，输出最可能的答案。每当我们通过对话的方式来向ChatGPT提出我们的需要，ChatGPTi通过一个一个字的把内容蹦给我们来生成长文信息。
GPT本身会学习庞大数量的文本内容，然而这并不意味着ChatGPT是一种智能的搜索引擎，通过搜索到的内容来进行联想，而是通过对文字本身的学习，来模仿人类文字中的规律。
就好比我们在打字的时候，每打完一句话，输入法就会根据我们刚钢刚打出的文字作出联想一样，GPT会根据上文从而给出下文，而不同于输入法的联想仅仅作为一个辅助效率的作用，GPT本身具有对超大量文本学习分析的基础，它会通过对所有上文来生成下一个字，不断的对生成出下一个字的上文再次进行分析来生成下一个字，这样的过程也叫做自回归生成”。例如，我们让GPT学习“白雪纷纷何所似”，让他对这句话做自回归生成，那么用户再向GPT输入"白雪”，GPT就可能根据上文生成“白雪纷”，再根据上文生成"白雪纷纷”，以此类推生成"白雪纷纷何所似"这样一句话。也因此，在我们使用GPT的时候会发现内容是一个字一个字蹦出来的，而不是直接呈现出GPT自己学习过的内容片段。
这也是GT的学习和我们人类不同的地方。我们人类的学习是通过各种理解，去体会来建立巨大的知识网络，不断通过现有的知识来与新的知识建立联结，是大脑的神经突触不断生长的过程。
而GPT是探索文字本身存在的规律，来进行处理，就例如"白雪纷纷”，不是因为纷纷扬扬的大雪什么时候掠过谁的眼底，也不是因为无数大雪纷飞的画面被谁无数次憧憬，白雪纷纷就是因为"白雪纷纷”这四个字本身，GT的生成仅仅是从无数文字中探索出无关情感的最质朴的规律来尝试模仿我们的动作。
这也可以解释为什么GPT有时会出现胡言乱语的现象，当我们给出的上文能够让GPT比对自己的所学之后找到具有相同逻辑的文本时，就会忽略本身的逻辑而套用它自己现有的认知来进行表达。
没有自己的情绪、偏好、欲望，GPT只是有一套能够通过上文来生成下文的模型，这套模型反复地去生成、输出就有了能够生成长文的能力。
只不过GPT的能力太过强大，以至于让人误以为它具备了思考的能力。

那么ChatGPT是如何那么强大的？

从GPT-l到GPT-4，ChatGPT的数据库有着很大的增长，掌握的内容是人类一生也难以学习的文本含量。ChatGPTI回答问题的能力也，在不断提高。我们判断ChatGPT回答问题能力的标准无非就是对我们人类的语言的理解程度。在这里提出一个概念：我们日常生活使用的汉语、英语等统称为自然语言，而计算机的内部运行也依赖一种类似于语言的媒介，我们称之为机器语言。ChatGPT回答问题的过程我们就可以理解认为是ChatGPT利用机器语言分析自然语言，再用机器语言转化的自然语言表达出来，也就是分析上文和输出下文。
因此对ChatGPT回答能力的提升就可以集中在两个方面：分析上文的能力，输出下文的能力其中，分析上文的能力，少不了大量文本的积累。
让机器理解人类语言的一大难点在于同一个意思可以有多种不同的表达形式，可以用一个词，也可以用一段描述。而同一个表达在不同语境中又有不同含义。想解决这个问题就需要让机器学会各种语义关系和语法规律，以便能明白哪些表达实际上是同一个意思。正如大量的阅读提升我们对语言的语感，无论是什么样的内容，都可以塞给ChatGPT：进行学习，这种方法只需要一键上传，就可以让GPT快速学习。这一阶段也就是无监督学习。
而无监督学习可能造成的问题就是，高质量和低质量的混杂式学习会让没有情感的ChatGPT并不知道自己在输出什么，甚至可能会不受控制地出现脏话。
因此，也就有了监督学习一一人为干预。区别于对互联网中所有文本的学习，人为干预让GPT进行学习人工设计的优质对话，以及规范道德和法律的底线。这样的方法中，人的劳动在无监督学习不受时空限制的学习量面前就显得尤为稀有，因此这一做法就也使得GPT的学习成本大大提升。
分析上文的能力通过大量的、优质的学习去提升，那么输出下文的能力也会因此得到规范。但这样一来，人们也发现GPT的回答虽然标准却也变得千篇一律，无法适应我们不同的要求。
因此在ChatGPT回答能力提升的的过程中，人们就尝试直接向他提问，根据GPT自由回答的内容作出反馈，就像训练动物那样，寄予人们所希望的动作更好的反馈，刺激它更多的作出这样的动作，从而引导GPT更多的作出具有创新性的回答。通过这样的|导性训练方式来调整ChatGPT的模型。
如果对更多的原理感兴趣，可以访问下面的文字、视频资源~

什么是AIGC？

AIGC（AI Generated Content）其实是-个中国人生造的词，来源于PGC（Professionally Generated Content，专业生成内容）和UGC（User Generated Content，用户生成内容），意思是AI生成的内容，因为大语言模型爆发为标志的这一波AI的大爆发被称为生成式AI爆发，生成式AI我们刚刚介绍过了，包括LLM、AI绘画、AI视频等，都是AI在生成什么，所以就诞生了AIGC这个词，不过基本是只有国内这么称呼，国外基本上还是叫Generative AI生成式AI。
简而言之，ChatGPT是一个人工智能聊天机器人（Chatbot），它能够理解和生成人类般的自然语言，从而与用户进行互动和对话。这种交互可以包括回答问题、提供建议、撰写文本、甚至创作诗歌或故事。