ChatGPT是什么（ChatGPT为何这么火）
一、ChatGPT是什么？
1.ChatGPT的由来
ChatGPT是什么？
ChatGPT是由美国旧金山的一家人工智能创业公司OpenAI开发的自然语言处理工具。
据百度百科显示：
ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。
（钛媒体发布的：官网聊天对话页面截图）
2022年11月底，人工智能对话聊天机器人ChatGPT一经推出，迅速在社交媒体上走红，短短5天，注册用户数就超过100万，至今热度不减：大学生用ChatGPT写论文，美议员已经开始通过ChatGPT写演讲稿，学生用ChatGPT完成作业……写文案、写邮件，甚至写代码，每一次新的尝试，都引起了广泛的讨论和关注。
最近几天，关于ChatGPT的重要消息也明显增多，从硅谷科技巨头，到一二级资本市场，所有对其感兴趣的人士都在讨论ChatGPT以及 AI 技术带来的影响与未来发展：2月2日，微软宣布旗下所有产品将全线整合ChatGPT，有消息指预计3月ChatGPT将内置于Bing搜索；百度将在3月推出基于ChatGPT的生成式搜索；英国《自然》杂志不再支持 AI 工具列为作者的论文；数字媒体公司Buzzfeed计划使用OpenAI的 AI 技术来协助创作个性化内容；美国宾夕法尼亚大学称ChatGPT能够通过该校工商管理硕士MBA课程的期末考试；OpenAI宣布开发了一款AI Text Classifier鉴别器工具，目的是帮助用户分辨是否由ChatGPT AI生成的文字等。
据钛媒体消息，投行瑞银集团近日发布的一份研究报告，ChatGPT的月活跃用户在今年1月份预计达到了1亿，成为史上增长最快的消费者应用。
据应用分析公司Sensor Tower的数据，TikTok在全球上线后，大约用了9个月增加了1亿用户，而Instagram花了两年半的时间。
而且由于全球注册用户过多，有用户会被告知“已经满负荷运转”而无法注册，目前在国内，一些程序员基于OpenAI的API（Application Program Interface，应用程序编程接口）付费接口而开发出了类似APP，方便国内用户体验。
2.关于美国OpenAI公司，以及其创始人Altman
①?ChatGPT之父Altman：26岁财务自由，29岁联合马斯克创办OpenAI，其现价值290亿美元
成立于2015年的 OpenAI 公司，如今估值高达290亿美元，比2021年估值140亿美元翻一番，比七年前估值暴涨近300倍。
作为ChatGPT月活用户涨至1亿人、以及OpenAI 估值快速增长的幕后推手，Altman受到市场的更多关注，很多媒体形容为“年度出圈人物”。
据钛媒体消息，2015年，29岁的Altman入选了《福布斯》30位30岁以下风险投资人榜单。
（2015年，29岁的Altman入选福布斯30岁以下的30位风投精英榜单）
关于Altman，他8岁学编程，16岁出柜，20岁当CEO。2014年，28岁的Altman被Y Combinator创始人Paul Graham选中，接替担任创业孵化器的CEO。
2015 年，Altman与马斯克共同创立了非盈利人工智能公司OpenAI。公司成立的初衷是，确保人工智能不会消灭人类。
公司成立之初，一些硅谷大佬承诺向OpenAI投资10亿美元，其中包括领英的联合创始人Reid Hoffman和Peter Thiel。
为了专心发展OpenAI，Altman于2019年3月辞去YC总裁一职，开始运营OpenAI。
②?OpenAI成立初期并没有盈利
2019年10月，OpenAI便获得了微软10亿美元的投资。
本月，微软再次宣布将向OpenAI投资“数十亿美元”。虽然没有透露投资的具体细节，但据信，微软的投资价值达100亿美元（如果这笔资金最终敲定，包括新的投资在内，OpenAI的估值将达到290亿美元）。
但OpenAI成立初期，Altman并没有盈利想法。
在2019年的StrictlyVC活动上，Altman被问及OpenAI计划如何盈利，他说：“老实说，我们不知道。OpenAI从未创造过任何收入。目前也没有任何创收计划。我们不知道将来如何创收。”
据美国《财富》杂志报道，2022年，OpenAI公司的收入预计不足3000万美元，净亏损总额为5.45亿美元，不含员工股票期权。
而ChatGPT的发布可能快速增加该公司的亏损。Altman曾在推特表示，用户与ChatGPT的每次互动，将占用OpenAI“个位数百分比”的计算成本，随着这款聊天机器人走红，其每月的支出可能高达数百万美元。
OpenAI表示，从美国开始，该公司将逐步向所有用户推出付费订阅方案。如今，OpenAI公司推出付费产品ChatGPT Plus表明：OpenAI和微软都认为，曾经的非营利性实验室现在已经有可用来出售谋利的产品，商业化路径必不可少。
OpenAI预测，随着ChatGPT成为吸引客户的重要工具，其收入将会快速增长。
Altman曾公开表示，ChatGPT距离真正可靠仍有很大差距。与此同时，他认为该技术是实现公司使命的重要一步。
OpenAI公司有一个堂吉诃德式的使命，即开发通用人工智能（AGI）。“AGI 是人类生存必不可少的。我们面临的问题极其严峻，如果没有更好的工具将无法解决。”Altman表示。
3.ChatGPT相关概念公司众多
据CB Insights（一家科技市场数据平台）统计，ChatGPT概念领域目前约有250家初创公司，其中51％融资进度在A轮或天使轮。2022年，ChatGPT和生成式 AI（AIGC）领域吸金超过26亿美元，共诞生出6家独角兽，估值最高的就是290亿美元的OpenAI。
微软宣布投资100亿美元与ChatGPT母公司OpenAI合作后，谷歌就宣布与OpenAI竞争对手、人工智能（AI）初创公司Anthropic建立新的合作伙伴关系。
钛媒体App 2月5日消息，谷歌旗下云计算部门Google Cloud昨日（4日）宣布，其与初创公司Anthropic建立新的合作伙伴关系，Anthropic已选择谷歌云作为首选云提供商，为其提供 AI（人工智能）技术所需的算力。
谷歌的举动，凸显了大科技公司对ChatGPT以及生成式（AI）发展的危机感与影响，希望通过建立云计算平台绑定关系，为科技巨头的 AI 技术发展建立护城河。
二、预测：ChatGPT未来会怎样，以及未来会有哪些发展趋势？
1.苹果、腾讯表达看好AI技术发展
据钛媒体消息，苹果公司CEO蒂姆・库克（TimCook）在2月3日财报电话会议上表示，AI 是苹果布局的重点。这是令人难以置信的技术，它可以丰富客户的生活，能够为苹果在（去年）秋季发布的碰撞检测、跌倒检测或者心电图功能的产品赋能。苹果在这个领域看到了巨大的潜力，几乎可以影响一切。
这是一项横向技术，而不是纵向技术，因此它将影响我们所有的产品和服务；
腾讯研究院则在《AIGC发展趋势报告2023》中指出，AIGC的商业化应用将快速成熟，市场规模会迅速壮大。在广告领域，腾讯混元AI大模型能够支持广告智能制作，即利用AIGC将广告文案自动生成为广告视频，大大降低了广告视频制作成本。巨大的应用前景将带来市场规模的快速增长。
2.业内人士认为：ChatGPT的全球走红，使得AIGC（生成式AI）又得到了一次普及
2022年，可以称为AIGC（生成式AI）元年。
2022年，一位毫无绘画基础的参赛者，凭借AI绘图工具Midjourney生成的绘画作品《太空歌剧院》，获得美国科罗拉多州新兴数字艺术家竞赛一等奖。画师也因此成为2022年最接近被AI抢去工作的群体。抖音上去年流行的漫画脸特效，也使AIGC（生成式AI）在大众层面的应用更加普遍。
业内人士认为，AIGC（生成式AI）将彻底颠覆现有的内容生产模式，以十分之一的成本，实现百倍千倍的内容生产速度，对数字内容营销领域产生深远的影响。
与此同时，AIGC（生成式AI）产业生态已初现雏形。据《AIGC发展趋势报告2023：迎接人工智能的下一个时代》报告，目前AIGC产业生态已经覆盖基础层、中间层、应用层。
不过现有的AIGC（生成式AI）应用工具，在技术和商业化落地上，还存在诸多待解决的难题。比如在技术上，ChatGPT还不够聪明。当你打开ChatGPT的对话框，就会发现首页写着“对2021年后的世界和事件了解有限”，偶尔还会产生不正确的信息，有时会编造文献，也会给出错误虚假的答案。
商业化方面，AIGC（生成式AI）领域目前还是以B端为主。浙商证券研报指出，AIGC的商业化之路尚在摸索之中。B端变现路径更为多元、成熟，广告和营销等行业均有可想见的应用情景，付费的可能性和水平相对更高。
科大讯飞董事长刘庆峰曾表示，AI要兑现红利，标准之一就是有看得见摸得着的应用场景。而搜索引擎，就是这个场景之一。随着ChatGPT付费版的推出，AIGC在商业化上有望再进一步。
3.百度架构师辜斯缪预测：未来的搜索，有三大趋势
百度搜索杰出架构师辜斯缪对钛媒体App表示，基于核心的搜索跨模态大模型以及生成式AI技术发展，百度认为搜索有三个趋势：整个搜索会从信息检索，到检索+生成的一种混合系统；实现整个跨模态的理解和交互；在知识的理解和组织上搜索会往更深层次方面演进。
他向钛媒体举了个例子，如果你搜索一张图片，百度“生成式搜索”会用语言告诉你怎么修改这张图片，然后进一步让搜索引擎帮你改完再反馈给你。
“搜索原来都是单元对话式的模式，就是给搜索一个问题然后百度会返回一个结果给你。但未来，这个模式会有一个比较大的变化，即你可以更高效地跟搜索引擎提出需求，它满足你的需求同时可以迭代和调整需求，最后产生一个真正定制化、满足用户需求的信息。”辜斯缪表示。
谷歌旗下邮件产品Gmail 创始人Paul Buchheit在2022年12月表示，谷歌离彻底崩溃可能只有一两年的时间；人工智能将消灭搜索引擎的搜索结果页，这是搜索引擎最大的收入来源。2023年2月1日，他又澄清称，人工智能（不一定是ChatGPT）将可能在未来两年内取代搜索，不过目前的 AI 还不够好。
4.小冰公司CEO李笛预测：内容产业，也有望进入一个人机协同的新时代
AI四小龙中，云从科技（688327.SH）股价自2月1日起连续三日大涨，至2月3日中午休市，共上涨27.16%。云从在1月31日投资者关系活动纪要中提到，ChatGPT的发展将得益于人机协同，把人类的知识与数据的能力做更好的结合，使得各个落地场景的门槛降低；ChatGPT的成功铺开了未来 AI 大规模产业落地的道路。
小冰公司CEO李笛表示，大模型初步验证了一种新范式的价值，并且打破了此前的瓶颈。AIGC证明了在制造业之后，内容产业也有望进入一个人机协同的新时代。
5.有媒体认为，ChatGPT的出现能够取代人类的部分工作
有观点认为，在 AI（人工智能）?产品飞跃式进化让生活变得更便利的同时，普通人也将付出相应的代价。譬如，一些工作机会变得更少，就是不可避免的。在更加高效的 AI 工具辅助甚至是主导下，工作效率将再次提高，从而同样的工作将不再需要目前这么多的人。
据网易科技报道，出门问问创始人兼CEO李志飞表示，从行业边际成本的降低到杀手级产品的出现，从 AI 绘画爆火到ChatGPT横空出世，让全世界看到了 AIGC(即AI Generated Content，生成式AI，是指利用人工智能技术来生成内容）技术的“强大”。AIGC?（生成式AI）让 AI 公司为更多中小型企业甚至个人提供一种工具，可规模化地降本增效，为 AI 行业带来一种全新的可能性和商业模式。
李志飞坦言，尽管AIGC(生成式AI）具有巨大的潜力，但在技术和商业方面、道德伦理和法规层面，仍面临问题和挑战。
“比如ChatGPT，其本身并非基于真正的基础数据库及知识结构，无法实时更新，且没有一定的逻辑推理规则，所以对很多问题会无中生有，虚构或编造答案。技术层面，ChatGPT还有很多改进优化的地方。而且ChatGPT目前仍只是‘玩具’，距离成为真正的‘工具’，还需进一步探索商业化路径。”
李志飞表示，ChatGPT背后的AIGC（生成式AI）技术在国外会有相对成熟的商业模式，但在中国未必有。
美国国家工程院外籍院士、北京智源人工智能研究院理事张宏江此前表示，目前国内的大模型水平和OpenAI还有一定的差距，“从学术角度来看，其实我们都是在给它‘补漏’。也就是说，在给OpenAI打工。”
“对于个人，AIGC（生成式AI）的巨大进展，让人们看到AI也可以做很多知识创意型的工作。但真正的自我意识和动机想法来源于人类，AI将是人类的重要辅助和工具。”李志飞表示，AIGC（生成式AI）的还有很多待发掘的商机。
“AIGC（生成式AI）时代，我们要用 AI 的思维来思考这个世界。我们要理解 AI 的边界，知道它能做什么，不能做什么；了解它能为人类提供什么帮助，怎样更好地为人类所用；人类可以释放哪些生产力，而更专注于人类自己该做的事情。”李志飞表示。
据澎湃新闻报道，无锡市大数据管理局局长胡逸几天前发表和ChatGPT对话形成的文章。吴局长让ChatGPT就无锡数字经济提速和数字化转型的主题，给出一篇论文的大纲和主要观点。他认可ChatGPT给出的大纲，但觉得的观点稍微薄弱了一些。
（ChatGPT列出的“无锡数字经济提速和数字化转型”论文的提纲和主要观点聊天截图，图片来源：钛媒体）
根据牛津大学的一项研究发现，2013-2032年20年时间，美国47%的工作岗位可能会被 AI 取代。
麦肯锡全球研究所合伙人Anu Madgavkar表示，软件开发人员、网络开发人员、计算机程序员、编码员和数据科学家等技术岗位“很容易”被 AI 技术“取代更多的工作”，这是因为像 ChatGPT 这样的 AI 擅长相对准确地处理数字。
2月3日，Business Insider根据专家整理出ChatGPT等AI应用可能威胁的10个行业岗位：技术(程序员、软件工程师、数据分析师）、媒体（广告、内容创作、科技报道）、法律(律师助理)、市场研究员、教师、金融(金融分析师、私人顾问)、交易员、平面设计师、会计师、客服。
据CNBC报道，谷歌内部文件显示，ChatGPT通过了3级工程师的Google编码面试，该职位的平均总薪酬约为18.3万美元，是美国平均工资的3.3倍。这意味着，程序员可能会有被ChatGPT取代的风险。
不过，钛媒体App在ChatGPT输入相关问题时，得到的答案是：“AI有可能取代一些人类的工作，但不能完全替代人类。”
（图片来源：钛媒体）
三、ChatGPT为什么会大火？
1.语言模型供公众使用的做法，给了它巨大优势。
美国佐治亚理工学院计算机教授、机器学习专家马克・里德尔（Mark Riedl）表示，ChatGPT背后的技术不一定比谷歌和Meta开发的技术更好，但其发布语言模型供公众使用的做法给了它巨大优势。
“正如移动设备通过GPS、摄像头和网络连接等新功能释放了新类型的应用程序一样，我们预计这些大型模型将激发 AIGC 应用程序的新浪潮。就像十年前移动互联网被一些杀手级应用打开了市场一样，AIGC 的杀手级应用程序也会出现，比赛开始了。”红杉美国两位合
什么是chat gpt ChatGPT可以做什么
什么是常数,什么是长方形,什么是潮热症状,什么是差序格局ChatGPT是什么？
ChatGPT 是一种预训练的语言模型，用于对话生成。它的名字来源于它的两个主要组成部分：「聊天」（chat）和「生成式语言模型」（Generative Pretrained Transformer，GPT）。
通常来说，语言模型是用于预测一句话中下一个单词的概率分布的模型。而 ChatGPT 则是一种在训练过程中特别关注对话语境的语言模型，它能够更好地理解人类的对话并生成相关的回复。
ChatGPT 可以用于实现各种不同的应用，例如聊天机器人、客服自动回复等。它的出现为计算机与人类之间的交流提供了一种新的方式，为人工智能的发展做出了贡献。
?
ChatGPT 最基本的功能是聊天，这个已经众所周知，具体都能聊些什么呢？
一个简单的回答：能聊所有的事！
是的，不管是你想得到的，或者想不到的，只要是能用文本呈现的信息，ChatGPT 都能跟你聊起来。
当然，如果你不相信，可以留言一个你想要问的问题，后面的内容每期选择一些有意思的的问题，让大家一起来看看 ChatGPT 是不是一个能聊所有事情的 AI，到底这个 AI 是真人工智能，还是真人工智障。
想要留言问 ChatGPT 问题的可以参考这个格式：
不懂就问：讲一个离奇的故事
你将会得到一个这样的回答
当然，能聊，不代表 ChatGPT 每次都能给你满意的答复，它还是有许多局限性的。
例如：ChatGPT 不能实现计算机视觉、语音识别、机器学习等功能。同时，ChatGPT 也不能解决人类社会中的各种问题，比如解决贫穷、疾病、环境污染等问题。它只能提供一种新的工具，用于帮助人类更好地理解语言和实现某些应用。
?
?
不同于我们最熟悉的信息最直接的获取方式 ―― 搜索引擎。ChatGPT 的信息来自于大量的文本数据。在训练过程中，它会分析大量的文本，从中学习语言结构和模式，并根据这些信息来生成文本。
具体来说，ChatGPT 会分析大量的对话文本，学习对话中人类常用的语言特征和表达方式。这些信息可以来自互联网上的论坛、聊天室、微博等平台，也可以来自收集的真实对话记录。通过这种方式，ChatGPT 可以学会人类的语言表达方式，并能够根据上下文生成相关的回复。
从最近一周的实际使用测试，可以发现 ChatGPT 的在发布初期的信息时效性只限于 2021 年之前，所以它没办法判断 2021 年之后发生的事情。当然对于这一点，其实 ChatGPT 并不承认。
例如对于一个发生在 2022 年 11 月底最新的新闻消息，它的回复是：
由于我是一个预训练的语言模型，并不能访问互联网，也没有自己的知识库。我只能根据已经学到的信息来回答问题，并不能提供最新的信息。如果您需要最新的信息，可以查阅其他可靠来源。
综合上面的信息，可以得出以下判断：ChatGPT 在上线初期，也就是还没有被广大受众知晓前，用于“训练”它学习能力的信息只限于 2021 年及之前，但随着广大普通用户的使用，它也会逐渐学习到 2021 年之后，甚至最近最新的消息。 当然前提就是 ChatGPT 需要有足够多的人来一起 “训练” 它！
?
?
当然，直接把这个问题抛给 ChatGPT，是没办法得到你想要的答案。
ChatGPT 是一种预训练的语言模型，它可以用于生成文本，并不能改变任何事物。它只是一种工具，可以为人工智能的发展做出贡献，但不能改变世界。
改变世界需要多种因素的配合。未来的发展取决于人类社会的经济、技术、文化、政治等各个方面的发展。而 ChatGPT 只是一种工具，它可以为人类社会的发展提供一些帮助，但最终的发展还要靠人类自己去实现。
至少 ChatGPT 本身是很谦虚的，对自己的定位清晰明确，对人类的定位也很清楚。
ChatGPT “呱呱坠地” 的这第一周，至少很多行业和产品已经明显感受到了威胁。
最典型的就是技术行业，很多类似科技论坛的网站已经明确对 ChatGPT 进行封杀，担心网站上的内容变成 “搬运” 文。因为 ChatGPT 出现以前，在技术层面的 “抄袭与反抄袭” 角力已经达到了非常成熟的状态，就例如视频网站针对屏蔽广告技术的发屏蔽技术、盗版与反盗版机制。
当然，ChatGPT 出现之后，“抄袭” 或者 “搬运” 可能会催发整个行业的又一次 “变革”。
另外一个受到威胁的，大概率就会是搜索引擎工具。甚至夸张一点的说，假如 ChatGPT 可以实现直接实时访问和学习搜索引擎拉取的内容，那么搜索引擎在人们生活中的存在感，至少会下降 50%！
?
ChatGPT 是一种预训练的语言模型，它主要用于生成文本。它的未来发展取决于人工智能技术的发展，以及人类对于语言模型的需求。
随着人工智能技术的不断发展，语言模型也会越来越强大。未来的 ChatGPT 可能会拥有更强的语言理解能力，能够更好地理解人类的语言表达方式，并生成更加逼真的文本。同时，随着人类对于自然语言处理的需求不断增长，ChatGPT 也可能会被应用于更多的领域，实现更为复杂的功能。但具体的发展情况还有待观察。
即便如此谦虚的回答，但也几乎无法掩盖一个确定的答案：未来的科技产品和应用中，ChatGPT 或者 类似 ChatGPT 的产品和服务，将会无处不在地围绕在人类的所有行为中，深远地影响未来人们的思考方式、行为模式、协作和信息传递方式……
所以，在 ChatGPT 等类似服务越来越普及的时候，一系列的问题来了：
- 学校的老师将如何布置家庭作业？
- 如何判断学生到底是否真的学会了某些知识？
- 以后的论文还怎么判断原创和抄袭？
- UGC 的网站如何判断内容的原创程度？
chatgpt在哪些国家可以使用 了解一下什么是chatgpt
chad什么国家来源 公众号：阿法兔研究笔记（AlphatuDiary）
近期，OpenAI 发布了 ChatGPT，是一个可以对话的方式进行交互的模型，因为它的智能化，得到了很多用户的欢迎。ChatGPT 也是OpenAI之前发布的 InstructGPT 的亲戚，ChatGPT模型的训练是使用RLHF（Reinforcement learning with human feedback）也许ChatGPT的到来，也是OpenAI 的GPT-4正式推出之前的序章。
Generative Pre-trained Transformer (GPT)，是一种基于互联网可用数据训练的文本生成深度学习模型。它用于问答、文本摘要生成、机器翻译、分类、代码生成和对话 AI。
2018年，GPT-1诞生，这一年也是NLP（自然语言处理）的预训练模型元年。性能方面，GPT-1有着一定的泛化能力，能够用于和监督任务无关的NLP任务中。其常用任务包括：
- 自然语言推理：判断两个句子的关系（包含、矛盾、中立）
- 问答与常识推理：输入文章及若干答案，输出答案的准确率
- 语义相似度识别：判断两个句子语义是否相关
- 分类：判断输入文本是指定的哪个类别
虽然GPT-1在未经调试的任务上有一些效果，但其泛化能力远低于经过微调的有监督任务，因此GPT-1只能算得上一个还算不错的语言理解工具而非对话式AI。
GPT-2也于2019年如期而至，不过，GPT-2并没有对原有的网络进行过多的结构创新与设计，只使用了更多的网络参数与更大的数据集：最大模型共计48层，参数量达15亿，学习目标则使用无监督预训练模型做有监督任务。在性能方面，除了理解能力外，GPT-2在生成方面第一次表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演通通不在话下。在“变得更大”之后，GPT-2的确展现出了普适而强大的能力，并在多个特定的语言建模任务上实现了彼时的最佳性能。
之后，GPT-3出现了，作为一个无监督模型（现在经常被称为自监督模型），几乎可以完成自然语言处理的绝大部分任务，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答等等。而且，该模型在诸多任务上表现卓越，例如在法语-英语和德语-英语机器翻译任务上达到当前最佳水平，自动产生的文章几乎让人无法辨别出自人还是机器（仅52%的正确率，与随机猜测相当），更令人惊讶的是在两位数的加减运算任务上达到几乎100%的正确率，甚至还可以依据任务描述自动生成代码。一个无监督模型功能多效果好，似乎让人们看到了通用人工智能的希望，可能这就是GPT-3影响如此之大的主要原因
GPT-3模型到底是什么？
实际上，GPT-3就是一个简单的统计语言模型。从机器学习的角度，语言模型是对词语序列的概率分布的建模，即利用已经说过的片段作为条件预测下一个时刻不同词语出现的概率分布。语言模型一方面可以衡量一个句子符合语言文法的程度（例如衡量人机对话系统自动产生的回复是否自然流畅），同时也可以用来预测生成新的句子。例如，对于一个片段“中午12点了，我们一起去餐厅”，语言模型可以预测“餐厅”后面可能出现的词语。一般的语言模型会预测下一个词语是“吃饭”，强大的语言模型能够捕捉时间信息并且预测产生符合语境的词语“吃午饭”。
通常，一个语言模型是否强大主要取决于两点：首先看该模型是否能够利用所有的历史上下文信息，上述例子中如果无法捕捉“中午12点”这个远距离的语义信息，语言模型几乎无法预测下一个词语“吃午饭”。其次，还要看是否有足够丰富的历史上下文可供模型学习，也就是说训练语料是否足够丰富。由于语言模型属于自监督学习，优化目标是最大化所见文本的语言模型概率，因此任何文本无需标注即可作为训练数据。
由于GPT-3更强的性能和明显更多的参数，它包含了更多的主题文本，显然优于前代的GPT-2。作为目前最大的密集型神经网络，GPT-3能够将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本，甚至模仿已故的各位哲学家――预测生命的真谛。且GPT-3不需要微调，在处理语法难题方面，它只需要一些输出类型的样本（少量学习）。可以说GPT-3似乎已经满足了我们对于语言专家的一切想象。
注：上文主要参考以下文章：1.GPT4发布在即堪比人脑，多位圈内大佬坐不住了！-徐杰承、云昭 -公众号51CTO技术栈- 2022-11-24 18:082.一文解答你对GPT-3的好奇！GPT-3是什么？为何说它如此优秀？-张家俊 中国科学院自动化研究所 2020-11-11 17:25 发表于北京3.The Batch: 329 | InstructGPT，一种更友善、更温和的语言模型-公众号DeeplearningAI-2022-02-07 12:30
但是 GTP-3 并不完美，当前有人们最担忧人工智能的主要问题之一，就是聊天机器人和文本生成工具等很可能会不分青红皂白和质量好坏，地对网络上的所有文本进行学习，进而生产出错误的、恶意冒犯的、甚至是攻击性的语言输出，这将会充分影响到它们的下一步应用。
OpenAI也曾经提出，会在不久的将来发布更为强大的GPT-4：
将?GPT-3 与GPT-4、?人脑进行比较（图片来源：Lex Fridman @youtube）
据说，GPT-4会在明年发布，它能够通过图灵测试，并且能够先进到和人类没有区别，除此之外，企业引进GPT-4的成本也将大规模下降。
ChatGPT与InstructGPT
谈到Chatgpt，就要聊聊它的“前身”InstructGPT。
2022年初，OpenAI发布了InstructGPT；在这项研究中，相比 GPT-3 而言，OpenAI 采用对齐研究（alignment research），训练出更真实、更无害，而且更好地遵循用户意图的语言模型 InstructGPT，InstructGPT是一个经过微调的新版本GPT-3，可以将有害的、不真实的和有偏差的输出最小化。
InstructGPT的工作原理是什么？
开发人员通过结合监督学习+从人类反馈中获得的强化学习。来提高GPT-3的输出质量。在这种学习中，人类对模型的潜在输出进行排序；强化学习算法则对产生类似于高级输出材料的模型进行奖励。
训练数据集以创建提示开始，其中一些提示是基于GPT-3用户的输入，比如“给我讲一个关于青蛙的故事”或“用几句话给一个6岁的孩子解释一下登月”。
开发人员将提示分为三个部分，并以不同的方式为每个部分创建响应：
人类作家会对第一组提示做出响应。开发人员微调了一个经过训练的GPT-3，将它变成InstructGPT以生成每个提示的现有响应。
下一步是训练一个模型，使其对更好的响应做出更高的奖励。对于第二组提示，经过优化的模型会生成多个响应。人工评分者会对每个回复进行排名。在给出一个提示和两个响应后，一个奖励模型(另一个预先训练的GPT-3)学会了为评分高的响应计算更高的奖励，为评分低的回答计算更低的奖励。
开发人员使用第三组提示和强化学习方法近端策略优化(Proximal Policy Optimization, PPO)进一步微调了语言模型。给出提示后，语言模型会生成响应，而奖励模型会给予相应奖励。PPO使用奖励来更新语言模型。
本段参考：The Batch: 329 | InstructGPT，一种更友善、更温和的语言模型-公众号DeeplearningAI-2022-02-07 12:30
重要在何处？核心在于――人工智能需要是能够负责任的人工智能
OpenAI的语言模型可以助力教育领域、虚拟治疗师、写作辅助工具、角色扮演游戏等，在这些领域，社会偏见、错误信息和毒害信息存在都是比较麻烦的，能够避免这些缺陷的系统才能更具备有用性。
Chatgpt与InstructGPT的训练过程有哪些不同？
总体来说，Chatgpt和上文的InstructGPT一样，是使用 RLHF（从人类反馈中强化学习）训练的。不同之处在于数据是如何设置用于训练（以及收集）的。（这里解释一下：之前的InstructGPT模型，是给一个输入就给一个输出，再跟训练数据对比，对了有奖励不对有惩罚；现在的Chatgpt是一个输入，模型给出多个输出，然后人给这个输出结果排序，让模型去给这些结果从“更像人话”到“狗屁不通”排序，让模型学习人类排序的方式，这种策略叫做supervised learning，本段感谢张子兼博士）
如下：a) 在训练的强化学习 (RL) 阶段，没有真相和问题标准答案的具体来源，来答复你的问题。b) 训练模型更加谨慎，可能会拒绝回答（以避免提示的误报）。c) 监督训练可能会误导/偏向模型倾向于知道理想的答案，而不是模型生成一组随机的响应并且只有人类评论者选择好的/排名靠前的响应
注意：ChatGPT 对措辞敏感。，有时模型最终对一个短语没有反应，但对问题/短语稍作调整，它最终会正确回答。训练者更倾向于喜欢更长的答案，因为这些答案可能看起来更全面，导致倾向于更为冗长的回答，以及模型中会过度使用某些短语，如果初始提示或问题含糊不清，则模型不会适当地要求澄清。
