可以查文献,可以查到文献和数据的网站,可以查文献资料的软件,能查到文献的软件

对于非英语母语学习者来说 是不是可以用 ChatGPT 替代论文润色机构的服务（

对于ChatGPT在润色论文的作用，更多的是“Check”而不是“Polishing”，而专业的润色机构做的是“Polishing”，ChatGPT冲击的更多的是“挂羊头卖狗肉”只能提供“check”服务的润色机构，这就是为什么我们艾德思润色的专家不仅仅是母语专家，还是同领域专家，二者缺其一都算不上真正的“润色”。

就比如：我的学位毕业论文需要找导师润色修改，而不是找一个语文老师。这应该不难理解。

所以，小编认为ChatGPT可以看做是众多语言润色工具合集，仅此而已~

艾德思（EditSprings），专业论文翻译、润色，科研之路为你助力！

chatgpt中文名叫啥

ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT，还公布了上线时间表，不少科技圈已功成名就的大佬也按捺不住，携巨资下场，要创建“中国版OpenAI“。

不过，看看过去半个月在群众眼里稍显窘迫的Meta的Galactica，以及Google紧急发布的Bard，就知道在短期内打造一个比肩甚至超越ChatGPT效果的模型没那么简单。

让很多人不免感到诧异的是，ChatGPT的核心算法Transformer最初是由Google提出的，并且在大模型技术上的积累可以说不弱于OpenAI，当然他们也不缺算力和数据，但为什么依然会被ChatGPT打的措手不及？

Meta首席AI科学家Yann LeCun最近抨击ChatGPT的名言实际上解释了背后的门道。他说，ChatGPT“只是巧妙的组合而已”，这句话恰恰道出了一种无形的技术壁垒。

简单来说，即使其他团队的算法、数据、算力都准备的与OpenAI相差无几，但就是没想到以一种精巧的方式把这些元素组装起来，没有OpenAI，全行业不知道还需要去趟多少坑。

即使OpenAI给出了算法上的一条路径，后来者想复现ChatGPT，算力、工程、数据，每一个要素都需要非常深的积累。七龙珠之中，算力是自由流通的商品，花钱可以买到，工程上有OneFlow这样的开源项目和团队，因此，对互联网大厂之外的团队来说，剩下最大的挑战在于高质量训练数据集。

至今，OpenAI并没有公开训练ChatGPT的相关数据集来源和具体细节，一定程度上也暂时卡了追赶者的脖子，更何况，业界公认中文互联网数据质量堪忧。

好在，互联网上总有热心的牛人分析技术的细枝末节，从杂乱的资料中串联起蛛丝马迹，从而归纳出非常有价值的信息。

作者｜Alan D. Thompson

翻译｜杨婷、徐佳渝、贾川

出品 | OneFlow

一些研究人员的报告称，通用人工智能（AGI）可能是从我们当前的语言模型技术进行演进[1]，预训练Transformer语言模型为AGI的发展铺平了道路。虽然模型训练数据集日渐增大，但缺乏基本指标文档，包括数据集大小、数据集token数量和具体的内容细节。

尽管业内提出了数据集组成和整理文档的标准[2]，但几乎所有重点研究实验室在揭示模型训练数据集细节这方面都做得不够。这里整合的研究涵盖了2018年到2022年初从GPT-1到Gopher的精选语言模型的所有数据集（包括主要数据集：Wikipedia和Common Crawl）的综合视图。

概述

图 1. 主要数据集大小的可视化汇总。未加权大小，以GB为单位。

2018年以来，大语言模型的开发和生产使用呈现出爆炸式增长。一些重点研究实验室报告称，公众对大语言模型的使用率达到了惊人高度。2021年3月，OpenAI宣布[3]其GPT-3语言模型被“超过300个应用程序使用，平均每天能够生成45亿个词”，也就是说仅单个模型每分钟就能生成310万词的新内容。

值得注意的是，这些语言模型甚至还没有被完全理解，斯坦福大学的研究人员[4]最近坦言，“目前我们对这些模型还缺乏认知，还不太了解这些模型的运转模式、不知道模型何时会失效，更不知道这些模型的突现性（emergent properties）能产生什么效果”。

随着新型AI技术的快速发展，模型训练数据集的相关文档质量有所下降。模型内部到底有什么秘密？它们又是如何组建的？本文综合整理并分析了现代大型语言模型的训练数据集。

因为这方面的原始文献并不对外公开，所以本文搜集整合了二、三级研究资料，在必要的时候本文会采用假设的方式来推算最终结果。

在本文中，我们会将原始论文中已经明确的特定细节（例如token数量或数据集大小）归类为“公开的（disclosed）”数据，并作加粗处理。

多数情况下，适当地参考二、三级文献，并采用假设的方式来确定最终结果是很有必要的。在这些情况下，token数量和数据集大小等细节是“确定的（determined）”，并以斜体标记。

模型数据集可分为六类，分别是：维基百科、书籍、期刊、Reddit链接、Common Crawl和其他数据集。

表1. 主要数据集大小汇总。以GB为单位。公开的数据以粗体表示。确定的数据以斜体表示。仅原始训练数据集大小。

1.1. 维基百科

维基百科是一个免费的多语言协作在线百科全书，由超过300,000名志愿者组成的社区编写和维护。截至2022年4月，英文版维基百科中有超过640万篇文章，包含超40亿个词[5]。维基百科中的文本很有价值，因为它被严格引用，以说明性文字形式写成，并且跨越多种语言和领域。一般来说，重点研究实验室会首先选取它的纯英文过滤版作为数据集。

1.2.?书籍

故事型书籍由小说和非小说两大类组成，主要用于训练模型的故事讲述能力和反应能力，数据集包括Project Gutenberg和Smashwords (Toronto BookCorpus/BookCorpus)等。

1.3.?杂志期刊

预印本和已发表期刊中的论文为数据集提供了坚实而严谨的基础，因为学术写作通常来说更有条理、理性和细致。这类数据集包括ArXiv和美国国家卫生研究院等。

1.4.?Reddit链接

WebText是一个大型数据集，它的数据是从社交媒体平台Reddit所有出站链接网络中爬取的，每个链接至少有三个赞，代表了流行内容的风向标，对输出优质链接和后续文本数据具有指导作用。

1.5.?Common Crawl

Common Crawl是2008年至今的一个网站抓取的大型数据集，数据包含原始网页、元数据和文本提取，它的文本来自不同语言、不同领域。重点研究实验室一般会首先选取它的纯英文过滤版（C4）作为数据集。

1.6. 其他数据集

不同于上述类别，这类数据集由GitHub等代码数据集、StackExchange 等对话论坛和视频字幕数据集组成。

?

常用数据集

2019年以来，大多数基于Transformer的大型语言模型 (LLM) 都依赖于英文维基百科和Common Crawl的大型数据集。在本节中，我们参考了Jesse Dodge和AllenAI（AI2）[8]团队的综合分析，按类别对英文维基百科作了高级概述，并在Common Crawl数据集[7]的基础上，用谷歌C4[6] (Colossal Clean Crawled Corpus)在Common Crawl中提供了顶级域（domains）。

2.1. 维基百科（英文版）分析

下面按类别[9]列出了维基百科的详细信息，涵盖了2015年抽样的1001篇随机文章，研究人员注意到随时间推移文章传播的稳定性。假设一个11.4GB、经过清理和过滤的维基百科英文版有30亿token，我们就可以确定类别大小和token。

表2. 英文维基百科数据集类别。公开的数据以粗体表示。确定的数据以斜体表示。

2.2 Common Crawl分析

基于AllenAI (AI2)的C4论文，我们可以确定，过滤后的英文C4数据集的每个域的token数和总体百分比，该数据集为305GB，其中token数为1560亿。

表3. C4：前23个域（不包括维基百科）。公开的数据以粗体表示，确定的数据以斜体表示。

?

GPT-1数据集

2018年，OpenAI发布了1.17亿参数的GPT-1。在论文中，OpenAI并没有公布模型训练数据集的来源和内容[10]，另外，论文误将‘BookCorpus’拼写成了‘BooksCorpus’。BookCorpus以作家未出版的免费书籍为基础，这些书籍来自于Smashwords，这是一个自称为“世界上最大的独立电子书分销商” 的电子书网站。这个数据集也被称为Toronto BookCorpus。经过几次重构之后，BookCorpus数据集的最终大小确定为4.6GB[11]。

2021年，经过全面的回顾性分析，BookCorpus数据集对按流派分组的书籍数量和各类书籍百分比进行了更正[12]。数据集中有关书籍类型的更多详细信息如下：

表4. BookCorpus书籍类型。公开的数据以粗体表示，确定的数据以斜体表示。

在随后的数据集重构中，BookCorpus数据集进一步过滤掉了书籍中的“吸血鬼”类别、降低了言情类书籍的百分比、增加了“历史”类书籍，增加了收集的书籍数量。

3.1. GPT-1数据集总结

GPT-1最终的数据集总结分析如下：

表5.GPT-1数据集总结。以GB为单位。公开的数据以粗体表示，确定的数据以斜体表示。

GPT-2数据集

2019年，OpenAI发布了拥有15亿参数的语言模型GPT-2。GPT-2论文阐明了所用训练数据集的大小[13]，不过并未说明其内容。而GPT-2模型卡（model card）（在GPT-2 GitHub仓库中）说明了模型内容[14]。

我们可以从GPT-3论文中得到token数量，该论文使用了WebText扩展版本来表示190亿token。据推测，2020年推出的WebText扩展版本拥有12个月的额外数据（additional data），因此它可能比2019年推出的GPT-2版本大25%左右[15]。GPT-2最终的token数量确定为150亿左右。

如GPT-2论文所述，假设模型卡显示链接数时，每个链接都可以被4500万链接总数所除，那WebText的内容在数据集中所占的百分比的详细信息就可以确定。

然后可以使用确定的150亿token数量来查找每个域的token数量。请注意，在可用的前1,000个域中，此处仅显示前50个域。

表6. WebText: 前50个域。?公开的数据以粗体表示，确定的数据以斜体表示。

4.1. GPT-2数据集总结

GPT-2模型最终的数据集总结分析如下：

表7. GPT-2数据集总结。?公开的数据以粗体表示，确定的数据以斜体表示。

GPT-3数据集

GPT-3模型由OpenAI于2020年发布。论文阐明了所用训练数据集的token数量[16]，但训练数据集的内容和大小尚不清楚（Common Crawl的数据集大小除外[17]）

表8. GPT-3数据集。?公开的数据以粗体表示，确定的数据以斜体表示。

5.1. GPT-3：关于Books1和Books2数据集的分析

特别值得关注的是，在OpenAI的GPT-3论文中，并未公开Books1数据集（120亿token）和Books2数据集（550亿token）的大小和来源。关于这两个数据集的来源人们提出了几个假设，包括来自LibGen18和Sci-Hub的类似数据集，不过这两个数据集常以TB为计，大到无法匹配。

5.2. GPT-3：Books1

GPT-3使用的Books1数据集不可能与GPT-1使用的BookCorpus数据集相同，原因在于Books1的数据集更大，达120亿token。在一篇引用的论文[19]中就提及GPT-1使用的BookCorpus数据集拥有9.848亿个词，但这可能只相当于13亿token（984.8字x 1.3字的token乘数）。

通过标准化项目古腾堡语料库（SPGC），Books1有可能与古腾堡项目保持一致性。SPGC是一种开放式科学方法，被用于古腾堡项目完整的PG数据的精选（curated）版本。SPGC包含120亿个token[20]，大约为21GB[21]。

5.3. GPT-3：Books2

Books2（550亿token）可能与Bibliotik保持一致，并由EleutherA收集该来源的数据，组成数据集，使其成为The Pile v1的一部分。Bibliotik版本为100.96GB[22]，其确定的token数仅为250亿，低于Books2公开的550亿。然而，使用SPGC的‘每字节token数’比率（大约为1:1.75），Bibliotik的token数和大小将更接近于Books2。

5.4. GPT-3数据集总结

附录A概述了使用Wikipedia + CommonCrawl + WebText数据集的顶级资源列表。GPT-3模型的最终数据集总结分析如下：

表9.GPT-3数据集总结。公开的数据以粗体表示，确定的数据以斜体表示。

The Pile v1（GPT-J和GPT-NeoX-20B）数据集

The Pile v1数据集由EleutherAI于2021年发布，该数据集已被用于训练包括GPT-J、GPT-NeoX-20B在内的多种模型，并作为包括MT-NLG在内的其他模型的部分数据集。The Pile v1论文阐明了所用训练数据集的来源和大小。随着token数量的增加，The Pile v1论文应被用作未来数据集文档的黄金标准。

有关token数量的更多详情，可以使用本文提供的信息来确定，参见表1（大小以GB为单位）和表7（token/每字节）[23]。

表10. The Pile v1数据集。公开的数据以粗体表示，确定的数据以斜体表示。

6.1. The Pile v1分组数据集（Grouped Datasets）

为了确定如‘Books’、‘Journals’和‘CC’这类数据集的大小，笔者对数据集进行了分组，如下表所示。

表11. The Pile v1分组数据集（不包括Wikiped

ChatGPT具备哪些核心竞争力 chatgpt已成为公司盈利工具之一

chatgpt,chatgpt官网,chatgpt国内能用吗,chatgpt在线

　　制图 卿子秀

　　位于美国东海岸微软云数据中心的ChatGPT，正在和全世界“对话”。它的访客不仅有程序员、人工智能行业从业者，还有新闻记者、金融从业者、各路投资者，甚至包括很多只是对人工智能科技感到神秘又充满好奇的普通人。

　　为了近距离了解来自硅谷的人工智能聊天机器人ChatGPT，记者采访了目前就职于美国一家软件公司，研究生毕业于华盛顿大学信息技术专业的成都人Nick，听他讲述硅谷程序员眼中的ChatGPT为人工智能行业带来了哪些新变化。

　　此外，记者注意到，在数字经济浪潮下，金融业的商业模式与服务形态也在重新被定义，目前已有多家银行布局人工智能赛道。

　　■本报记者 刘敏 张璐璇

　　人工智能应用在美国公司中相当普遍

　　Nick的工作内容包括为人工智能模型提供数据处理的支持，通俗地说，就是通过“算力”为实现大规模数据的海量训练提供可能性。事实上，ChatGPT所使用的GPT-3技术就是一种自回归语言模型，该模型使用来自互联网的文本数据库进行高强度训练，包括从书籍、网络文本、维基百科、各种文章和互联网其他文本中获得海量的数据。也就是说，ChatGPT的工作原理和Nick的工作内容基本一致。

　　在资本的疯狂追逐下，造出ChatGPT的公司OpenAI估值已达290亿美元，成为全球目前估值最高的初创公司。A股ChatGPT概念股一周内涨了25%，各家互联网大厂都高调称要推出自己的 “ChatGPT”，新一轮AI的迅猛发展已经风起云涌。

　　从chatGPT到微软新版Bing改朝换代，AIGC（利用人工智能技术来生成内容）也在国内引发了新一轮的科技巨头竞赛。从目前国内情况来看，京东云旗下言犀智能人机交互平台的机器人京小智，是京东布局ChatGPT的重要产品。百度官宣其类ChatGPT项目中文名为“文心一言”，英文名为ERNIE Bot，预计将于3月完成内测，并向公众开放。

　　Nick告诉记者，“从我的经验来看，人工智能的企业级应用在很多美国公司中相当普遍了。从业者也有一套比较完整的方法论，来进行人工智能模型的训练和部署。”

　　他认为，ChatGPT的出圈更多得益于其“强”人工智能特性，即同一种模型能够支持更广泛的应用场景，同时能根据预训练的结果自主生成内容。这样的体验相比于比较垂直，或者应用于2b的人工智能模型，对终端用户就显得更有趣了。但从技术本身上讲，更像是量变到质变的过程，或者说是OpenAI和微软在商业模式上的成功。

　　有专家指出，ChatGPT火爆出圈，为人工智能产业的发展带来新的动能，有望推动数字经济时代的产业转型升级。ChatGPT的核心是用海量数据（603138）和海量算力对算法模型进行长期重投入训练，系统性提升底层技术能力。

　　“我做的是数据工程与架构的工作，所以关注重心还是在计算的基础设施层面。要实现类似ChatGPT这样的应用需要花费大量的算力，这和微软的百亿美元投资以及Azure（微软基于云计算的操作系统）的支持密不可分。”Nick还表示，“在接触大量客户后，我认为任何公司在未来都会成为一家科技公司。不管你做的是什么业务，只要有了数据，必然就有人工智能的土壤。今后不管你是服务提供商还是消费者，如何把手里的数据变成有价值的信息，都是人工智能可以解决的问题。”

　　Nick认为，接下来也可能会出现商业模式的创新。生成型的语言模型能否替代搜索引擎？人工智能应该把重心放在2b还是2c？目前一次搜索大概在后台就要花几十美分，今后谁为每次的计算买单？随着每一次技术的创新和迭代，都会有新的商业模式创新。

　　金融机构纷纷抢占人工智能新赛道

　　以ChatGPT为代表的AIGC技术，在银行等金融机构已有所应用。记者注意到，在银行数字化转型中，已有多家银行率先抢占人工智能新赛道。

　　早在2019年，浦发银行就推出了银行业首位数字员工“小浦”，在浦发银行的网点轮岗服务客户。据浦发银行“数字员工”研发团队负责人介绍，“小浦”采用电影工业级的人像建模技术，3D数字人像更逼真；通过学习，“小浦”能与人类进行自然语言对话， （紧转4版）

关注同花顺财经（ths518），获取更多机会