openai新方向

OpenAI-Lilian Weng等：自监督学习与对比学习，NeurIPS 2021教程｜105页ppt

openai和chatGPT什么关系,openai官网,openai大股东,openai为什么在中国用不了

【导读】NeurIPS，全称神经信息处理系统大会（Conference and Workshop on Neural Information Processing Systems），作为关于机器学习和计算神经科学的国际会议，每年固定在12月举行，由NIPS基金会主办。NeurIPS是机器学习领域的顶级会议，是神经计算方面最好的会议之一。在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议。NeurIPS 2021于12月6日-12月14日在加拿大蒙特利尔采用线上线下结合的方式举办。

来自OpenAI的研究人员Lilian Weng和Jong Wook Kim对自监督学习做了最新的报告，非常值得关注。

Lilian Weng现为OpenAI应用人工智能研究负责人，主要从事机器学习、深度学习和网络科学研究。她本科毕业于香港大学，硕士就读于北京大学信息系统与计算机科学系，之后前往印度安纳大学布鲁顿分校攻读博士。

Lilian Weng经常在个人博客分享学习和工作笔记，感兴趣的可以戳这里：。

Jong Wook Kim，OpenAI研究技术人员，参与Jukebox和CLIP这样的项目。研究兴趣包括大规模多模态深度学习和音乐理解。

自监督学习：自预测与对比学习

自监督学习是一种很好的方法，可以从大量的未标记数据中提取训练信号，并学习良好的表示，以方便下游的任务，在这些任务中收集特定于任务的标签非常昂贵。本教程将着重介绍自监督学习的两种主要方法:自预测和对比学习。自预测是指自监督的训练任务，在这种训练任务中，模型学会从剩余数据中预测一部分可用数据。对比学习是通过从数据集构造相似和不同的对，来学习一个相似数据样本保持相近而不同数据样本相距较远的表示空间。本教程将涵盖这两个主题和跨各种应用程序的方法，包括视觉、语言、视频、多模态和强化学习。

● 导论 Introduction: motivation, basic concepts, examples.

● 早期工作 Early work: look into connection with old methods.

● 方法 Methods

○ Self-prediction

○ Contrastive Learning

● 前置任务 Pretext tasks: a wide range of literature review.

● 技术 Techniques: improve training efficiency.

● 未来方向 Future directions

NeurIPS 2021教程|OpenAI-Lilian Weng等：自监督学习与对比学习，105页ppt， - 专知VIPOpenAI-Lilian Weng等：自监督学习与对比学习，NeurIPS 2021教程|105页ppt

open ai算法利用open ai写新闻

选自GitHub

机器之心整理

由 OpenAI 推出的文本生成模型 GPT-2 最近引发了人们的广泛关注，这种算法不仅在很多任务上超过了此前的最佳水平，还可以根据一小段话自动「脑补」出大段连贯的文本，并模拟不同的写作风格。它看起来可以用来自动生成「假新闻」。

然而这个 GPT-2 模型内含多达 15 亿个参数，过高的算力要求让大多数开发者望而却步。而且 OpenAI 还曾「出于对模型可能遭恶意应用的担忧，并不会立即发布所有预训练权重。」一时引发机器学习社区的吐槽。

近日，由 Buzzfeed 数据科学家 Max Woolf 开源的「GPT-2 精简版」出现在 GitHub 上。这是一个简单的 Python 软件包，它封装了 OpenAI GPT-2 文本生成模型（特别是它是具有 1.17 亿超参数的「较小」版本）的现有模型微调和生成脚本。此外，这个软件包让我们可以更容易地生成文本，生成一个文件以便于管理，从而允许前缀强制文本以给定的短语开头。

项目链接：https://github.com/minimaxir/gpt-2-simple

文本生成示意

该 Python 包包含以下内容，并对其进行了最小程度的低级更改：

来自 OpenAI 官方 GPT-2 库的模型管理（MIT 许可证）
来自 GPT-2 中 Neil Shepperd fork 的模型微调（MIT 许可证）
来自 textgenrnn 的文本生成输出管理（MIT 许可证）

为了微调，该项目强烈建议你使用 GPU，虽然你用 CPU 也可以生成（但速度会慢很多）。如果你在云端训练，强烈建议你使用 Colaboratory notebook 或带有 TensorFlow 深度学习图像的谷歌计算引擎 VM（因为 GPT-2 模型位于 GCP 上）。

你可以使用 gpt-2-simple 在这个 Colaboratory notebook 中免费用 GPU 来重新训练模型，该 notebook 还演示了这个软件包的其它功能。

Colaboratory notebook 地址：https://colab.research.google.com/drive/1VLG8e7YSEwypxU-noRNhsv5dW4NfTGce

安装

gpt-2-simple 可以通过 PyPI 来安装：

你还要为你的系统安装相应的 TensorFlow（如 tensorflow 或 tensorflow-gpu）

使用

将模型下载到本地系统的示例，在数据集上对它进行微调，然后生成一些文本。

警告：模型是预训练的，因此任何微调模型都是 500MB。

生成模型的检查点默认在/checkpoint/run1 中。如果你想从该文件夹中加载模型并从中生成文本：

与 textgenrnn 一样，你可以用 return_as_list 参数生成并保存文本供以后使用（如 API 或机器人）。

如果你想在 checkpoint 文件夹中存储或加载多个模型，可以把 run_name 参数传递给 finetune 和 load_gpt2。

注意：如果你想在另一个数据集上进行微调或加载另一个模型，先重启 Python 会话。

gpt-2-simple 和其它文本生成程序的区别

GPT-2 用来生成文本的方法与 textgenrnn 等其它安装包（特别是纯粹使用 GPU 生成完整文本序列并随后对其进行解码的安装包）使用的方法略有不同，这些方法在没有破解底层模型代码的情况下无法轻易修复。

所以：

一般来说，GPT-2 更擅长在整个生成长度上维护上下文，从而能够有效地生成对话文本。文本在语法上通常也是正确的，并且有适当的大写和较少的打印错误。
原始 GPT-2 模型在大量来源的文本上进行训练，使该模型包含输入文本中看不到的趋势。
GPT-2 针对每个请求最多只能生成 1024 个 token（约是 3-4 段英语文本）。
GPT-2 在到达特定的结束 token 时无法提前停止。（暂时解决方法：将 truncate 参数传递给 generate 函数，以便只收集文本，直至到达特定的结束 token。你可能想适当地缩小 length。）
较高温度（如 0.7-1.0）能够更好地生成更有趣的文本，而其它框架在温度 0.2-0.5 之间运转更好。
当对 GPT-2 进行微调时，它并不清楚较大文本中文档的开头或结尾。你需要使用定制的字符序列来显示文档的开头或结尾。之后在文本生成中，你可以指定针对开始 token 序列的 prefix 和针对结束 token 序列的 truncate。
通过设置一个可分成 nsamples 的 batch_size，你可以使用 GPT-2 生成并行文本，从而加快生成速度。GPT-2 与 GPU 配合得很好（可以在 Colaboratory K80 上将 batch_size 设置为 20）！

计划工作

注意：除非需求另有规定，否则本项目的范围非常小。