2023年11月20日 每日一猜答案：。 答案：ABC。
每日一猜答案分析：

openai在您所在的国家不可用,openai官网,openai services are not available,openai 马斯克

前几天，OpenAI 推出超神 ChatGPT ，非常火爆。但是呢，因为不可抗力原因，大部分人无法体验到。这里我分享一下注册的攻略。

• 首先能能访问 Google （前置条件，不能明确说，懂得都懂）
• 你得有一个国外手机号，GV 号肯定不行。
  • 如果你没有国外手机号，推荐?sms-activate.org

• 先行注册?sms-activate.org
• 注册好之后进行对应的充值? (如果不想充值，可联系我微信(网页最下方微信)3元一个手机号辅助激活)

?接码费用一次为 10.5 卢布，大约 1.2 人民币。因为充值默认为美元，可以选择充值 1 美元进去，

• 打开??页面进行相应的注册。
  • 这里同样需要你能访问 Google 且 ip 不是香港，最好是美国、新加坡等等，不然会提示不能在当前国家服务。
• 注册成功进入下面填写手机号的页面

这里需要注意下的就是，目前好像就只有巴西和印度支持了，之前我选的印尼，是可以收到码的。

• 然后再刚刚填写手机号码的页面填入申请的手机号

注册完后，我们去 ChatGPT 网站去登陆。

openai和ChatGPT的关系

ChatGPT是OpenAI开发的一个大型预训练语言模型。它是GPT-3模型的变体，GPT-3经过训练，可以在对话中生成类似人类的文本响应。ChatGPT 旨在用作聊天机器人，我们可以对其进行微调，以完成各种任务，如回答问题、提供信息或参与对话。与许多使用预定义的响应或规则生成文本的聊天机器人不同，ChatGPT经过了训练，可以根据接收到的输入生成响应，从而生成更自然、更多样化的响应。

ChatGPT背后的算法基于Transformer架构，这是一种使用自注意力机制处理输入数据的深度神经网络。Transformer架构广泛应用于语言翻译、文本摘要、问答等自然语言处理任务。以ChatGPT为例，该模型在大量文本对话数据集上进行训练，并使用自我注意机制来学习类人对话的模式和结构。这使它能够生成与它所接收的输入相适应且相关的响应。

ChatGPT有很多潜在的用例，包括：

• ChatGPT可用于创建能与用户进行对话的聊天机器人。这可能对客户服务很有帮助，因为其可以提供信息，或者只是为了好玩。
• ChatGPT可以进行微调，以回答特定类型的问题，例如与特定领域或主题相关的问题。这对于创建虚拟助手或其他类型的信息提供系统很有帮助。
• ChatGPT可以用于创建与用户进行对话的虚拟代理或虚拟化身。这可能对社交媒体应用程序、游戏或其他类型的在线平台很有帮助。
• ChatGPT可用于根据输入数据生成类似人类的文本响应。这对于为社交媒体、网站或其他应用程序创建内容很有帮助。

注ChatGPT这一步主要包含以下几步（需要按照顺序逐步操作）：

1. 将网络环境切换成国外ip（注意：必须是国外 ip 如美国、加拿大等，香港澳门 ip 是不行的），且后续整个注册流程都必须在此网络环境下进行。
2. 打开 链接并使用自己的邮箱进行账号注册
3. 打开邮箱查收 OpenAI 账号验证邮件，点击验证按钮完成邮箱验证

下面每一个步骤的图片，大家可以对照着进行操作

邮箱验证完成后，我们第一步注册 ChatGPT 账号就算完成了，但是到这里我们还不能开始使用 ChatGPT，因为我们还需要进行手机号码验证。没有通过手机号码验证是使用不了 OpenAI（ChatGPT的开发商） 的服务的。

国内和港澳的手机号码还有 Google Voice 的虚拟号码都是不能使用的。那要怎么验证呢，请看下一步。

这一步需要用到接码平台完成手机号验证，推荐平台链接地址：sms-activate.org具体过程包含以下几步：

1. 通过自己的邮箱注册 账号并完成邮箱验证（其他接码平台同理，但是不一定每个都好用，sms-activate是博主亲自验证过的）
2. 打开邮箱查收验证邮件并点击确认完成 账号认证
3. 登录sms-activate并且在右上角找到充值按钮，点击进行充值
4. 点击充值跳转后，往下滑找到支付宝，这里建议大家充值0.2美金就可以了（不够用再充）。
5. 充值好了以后回到首页搜索「open」关键字就可以找到 OpenAI 验证码的临时号码购买链接。
6. 在右侧激活区看到待使用的临时号码，将此号码复制到 OpenAI 的验证码接收区里面。
7. 在 OpenAI 的页面点击发送验证码，这样就可以在接码平台接收到验证码（有时候有一点慢需要耐心等待一下），将验证码填进去，这样就完成 ChatGPT 手机号验证了。

1. ChatGPT 要求用户必须验证手机号码才能用，而且必须是韩国、日本、印度、新加坡、马来西亚、美国的手机号码。
2. ChatGPT 要求进行邮箱注册（最好就是Gmail, outlook, iCoud或者企业邮箱）同时需要有效 IP，因为中国不支持使此产品。
3. ChatGPT 要求用户注册之后需要对账户进行美金充值，以保证网页的正常运行（直接购买账户，里面会有18美金，无需再充值）。
4. ChatGPT注册如要使用接码平台完成手机号验证，需要在接码平台进行账户注册，充值接码费用，流程依旧繁琐。

使用门槛:

1、可以开全局的梯孑2、注册好的OpenAI账号3、最好不用WiFi

改密码方法:1、登录OpenAI输入密码前，点击忘记密码2、登录邮箱3、邮箱异常，点击下一步，输入自己手机号4、百度修改xx邮箱密码5、收到OpenAI修改密码的邮件

win系统登录:

1、关闭浏览器所有窗口2、梯孑全局，选择日或韩3、打开浏览器无痕模式4、浏览器打开：5、查看ip是否为日韩6、登录地址：7、登录成功后点击左上Playgrand8、中上方下拉选项，下滑到最下，选择chat9、右侧温度滑动条放到中间，字数调整到3000多

有时候不能登，但直接登录聊天页面

New chat (openai.com)

教程1、登录地址：2、输入英文的图片描述3、点击生成4、等待10秒左右会生成4张图片

教程1、登录地址：2、输入英文的图片描述3、点击生成4、等待10秒左右会生成4张图片

看到了这里的小伙伴，应该都是没有完成登录的。那今天我们就以非常科学的思路，来看看究竟问题是出在哪里？ 我们要的不光是找出错误，而是学会排查问题的思路。授之以渔！

• 一次完整的访问，无非就是五个元素参与其中
• 分别是梯子、IP、浏览器、设备、服务器
• 登陆不上，无非就是五个元素中的至少一个不行

有时候不能登，但直接登录聊天页面

Capacity的意思，就是服务器满了，这是服务器不行。

原因：太火爆了，官方已经扩容很多次了，也挡不住大家的热情

• 温和建议：半个小时过后再试
• 激进建议：换IP重试（这个不一定能行，有可能挤进去），记得换IP了同时重开或者换浏览器

Country unsupported，意思是地区不支持，这是梯子不行

原因：OpenAi限制了某些地区的访问，你需要告诉他，你不是来自那些地区

建议：确保梯子打开，以可以打开为证

确保你的IP，不是香港、台弯、额罗斯

Access denied，意思是访问被拒绝，这是IP不行。 原因：这个错误，复杂的点就在于，IP不行有三种可能。

1：如果不能打开其他外网，那就是梯子问题，首先需要能开YouTube

2：如果能打开外网但显示这个错误，首先检查你的IP，不能是香港、台弯、额罗斯。然后再打开全局模式（梯子设置里面选），以及浏览器无痕模式

3：如果还不行就是因为服务器压力太大，必须要对某些IP访问量太大的IP进行限制，很不幸，就选中了你的IP。建议：你需要做的就是，告诉服务器，你其实来自一个请求量小的IP，不会给他造成太大的麻烦。

方法一

1：先关闭梯子，然后刷新刚才的界面

2：打开，输入账号，过验证码，输入密码，注意，输入密码之前又打开梯子

3：这时候，登录依然显示错误1020，再次关闭梯子，刷新就可以进入

4：刚才说的是关闭梯子，如果不行，就换成关闭全局代理又打开全局代理

方法二

1：关闭电脑的IPV6。（具体方法，在百度搜索你电脑的牌子和系统+关闭IPV6）

2：关闭梯子的IPV6

3：https://whatismyipaddress.com，在这个网址查询看IPV6是否关闭

如图显示，Not detected表示已关闭

3：尝试重新登录

我是蓝衫，风趣认真的互联网“数据料理师”。

集百家所长，专注分享优质互联网资源。通过最便捷的方式，让互联网为你赋能！

蓝衫科技 - 一个可自定义的简洁网址导航 (bluelskj.com)

软件博客：

Blog

OpenAI 深度强化学习教程 存档

openai是哪个公司的,openai和chatGPT什么关系,openai官网,openai chatgpt

Neil Zhu，简书ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。 作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

原翻译地址： 原文地址：

强化学习研究决策制定和控制，以及一个进行决策的 agent 如何学会在一个未知环境中采取最优行动。深度强化学习研究如何在强化学习算法中使用神经网络，使得无需进行人工特征工程直接学习从原始感知数据到原始行动输出的映射变得可能。 本文讲解深度强化学习技术。受众是那些已经有了一定的机器学习基础，如监督学习、神经网络和强化学习基础的读者。 本教程和已有的强化学习教程的比对 已有的强化学习（RL）课本没有给出足够的关于如何使用函数近似的指导；基本上都是聚焦在离散状态空间的领域。而且，现有 RL 课本并没有对无导数优化和策略梯度方法给出充分讲述，而这些技术在很多的任务上都是相当重要的。 我对强化学习没有任何经验。我可以从何处开始学习？ 现在有几个大学课程给出了免费的视频教程： Intro to AI course (Klein & Abbeel). 第 8-11 课讲述了 RL，前期的关于搜索和动态规划的部分同样非常有用 Dave Silver’s RL course

或者，你可能想要从课本学习： Sutton & Barto, Reinforcement Learning: An Introduction. 第 1-4 章讲解了 RL 的基本内容 Bertsekas, Dynamic Programming and Optimal Control. 卷 2 的第 1-2 给出了更为形式化的对 MDP、策略迭代和值迭代的介绍

我是否有理解这个教程的基础？ 我们假设读者有下面的预备知识： 如何训练神经网络进行回归和分类 熟悉基本的 MDP、值迭代和策略迭代

目录： 预备知识，符号和术语 黑盒优化和交叉熵方法练习 笔记

策略梯度直觉解释 更加形式化的解释 实现注意点 参数化策略 练习

自然策略梯度（Natural Policy Gradient）和信赖区间方法（Trust Region Methods） Q-学习（Q-learning）练习

参考文献

1 预备知识、符号和术语 强化学习包含一个 agent 和一个环境：每个时间步，agent 会选择一个行动，然后环境会返回给 agent 一个收益然后转换到下一个状态。在标准设置中，agent 和环境的交互被划分成一系列 回合（episode） 的序列。在每个回合，初始状态

从分布 中采样出来。每个时间步，agent 随机或者确定地选择出一个行动；我们记此作 表示行动是根据概率分布 采样出来的。下一个状态和收益根据转换概率分布 。这个过程持续进行直到 终止 状态达到，此时该回合结束。其过程可以写成下面的形式： … ( 是一个终止状态) 上面的定义是在 全-可观察设定下的，这种情形下的 agent 能够获得系统的全部状态。在 部分-可观察设定下，agent 只能在每个时间步获得一个观察(y)，这个观察可能是一个状态的噪声和不完全的信息。agent 可以将许多前期时间步信息进行组合，所以行动 依赖于前期历史 ；我们将历史记作 。 (初始状态和观察) … ( 是一个终止状态) 如果我们称历史 为系统的状态，那么这个部分-可观察设定等价于 全-可观察设定。因此，能够应用在 全-可观察设定下的 RL 算法同样能应用在 部分-可观察设定中，而无需做任何大的变动――所以，对算法的讨论就可以假设在全-可观察设定下。参考[BertsekasVol1] 对部分-可观察 MDP 如何规约到 MDP 的更加形式化的讨论。 在实际应用中，不适用整个原始的行动和观察的历史数据，agent 使用一个循环神经网络（RNN）将观察历史编码为一个定长向量 ，你可以将这个向量看成是 agent 的“短期记忆(short-term memory)”。 为了更加方便的表述问题，我们给出下面的包含将会使用到的符号的表格。 s 状态

a 行动

r 收益

y 观察

轨迹

策略

策略参数

R 总收益

平均估计

V 状态-值函数

P 转换概率

2 黑盒优化和交叉熵方法 很多强化学习问题可以被描述为下面的优化问题：

，其中 是一个回合的总收益，行动是根据策略 选择出来的。 （注意到我们可以仅仅使用一个确定的策略 ；但是上面的随机形式是可以推广使用的。） 最简单的方式就是把整个问题看做一个关于策略参数 的“黑盒”优化问题。也就是说，我们有一个参数向量 包含所有 agent 的参数，我们可以得到目标函数 的带噪声的评价（evaluation）。我们称此为 黑盒 优化问题因为我们并不假设任何关于目标计算的知识，或者这是一个连续函数；我们仅仅通过在不同的输入 进行查询来学习这个函数。黑盒优化可以用下面一般的形式描述： 其中我们通过重复提供参数 来获得关于函数 的信息；然后采样出未观察噪声随机变量 ，获得值 。（如果是在计算机模拟中计算 ， 可以对应于随机数生成器。） 在 RL 设定中，因为 是维度很高，黑盒方法（或者无导数优化算法）通常比其他 RL 算法（探索问题结构型的）低效。但是，在实际应用中，在小的问题上常常表现得很好，也是最为容易实现的算法。 交叉熵方法（CEM）是简单的黑盒优化算法。CEM 通过重复更新在候选参数向量 上的高斯分布的均值和方差进行。 最简单的算法描述如下： Algorithm 1: 交叉熵方法 CEM 初始化 , 迭代 采样 样本 对每个样本执行噪声的评价 选择前 样本 (e.g. )，称为“精英集合（elite set）” 用精英集合拟合一个高斯分布，使用对角协方差，得到新的 返回最终的

更多细节和实践中的提升可以在[SzitaLorincz06]中找到。在 RL 设定中，我们通过对一个或者更多的回合执行策略参数化评价

，并计算总收益。 2.1 练习 (实践 *) 实现交叉熵方法，将其应用在CartPole 环境中。 (实践 ) 将其应用在 Swimmer 环境中，这是一个连续行动空间的情形。尝试人工增加方差和逐步降低噪声为 0，如[SzitaLorincz06] (理论 ) CEM 的一个弱点是精英集合中的元素可能已经碰巧选中，如幸运地成为

\zeta

的样本。 实际上，这会让

heta

在

f

中产生高方差。所以，CEM 不会收敛到一个 的局部最大值点。解释为何 CEM 不能收敛到 的局部最大值点 证明如果 是确定性的（即，如果不依赖于噪声 ），那么 CEM 不会收敛到一个局部最大值点 在随机情形下，什么目标函数让 CEM 收敛到一个局部最优值点？ 你能不能设计出一个算法通过在多个不同的 处评价同样的噪声样本 在多个不同的 处解决这个问题？

更多的信息参见[GoschinWeinsteinLittman13] 2.2 笔记 你可能会想为何 CEM 叫这个名字。该名称最早来自积分估计的一种方法，你可以参考[Owen14]的第 10 章。 3 策略梯度 策略梯度算法通过梯度下降进行优化。就是说，通过重复计算策略的期望回报梯度的噪声估计，然后按照梯度方向来更新策略。该方法比其他 RL 方法（如 Q-学习）更有利主要是我们可以直接优化感兴趣的量――策略的期望总收益。该类方法由于梯度估计的高方差长期被认为不太实用，直到最近，[SchulmanEtAl15]和 [MnihEtAl16]等工作展示了神经网络策略在困难的控制问题上的采用策略梯度方法的成功应用。 3.1 直觉解释 你可能比较熟悉概率模型的监督学习，其中目标是最大化给定输入(x) 时的输出 (y) 的对数概率。

策略梯度方法通常需要假设一个随机策略，该策略给出了对每个状态 (s) 的行动 (a) 上的概率分布；我们将此分布写作 。 如果我们知道对每个状态正确的行动 ，我们可以简单地最大化监督学习的目标函数： 然而，我们并不知道正确的行动。相反，我们会尝试对行动好坏进行粗略的猜测，试着去增加好的行动的概率。更加具体地讲，假设我们刚收集完 agent 和环境一个 agent 和环境回合的交互，所以我们有了一个状态、行动和收益的序列：。令 表示收益的和：。最简单的策略梯度公式就是： 使用这个梯度的估计 ，我们可以用一个梯度上升的步骤，