了解点OpenAI及深度学习研究前沿
OpenAI是2015年底刚成立的人工智能公司，由Elon Musk领投，号称有10亿美金的投资额，由几位人工智能的顶尖好手组成。这基本上意味着一个新的DeepMind公司诞生，只不过这次OpenAI是一个组织，不属于任何一个公司。
为什么要了解OpenAI？
因为OpenAI的研究内容很大程度上代表着人工智能的研究方向，由于其非盈利性质以及地处加州硅谷这种黄金地段，未来聚集更多顶尖人才的可能性很大，成为一个和DeepMind公司抗衡的可能性非常大。OpenAI的出现将使顶级人工智能的研究不至于被Google（主要是Google，当然还有Microsoft，Facebook，Baidu，IBM，Nvidia等等）垄断。
OpenAI网址：www.openai.com OpenAI AMA: AMA网址
OpenAI的很多成员恐怕大家都比较熟悉，有Hinton的学生，有李飞飞的学生，有Pieter Abbeel的学生，也就是Andrew Ng的徒孙了。最近Ian Goodfellow大牛也加入，DeepLearning那本书就是他主笔的。
了解OpenAI最重要的是了解人工智能的研究前沿。
OpenAI提了三点： - Training Generative Models - algorithms for inferring algorithms from data - new approaches to reinforcement learning
那么这三类分别代表什么呢？
第一类面向生成模型，主要任务是生成新的信息，既有有监督学习，也有无监督学习。比如Sequence to Sequence Learning。翻译：输入英文，输出中文。聊天：输入A对话，输出B对话。 输入文字，输出手写字体。还有自动生成文字（如上图，来自otoro.net），音乐，艺术(Deep dream,Neural Art)。。。 这里面也包含了one shot learning。也就是看一眼图像，就衍生出其变种,如下图：
那么这方面的研究意义在哪呢？我的观点是探索人工智能的感知能力。一方面是不同类型数据的感知，一方面是快速感知与学习。对于不同类型数据的感知。以前只是图像识别，现在开始识别艺术特征，也可以识别文字信息的特征用于翻译对话等等。然后我们发现RNN简直无敌，什么信息都能自动提取。对于同一个seq2seq网络，用在翻译，聊天，理解炉石传说的卡片。。。 RNN可以理解任意形式的内容。另一方面我们希望能够想人类一样快速感知，而不需要巨量的训练数据，也就是看一眼就认得。
本质上基于RNN计算机可以学习任何东西，那么当然也包括算法和程序了。所以Neural Turing Machine是目的是让计算机能够学习程序，从而具备推理能力。举个栗子：让计算机看很多加法运算，然后学会加法，这大概是最简单的例子。但基本是这个意思。那么Neural Turing Machine需要具备外部记忆，不过RNN，LSTM本身就具备记忆功能。想象一下未来的电脑真的变成一个“脑”：一个巨大的神经网络来实现输入输出。。
上一类研究问题是实现AI更强的感知能力，那么这一类问题就更变态了，直接要实现AI不仅能理解还能推导。当然本质上和第一类问题是一样的。感知也是一种理解。归根到底都是提取某种特征或者说知识信息,并且具备生成能力。依然是用RNN，目前最新的是基于增强学习的NTM。也就是说也通过自学习来增强理解。
这一部分的研究还面向公式的证明，但这次是使用神经网络来证明公式。 其实只要能通过RNN使计算机具备理解能力，那么做什么事都一样。
上面两类问题主要依赖于现有知识，目的是使AI具备牛逼的学习能力。但是要使AI超越人类，就需要自我学习。大家知道AlphaGo能够自我学习，关键就是利用增强学习Reinforcement Learning. 因此，这部分Deep Reinforcement Learning，重点在于使用增强学习实现自学习能力。有很多任务并不是提供很多的样本，特别在机器人控制领域。这类问题严重需要自学习能力。也就是类比为人类的运动能力。大家知道我们要打篮球打得好需要长期的练习，并不是看一眼就会的。因此，Deep Reinforcement Learning，通往AGI的终极武器，要使AI具备自我学习的能力，只要给定一个目标。
人工智能的发展超出了想象，OpenAI的研究方向的进展将使人工智能具备更强的学习能力，也可以说是智能水平！三种类型的研究方向其实都相互依赖，只是各有侧重，都非常酷。而这些东西的本源是RNN。又让人想到了Jurgen Schmidbuber这个神牛了。
在这三个方向中挑一个搞都将很有意义！
互联网行业：摩根士丹利-北美互联网行业ChatGPT：这是什么？为什么它很重要？这是谷歌威胁吗...以及更广泛的行业影响（英译中）-221212
摩根士丹利是做什么的,摩根士丹利最新调研,摩根士丹利主要业务,摩根士丹利调研什么样公司尊敬的用户您好！ 为了让您更全面、更快捷、更深度的使用本服务，请您"立即下载" 安装《慧博智能策略终端》 使用终端不仅可以免费查阅各大机构的研究报告，第一手的投资资讯，还提供大量研报加工数据，盈利预测数据，历史财务数据，宏观经济数据，以及宏观及行业研究思路，公司研究方法，可多角度观测市场，用更多维度的视点辅助投资者作出投资决策。 目前本终端广泛应用于券商，公募基金，私募基金，保险，银行理财，信托，QFII，上市公司战略部，资产管理公司，投资咨询公司，VC/PE等。
人工智能强化学习 09｜准备上码
人工智能强化算法,人工智能强化训练,人工智能强校,人工智能推进如果你已经认真读完之前的八篇强化学习文章，那你几乎掌握了强化学习的大部分知识框架，从现在开始，需要的仅仅是不断练习。强化学习有一个很严重的缺陷，这个缺陷就是AI学习到的经验无法复用，这取决于环境的特异性。但是聪明的我们——人类，是可以复用经验来解决相似类型的问题的，例如我们只需要精通一款MOBA游戏，在其他MOBA游戏中就是毫无疑问的王者。所以学习实践强化学习的最好方法，就是在不同的环境中建立AI，实现强化学习，并查看它们之间的差异。
-
OpenAI
OpenAI是由诸多硅谷大亨联合创建的人工智能非营利组织。2015年马斯克与其他硅谷科技大亨进行连续对话后，决定共同创建OpenAI，希望能够预防人工智能的灾难性影响，推动人工智能发挥积极作用。在OpenAI的Github页面中，我们可以看出世界顶尖的AI研究人员对强化学习的无限期望。
图1. Open的Git
如上图所示，baselines是关于强化学习的基本算法高质量实现代码，而 roboschool 是OpenAI最新的机器人高级仿真环境，专门用来训练给予强化学习的高复杂度机器人任务。Mujuco-py则是针对Mujuco 模拟环境，即奔跑的小人、双足与四组动物，来训练强化学习AI的实现代码。
图2. Mujuco环境
-
GYM
GYM则是由OpenAI维护更容易上手的强化学习实践环境，GYM内置了许多模拟环境，并且让这些环境的使用方式变得统一化。这样一来，玩家就可以投放更多精力在强化学习的配置上，而不用操心为各种环境书写代码。
图3. Gym
GYM官方的描述是这样的“Gym是用于开发和比较强化学习算法的工具包。它支持AI从简单步行到玩Pong或Pinball等游戏。”而我们在前几节课使用的冰湖游戏环境也在其中，所属类型为Toy text，即文本游戏。GYM的环境还包含了传统的平衡杆与小车游戏，以及怀旧系列的Atari 2600游戏等。
图4. 冰湖游戏
-
安装GYM
安装GYM非常简单，直接在命令行中使用PIP工具即可，即“pip install gym”。只不过GYM中的一些高级环境需要进一步的安装，而且有些环境是没有编译好的Windows安装源的，所以我们还是推荐大家使用Linux系统来玩GYM。在下节课中，我们会讲解冰湖游戏的具体运行代码，还望大家都能够安装GYM,做好上码前的准备哦。
（The End）
