2023年11月20日 每日一猜答案：。 答案：ABC。
每日一猜答案分析：

ai技术合成民族服装

一文读懂 AI 绘画的过去和现在。

作者：城主

编者按：

随着 AI 技术的发展，它在不断进化的过程中，也不断「取代」了很多工作。

通常的观点认为，AI 只能取代重复性劳动的工作，像是文学、绘画这样的艺术创作，AI 很难胜任。

但是，近两年各种 AI 绘画内容生成模型不断出现，简单收入几个单词，AI 就能生成可以「打败 98% 人类画家」的作品，且可以任意切换风格。

「机器作画」已经有超过 50 年的历史，为什么在短短两年，AI 的绘画功力能够取得如此进展，甚至「乱拳打死老师傅」？

01

2022，进击

的 AI 绘画

今年以来, 输入文本描述自动生成图片的 AI 绘画神器突然雨后春笋的冒了出来。

首先是 Disco Diffusion。

Disco Diffusion 是在今年 2 月初开始爆红的一个 AI 图像生成程序，它可以根据描述场景的关键词渲染出对应的图像：

到了今年 4 月, 著名人工智能团队 OpenAI 也发布了新模型 DALL・E 2 代，该名称来源于著名画家达利（Dalí）和机器人总动员（Wall-E），同样支持从文本描述生成效果良好的图像。

而很多读者对 AI 绘画开始产生特别的关注，或许是从以下这幅 AI 作品闹出的新闻开始的：

这是一幅使用 AI 绘画服务 MidJourney 生成的数字油画，生成它的用户以这幅画参加美国科罗拉多州博览会的艺术比赛，夺得了第一名。这件事被曝光之后引发了网络上巨大的争论至今。

目前 AI 绘画的技术仍在不断变化发展中，其迭代之快，完全可以用「日新月异」来形容。 即使把今年年初的 AI 绘画和现在相比, 效果也有天壤之别。

在年初的时候, 用 Disco Diffusion 可以生成一些很有氛围感的草图, 但基本还无法生成人脸; 仅仅 2 个月后, DALL-E 2 已经可以生成准确的五官; 现在, 最强大的 Stable Diffusion 在画作的精致程度和作画速度上更是有了一个量级的变化。

AI 绘画这项技术并不是近年才有的, 但是今年以来, AI 产出作品的质量以肉眼可见的速度日益提升, 而效率也从年初的一个小时缩短到现在的十几秒。

在这个变化后面, 究竟发生了什么事情? 就让我们先全面回顾一下 AI 绘画的历史, 再来理解一下, 这一年多来, AI 绘画技术足以载入史册的突破发展。

02

AI绘画的历史

AI 绘画的出现时间可能比很多人想象的要早。

计算机是上世纪 60 年代出现的, 而就在 70 年代, 一位艺术家，哈罗德・科恩 Harold Cohen（画家，加利福尼亚大学圣地亚哥分校的教授) 就开始打造电脑程序「AARON」进行绘画创作。 只是和当下 AI 绘画输出数字作品有所不同, AARON 是真的去控制一个机械臂来作画的。

Harold 对 AARON 的改进一直持续了几十年, 直到他离世。在 80 年代的时候, ARRON「掌握」了三维物体的绘制; 90 年代时, AARON 能够使用多种颜色进行绘画, 据称直到今天, ARRON 仍然在创作。

不过, AARON 的代码没有开源, 所以其作画的细节无从知晓, 但可以猜测, ARRON 只是以一种复杂的编程方式描述了作者 Harold 本人对绘画的理解 -- 这也是为什么 ARRON 经过几十年的学习迭代，最后仍然只能产生色彩艳丽的抽象派风格画作，这正是 Harold Cohen 本人的抽象色彩绘画风格。Harold 用了几十年时间, 把自己对艺术的理解和表现方式通过程序指导机械臂呈现在了画布上。

左：ARRON 和哈罗德・科恩 右: ARRON 在 1992 年的创作作品

尽管难说 AARON 如何智能, 但作为第一个自动作画且真的在画布上作画的程序, 给予它一个 AI 作画鼻祖的称号, 倒也符合其身份。

2006 年, 出现了一个类似 ARRON 的电脑绘画产品 The Painting Fool。它可以观察照片, 提取照片里的块颜色信息, 使用现实中的绘画材料如油漆, 粉彩或者和铅笔等进行创作。

以上这两个例子算是比较「古典」方式的电脑自动绘画, 有点像一个学步的婴儿, 有一点样子, 但从智能化的角度来看是相当初级的。

而现在, 我们所说的「AI绘画」概念, 更多指的是基于深度学习模型来进行自动作图的计算机程序。这个绘画方式的发展其实是比较晚的。

2012 年 Google 两位大名鼎鼎的 AI 大神, 吴恩达和 Jeff Dean 进行了一场空前的试验, 联手使用 1.6 万个 CPU 训练了一个当时世界上最大的深度学习网络, 用来指导计算机画出猫脸图片。 当时他们使用了来自 youtube 的 1000 万个猫脸图片, 1.6 万个 CPU 整整训练了 3 天, 最终得到的模型, 令人振奋的可以生成一个非常模糊的猫脸。

在今天看起来, 这个模型的训练效率和输出结果都不值一提。但对于当时的 AI 研究领域, 这是一次具有突破意义的尝试, 正式开启了深度学习模型支持的 AI 绘画这个「全新」研究方向。

在这里我们稍微讲一点技术细节: 基于深度学习模型的 AI 绘画究竟有多麻烦呢, 为什么 2012 年已经很现代水平的大规模计算机集群耗时多天的训练只能得出一点可怜的结果?

读者们或许有个基本概念, 深度学习模型的训练简单说来就是利用外部大量标注好的训练数据输入, 根据输入和所对应的预期输出, 反复调整模型内部参数加以匹配的过程。

那么让 AI 学会绘画的过程, 就是构建已有画作的训练数据, 输入 AI 模型进行参数迭代调整的过程。

一幅画带有多少信息呢? 首先就是长 x 宽个 RGB 像素点。让计算机学绘画, 最简单的出发点，是得到一个输出有规律像素组合的AI模型。

但 RGB 像素组合一起的并非都是画作, 也可能只是噪点。 一副纹理丰富, 笔触自然的画作有很多笔画完成, 涉及绘画中每一笔的位置, 形状, 颜色等多个方面的参数, 这里涉及到的参数组合是非常庞大的。 而深度模型训练的计算复杂度随着参数输入组合的增长而急剧增长... 大家可以理解这个事情为啥不简单了。

在吴恩达和 Jeff Dean 开创性的猫脸生成模型之后, AI 科学家们开始前赴后继投入到这个新的挑战性领域里。在 2014 年, AI 学术界提出了一个非常重要的深度学习模型, 这就是大名鼎鼎的对抗生成网络 GAN (Generative Adverserial Network, GAN)。

正如同其名字「对抗生成」, 这个深度学习模型的核心理念是让两个内部程序「生成器 (generator)」 和「判别器 (discriminator)」互相 PK 平衡之后得到结果。

GAN 模型一问世就风靡 AI 学术界, 在多个领域得到了广泛的应用。 它也随即成为了很多 AI 绘画模型的基础框架, 其中生成器用来生成图片, 而判别器用来判断图片质量。GAN 的出现大大推动了 AI 绘画的发展。

但是, 用基础的 GAN 模型进行 AI 绘画也有比较明显的缺陷, 一方面是对输出结果的控制力很弱, 容易产生随机图像, 而 AI 艺术家的输出应该是稳定的。 另外一个问题是生成图像的分辨率比较低。

分辨率的问题还好说, GAN 在「创作」这个点上还存在一个死结, 这个结恰恰是其自身的核心特点: 根据 GAN 基本架构，判别器要判断产生的图像是否和已经提供给判别器的其他图像是同一个类别的, 这就决定了在最好的情况下, 输出的图像也就是对现有作品的模仿, 而不是创新。

在对抗生成网络 GAN 之外, 研究人员也开始利用其他种类的深度学习模型来尝试教 AI 绘画。

一个比较著名的例子是 2015 年 Google 发布的一个图像工具深梦 (Deep Dream)。深梦发布了一系列画作, 一时吸引了很多眼球。谷歌甚至为这个深梦的作品策划了一场画展。

但如果较真一下, 深梦与其说是 AI 绘画, 更像是一个高级 AI 版滤镜, 其滤镜风格一看上面的作品便可明白。

和作品不尴不尬的 Deep Dream 相比, Google 更靠谱的是 2017 年成千张手绘简笔画图片训练的一个模型, AI 通过训练能够绘制一些简笔画。 (Google,《A Neural Representation of Sketch Drawings》)

这个模型之所以受到广泛关注有一个原因, Google 把相关源代码开源了, 因此第三方开发者可以基于该模型开发有趣的 AI 简笔画应用。一个在线应用叫做「Draw Together with a Neural Network」，随意画几笔，AI 就可以自动帮你补充完整个图形。

值得注意的是, 在 AI 绘画模型的研究过程中, 各互联网大厂成了主力, 除了上述 Google 所做的研究, 比较有名的是 2017 年 7 月, Facebook 联合罗格斯大学和查尔斯顿学院艺术史系三方合作得到的新模型, 号称创造性对抗网络 (CAN, Creative Adversarial Networks)

(Facebook,《CAN: Creative Adversarial Networks, Generating 「Art」 by Learning About Styles and Deviating from Style Norms》)

从下图的作品集可以看出，这个创造性对抗网络 CAN 在尝试输出一些像是艺术家作品的图画，它们是独一无二的，而不是现存艺术作品的仿品。

CAN 模型生成作品里所体现的创造性让当时的开发研究人员都感到震惊, 因为这些作品看起来和艺术圈子流行的抽象画非常类似。于是研究人员组织了一场图灵测试，请观众们去猜这些作品是人类艺术家的作品，还是人工智能的创作。

结果, 53% 的观众认为 CAN 模型的AI艺术作品出自人类之手, 这在历史上类似的图灵测试里首次突破半数。

但 CAN 这个 AI 作画, 仅限于一些抽象表达, 而且就艺术性评分而言, 还远远达不到人类大师的水平。

更不用说创作出一些写实或者具象的绘画作品了, 不存在的。

其实一直到 2021 年初, OpenAI 发布了广受关注的 DALL-E 系统, 其 AI 绘画的水平也就一般, 下面是 DALL-E 画一只狐狸的结果, 勉强可以辨别。

但值得注意的是, 到了 DALL-E 这里, AI开始拥有了一个重要的能力, 那就是可以按照文字输入提示来进行创作了!

接下来, 我们继续去探求本文一开始提出的问题。不知各位读者是否有同感, 自今年以来, AI 绘画的水平突然大涨, 和之前的作品质量相比有本质的飞跃, 恍然有种一日不见如隔三秋的感觉。

究竟发生了什么?

03

AI绘画何以突飞猛进

在很多科幻电影或剧集里, 往往会有这么一幕, 主角和特别有科幻感的电脑 AI 说了一句话, 然后 AI 生成了一个 3D 影像, 用 VR/AR/全息投影的方式呈现在主角面前。

抛开那些酷炫的视觉效果包装, 这里的核心能力是, 人类用语言输入, 然后电脑 AI 理解人类的表达, 生成一个符合要求的图形图像, 展示给人类。

仔细一想, 这个能力最基础的形式, 就是一个 AI 绘画的概念嘛。(当然, 从平面绘画到 3D 生成还稍有一点距离, 但相比于 AI 凭空创作一幅具象有意义的绘画作品的难度, 从 2D 图自动生成对应的 3D 模型就不是一个量级上的问题)

所以, 无论是用说话控制, 还是更玄乎的脑电波控制, 科幻影视中的酷炫场景实际上描述了一种 AI 能力 , 那就是把「语言描述」 通过 AI 理解自动变为了图像。目前语音自动识别文本的技术已经成熟至极, 所以这本质上就是一个从文本到图像的 AI 绘画过程。

仅靠文字描述, 没有任何参考图片, AI 就能理解并自动把对应内容给画出来了, 而且画得越来越好! 这在昨天还感觉有点远的事情, 现在已真真切切出现在所有人的面前。

这一切到底怎么发生的呢?

首先要提到一个新模型的诞生。还是前面提到的 OpenAI 团队, 在 2021 年 1 月开源了新的深度学习模型 CLIP（Contrastive Language-Image Pre-Training)。一个当今最先进的图像分类人工智能。

CLIP 训练 AI 同时做了两个事情, 一个是自然语言理解, 一个是计算机视觉分析。它被设计成一个有特定用途的能力强大的工具, 那就是做通用的图像分类, CLIP 可以决定图像和文字提示的对应程度, 比如把猫的图像和「猫」这个词完全匹配起来。

CLIP 模型的训练过程, 简单的说, 就是使用已经标注好的「文字-图像」训练数据, 一方面对文字进行模型训练, 一方面对图像进行另一个模型的训练, 不断调整两个模型内部参数, 使得模型分别输出的文字特征值和图像特征值能让对应的「文字-图像」经过简单验证确认匹配。

关键的地方来了, 其实呢, 之前也有人尝试过训练「文字-图像」 匹配的模型, 但 CLIP 最大的不同是, 它搜刮了 40 亿个「文本-图像」训练数据! 通过这天量的数据, 再砸入让人咂舌的昂贵训练时间, CLIP 模型终于修成正果。

聪明的读者会问, 这么多的「文本-图像」标记是谁做的呢? 40 亿张啊, 如果都需要人工来标记图像相关文字, 那时间成本和人力成本都是天价。而这正是 CLIP 最聪明的地方, 它用的是广泛散布在互联网上的图片。

互联网上的图片一般都带有各种文本描述, 比如标题, 注释, 甚至用户打的标签, 等等, 这就天然的成为了可用的训练样本。用这个特别机灵的方式, CLIP 的训练过程完全避免了最昂贵费时的人工标注, 或者说, 全世界的互联网用户已经提前做了标注工作了。

CLIP 功能强大, 但无论如何, 它第一眼看上去, 和艺术创作似乎没啥关系。

但就在 CLIP 开源发布几天后, 一些机器学习工程师玩家就意识到, 这个模型可以用来做更多的事情。比如 Ryan Murdock, 想出了如何把其他 AI 连接到 CLIP 上, 来打造一个 AI 图像生成器。Ryan Murdock 在接受采访时说：「在我把玩它几天后，我意识到我可以生成图像。」

最终他选择了 BigGAN, 一个 GAN 模型的变种, 并将代码发布为 Colab 笔记 The Big Sleep。

( 注: Colab Notebook 是 Google 提供的非常方便的 Python Notebook 交互式编程笔记本在线服务, 背后是 Google 云计算的支持。略懂技术的用户可以在一个类似笔记本的 Web 界面上编辑运行 Python 脚本并得到输出。重要的是, 这个编程笔记是可以分享的 )

Big Sleep 创作的图画其实略诡异和抽象, 但这是一个很好的开始。

随后, 西班牙玩家 @RiversHaveWings 在此基础上发布了 CLIP+VQGAN 的版本和教程, 这个版本通过 Twitter 被广为转发传播, 引起了 AI 研究界和爱好者们的高度关注。而这个 ID 背后, 正是现在所被熟知的计算机数据科学家 Katherine Crowson。

在之前，类似 VQ-GAN 这样的生成工具在对大量图像进行训练后，可以合成类似的新图像，然而，如读者还有印象, 前面说过, GANs 类型的模型本身并不能通过文字提示生成新图像, 也不擅长创作出全新的图像内容。

而把 CLIP 嫁接到 GAN 上去生成图像, 这其中的思路倒也简单明了:

既然利用 CLIP 可以计算出任意一串文字和哪些图像特征值相匹配, 那只要把这个匹配验证过程链接到负责生成图像的 AI 模型 (比如这里是 VQ-GAN), , 负责生成图像的模型反过来推导一个产生合适图像特征值, 能通过匹配验证的图像, 不就得到一幅符合文字描述的作品了吗?

有人认为 CLIP+VQGAN 是自 2015 年 Deep Dream 以来人工智能艺术领域最大的创新。而美妙的是, CLIP+

ai原创生成工具 ai短视频制作自动发布

ai原创生成器,ai伪原创,ai文章生成器源码,原创ai合成

在这篇文章中，我想展示如何借助不同的软件工具从 Youtube 上发布的新闻剪辑中全自动生成包含文本和图像的新闻文章。使用当前用于处理媒体数据的 AI 模型，例如 OpenAI Whisper、OpenAI GPT3 和 Stable Diffusion。

OpenAI Whisper 是最近发布的模型，用于将音频数据转换为具有前所未有质量的书面文本。它已作为开源软件免费提供，并可作为 Python 库下载，网址为

大语言模型中的经典“GPT3”并非免费提供，但可以通过付费 API 集成。我在这里使用它来创建一个简短的摘要，其中包含基本新闻事实和提取文本的新闻标题。

处理的第三部分是为帖子创建图像。我不使用 Youtube 视频中的任何帧，而是在生成图像模型的帮助下创建合成图像。在这里，我没有使用 OpenAI 变体“Dalle 2”，它也可以通过付费 API 获得，而是使用开源替代品“Stable Diffusion”。这可以从 Github 在

为了使用 Python 访问 Youtube 视频的内容，我使用包“PyTube”

以下代码通过 BBC 新闻下载视频的音频部分并将其保存到文件中。

AI基础：深度强化学习之路

ai强化训练,ai深度训练

本文来源：深度强化学习实验室

作者：侯宇清，陈玉荣

深度强化学习是深度学习与强化学习相结合的产物，它集成了深度学习在视觉等感知问题上强大的理解能力，以及强化学习的决策能力，实现了端到端学习。深度强化学习的出现使得强化学习技术真正走向实用，得以解决现实场景中的复杂问题。从2013年DQN（深度Q网络，deep Q network）出现到目前为止，深度强化学习领域出现了大量的算法，以及解决实际应用问题的论文，本文将阐述深度强化学习的发展现状，并对未来进行展望。

我正在编写AI基础系列，目前已经发布：

AI 基础：简易数学入门

AI 基础：Python开发环境设置和小技巧

AI 基础：Python 简易入门

AI 基础：正则表达式

AI 基础：Numpy 简易入门

AI 基础：Pandas 简易入门

AI 基础：Scipy(科学计算库) 简易入门

AI基础：数据可视化简易入门（matplotlib和seaborn）

AI基础：机器学习库Scikit-learn的使用

AI基础：机器学习简易入门

AI基础：机器学习的损失函数

AI基础：机器学习和深度学习的练习数据

AI基础：特征工程-类别特征

AI基础：特征工程-数字特征处理

AI基础：自然语言处理基础之序列模型

AI基础：特征工程-文本特征处理

AI基础：词嵌入基础和Word2Vec

AI基础：图解Transformer

AI基础：一文看懂BERT

AI基础：入门人工智能必看的论文

AI基础：走进深度学习

AI基础：优化算法

AI基础：卷积神经网络

AI基础：经典卷积神经网络

AI基础：深度学习论文阅读路线（127篇经典论文下载）

AI基础：数据增强方法综述

AI基础：论文写作工具

后续持续更新

|| 一、深度强化学习的泡沫

2015 年，DeepMind 的 Volodymyr Mnih 等研究员在《自然》杂志上发表论文 Human-level control through deep reinforcement learning[1]，该论文提出了一个结合深度学习（DL）技术和强化学习（RL）思想的模型 Deep Q-Network(DQN)，在 Atari 游戏平台上展示出超越人类水平的表现。自此以后，结合 DL 与 RL 的深度强化学习（Deep Reinforcement Learning, DRL）迅速成为人工智能界的焦点。

过去三年间，DRL 算法在不同领域大显神通：在视频游戏 [1]、棋类游戏上打败人类顶尖高手 [2,3]；控制复杂的机械进行操作 [4]；调配网络资源 [5]；为数据中心大幅节能 [6]；甚至对机器学习算法自动调参 [7]。各大高校和企业纷纷参与其中，提出了眼花缭乱的 DRL 算法和应用。可以说，过去三年是 DRL 的爆红期。DeepMind 负责 AlphaGo 项目的研究员 David Silver 喊出“AI = RL + DL”，认为结合了 DL 的表示能力与 RL 的推理能力的 DRL 将会是人工智能的终极答案。

1.1? DRL 的可复现性危机

然而，研究人员在最近半年开始了对 DRL 的反思。由于发表的文献中往往不提供重要参数设置和工程解决方案的细节，很多算法都难以复现。2017 年 9 月，著名 RL 专家 Doina Precup 和 Joelle Pineau 所领导的的研究组发表了论文 Deep Reinforcement Learning that Matters[8]，直指当前 DRL 领域论文数量多却水分大、实验难以复现等问题。该文在学术界和工业界引发热烈反响。很多人对此表示认同，并对 DRL 的实际能力产生强烈怀疑。

其实，这并非 Precup& Pineau 研究组第一次对 DRL 发难。早在 2 个月前，该研究组就通过充足的实验对造成 DRL 算法难以复现的多个要素加以研究，并将研究成果撰写成文 Reproducibility of Benchmarked Deep Reinforcement Learning Tasks for Continuous Control[9]。同年 8 月，他们在 ICML 2017 上作了题为“Reproducibility of Policy Gradient Methods for Continuous Control”的报告 [10]，通过实例详细展示了在复现多个基于策略梯度的算法的过程中，由于种种不确定性因素导致的复现困难。12 月，在万众瞩目的 NIPS 2017 DRL 专题研讨会上，Joelle Pineau 受邀作了题为“Reproducibility of DRL and Beyond”的报告 [11]。报告中，Pineau 先介绍了当前科研领域的“可复现性危机” ：在《自然》杂志的一项调查中，90% 的被访者认为“可复现性”问题是科研领域存在的危机，其中，52% 的被访者认为这个问题很严重。在另一项调查中，不同领域的研究者几乎都有很高的比例无法复现他人甚至自己过去的实验。可见“可复现性危机”有多么严峻！Pineau 针对机器学习领域发起的一项调研显示，同样有 90% 的研究者认识到了这个危机。

机器学习领域存在严重的“可复现性危机”[11]

随后，针对 DRL 领域，Pineau 展示了该研究组对当前不同 DRL 算法的大量可复现性实验。实验结果表明，不同 DRL 算法在不同任务、不同超参数、不同随机种子下的效果大相径庭。在报告后半段，Pineau 呼吁学界关注“可复现性危机”这一问题，并根据她的调研结果，提出了 12 条检验算法“可复现性”的准则，宣布计划在 ICLR 2018 开始举办“可复现实验挑战赛”（“可复现危机”在其他机器学习领域也受到了关注，ICML 2017 已经举办了 Reproducibility in Machine Learning Workshop，并将在今年继续举办第二届），旨在鼓励研究者做出真正扎实的工作，抑制机器学习领域的泡沫。Pineau & Precup 研究组的这一系列研究获得了广泛关注。

Pineau 基于大量调查提出的检验算法“可复现性”准则 [11]

1.2 DRL 研究存在多少坑？

同样在 12 月，Reddit 论坛上也开展了关于机器学习不正之风的热烈讨论 [12]。有人点名指出，某些 DRL 代表性算法之所以在模拟器中取得了优秀却难以复现的表现，是因为作者们涉嫌在实验中修改模拟器的物理模型，却在论文中对此避而不谈。

对现有 DRL 算法的批判浪潮仍旧不断涌来。2018 年的情人节当天，曾经就读于伯克利人工智能研究实验室（Berkeley Artificial Intelligence Research Lab, BAIR）的 Alexirpan 通过一篇博文 Deep Reinforcement Learning Doesn't Work Yet[13] 给 DRL 圈送来了一份苦涩的礼物。他在文中通过多个例子，从实验角度总结了 DRL 算法存在的几大问题：

• 样本利用率非常低；

• 最终表现不够好，经常比不过基于模型的方法；

• 好的奖励函数难以设计；

• 难以平衡“探索”和“利用”, 以致算法陷入局部极小；

• 对环境的过拟合；

• 灾难性的不稳定性…

虽然作者在文章结尾试着提出 DRL 下一步应该解决的一系列问题，很多人还是把这篇文章看做 DRL 的“劝退文”。几天后，GIT 的博士生 Himanshu Sahni 发表博文 Reinforcement Learning never worked, and 'deep'>

另一位 DRL 研究者 Matthew Rahtz 则通过讲述自己试图复现一个 DRL 算法的坎坷历程来回应 Alexirpan，让大家深刻体会了复现 DRL 算法有多么难 [15]。半年前，Rahtz 出于研究兴趣，选择对 OpenAI 的论文 Deep Reinforcement Learning from Human Preferences 进行复现。在复现的过程中，几乎踩了 Alexirpan 总结的所有的坑。他认为复现 DRL 算法与其是一个工程问题，更不如说像一个数学问题。“它更像是你在解决一个谜题，没有规律可循，唯一的方法是不断尝试，直到灵感出现彻底搞明白。……很多看上去无关紧要的小细节成了唯一的线索……做好每次卡住好几周的准备。”Rahtz 在复现的过程中积累了很多宝贵的工程经验，但整个过程的难度还是让他花费了大量的金钱以及时间。他充分调动不同的计算资源，包括学校的机房资源、Google 云计算引擎和 FloydHub，总共花费高达 850 美元。可就算这样，原定于 3 个月完成的项目，最终用了 8 个月，其中大量时间用在调试上。

复现 DRL 算法的实际时间远多于预计时间 [15]

Rahtz 最终实现了复现论文的目标。他的博文除了给读者详细总结了一路走来的各种宝贵工程经验，更让大家从一个具体事例感受到了 DRL 研究实际上存在多大的泡沫、有多少的坑。有人评论到，“DRL 的成功可能不是因为其真的有效，而是因为人们花了大力气。”

很多著名学者也纷纷加入讨论。目前普遍的观点是，DRL 可能有 AI 领域最大的泡沫。机器学习专家 Jacob Andreas 发了一条意味深长的 tweet 说：

Jacob Andreas 对 DRL 的吐槽

DRL 的成功归因于它是机器学习界中唯一一种允许在测试集上训练的方法。

从 Pineau & Precup 打响第一枪到现在的 1 年多时间里，DRL 被锤得千疮百孔，从万众瞩目到被普遍看衰。就在笔者准备投稿这篇文章的时候，Pineau 又受邀在 ICLR 2018 上作了一个题为 Reproducibility, Reusability, and Robustness in DRL 的报告 [16]，并且正式开始举办“可复现实验挑战赛”。看来学界对 DRL 的吐槽将会持续，负面评论还将持续发酵。那么， DRL 的问题根结在哪里？前景真的如此黯淡吗？如果不与深度学习结合，RL 的出路又在哪里？

在大家纷纷吐槽 DRL 的时候，著名的优化专家 Ben Recht，从另一个角度给出一番分析。