专家强化学习——Montezuma复仇的代理人
强化学习作为一种训练神经网络以解决需要灵活、创造性方法的开放性问题的方法正受到关注。由于训练强化学习agent需要大量的计算能力和时间，研究人员正在寻找缩短学习过程的方法也就不足为奇了。专家增广学习似乎是一种有趣的方法。
本文着眼于：
- 强化学习的学习过程为何漫长而复杂
- 专家知识的传递到神经网络来解决这一难题
- 在实践中应用专家的增强强化学习
- 技术的可能用例
设计一个奖励系统来激励一个RL主体按照期望的方式行事是该技术的基础。虽然这确实是有效的，但仍然有一些缺点限制了它的有效性。一是训练过程的复杂性，它随着待解决问题的复杂性而快速增长。更重要的是，代理解决问题的第一次尝试通常是完全随机的。在学会跑步一个项目，在这个项目中，一个代理被训练成像人一样移动，代理在最初的几百万次运行中会向前或向后摔倒。
当环境和任务都很复杂时，“做错了”的可能性就会增加，数据科学家可能无法发现模型中隐藏的缺陷。
当然，代理寻找最大化奖励和减少惩罚的方法，通常没有看到更大的前景。这就是为什么环境中的任何故障在被发现时都会被最大限度地利用。这里有一个来自游戏Qbert的好例子:
有关代理和发现的错误的详细信息，请参见本文：阿十四。
要教会神经网络执行人类毫不费力的任务(比如抓一罐可乐或驾驶一辆汽车)，挑战在于传递执行该任务所需的知识。如果能把神经网络放在基米·莱科宁旁边的座位上，让它学习如何像专业司机一样驾驶汽车，那就太棒了。不幸的是，这是不可能的。
或者是吗?
蒙特祖玛对AI的报复
验证强化学习算法最常见的方法是让它们玩雅达利的经典游戏，比如《太空入侵者》(Space Invaders)或《越狱》(Breakout)。这些游戏提供了一个足够复杂的环境来测试模型是否能够处理大量的变量，但又足够简单，不会耗尽提供计算能力的服务器。
虽然特工们倾向于相对容易地破解这些游戏，但像经典的蒙特祖马复仇游戏是一个相当大的挑战。
For those who missed this classic, Montezuma’s Revenge is a platform game where an Indiana Jones-like character (nicknamed Panama Joe) explores the ancient Aztec pyramids, which are riddled with traps, snakes, scorpions and sealed doors, the keys to which, of course, are hidden in other rooms. While similar to Mario Bros games, it was one of the first examples of the “甲状腺炎“子类型，其中Metroid和Castlevania系列是最著名的游戏。
Montezuma的复仇提供了一种不同于太空入侵者的游戏体验：它呈现的世界更加开放，并不是地图上的所有物体都是敌对的。特工需要找出一条蛇是致命的，而打开门并踩到它的钥匙不仅无害，而且对完成关卡至关重要。
目前，仅靠强化学习就能解决Montezuma的复仇。有一个更有经验的玩家提供指导可以节省大量的时间。
意志被束缚，思想被解放
与神经网络分享人类知识，要什么专家做的，以及他们如何在特定的环境行为提供信息。在蒙特祖马的复仇的情况下，这意味着提供的画面和玩家的反应的快照。如果他或她正在驾驶汽车，任何数量的额外的步骤将不得不采取：轨道必须被记录，也需要对方向盘的汽车和位置信息被提供。
在训练的每一个阶段，agent不仅被激励去最大化回报，而且也模仿人类。当游戏环境中没有直接的奖励时，这就特别有用。
然而，跟随专家的缺点是网络不能发展出对意外情况作出反应的能力。以Raikonnen的驾驶为例，网络可以在有记录的赛道上表现良好，但在其他天气条件下比赛或与新对手比赛将使网络束手无策。这正是强化学习的闪光之处。
在Montezuma复仇的案例中，我们的算法被训练在跟随专家和最大化报酬之间取得平衡。因此，如果专家从未踩过蛇，特工也不会。如果专家做了什么，很可能也做了同样的事。如果代理发现自己处于一个新的情况下，它会试图遵循专家的行为。如果忽略建议的回报很高，它会选择更大的负载。
如果你迷路了，走到路上去，一直走到你熟悉的地方，对吧？代理人是总是主动地模仿专家的行动。方法刚刚开始复制人类行为，然后让代理探索随机的太弱，不能带来值得注意的结果。
增强加强与专业知识学习的想法被证明是令人惊讶的有效。我们的模型在蒙特祖马的复仇表现不错，水平后殴打水平。此外，它并没有停止开发奖励政策，以最大限度地发挥它的回报。代理在游戏中发现了一个未公开的漏洞。这一发现导致了804 900分的得分 - 一个世界纪录。我们剂于无尽的回报最大化循环描绘这里被推：
尽管很烦人，但循环本身证明了代理并没有盲目地跟踪专家。有了足够的动机，它就能够制定自己的策略，以最大限度地获得回报，从而创造性地使用专家知识。
克隆和提高人的行为是机器学习的终极目标之一。尽管如此，专家实际上并不需要是一个人。这导致有趣的可能性。一台机器可以用来与不采用人工智能技术，然后建立在它之上的方法编程模仿其他机器。
汇总-降低成本
授权强化学习与专家知识为人工智能设备的发展开辟了新的途径。
- 它通过遵循人类行为和强化学习代理的超人天赋特征，利用环境中存在的便利机会和漏洞，利用两个世界的最佳。
- 它通过减少随机性来增加安全性，尤其是在学习的早期阶段。
- 它显著减少了学习所需的时间，因为代理从人类专家那里得到提示，从而减少了完全随机探索的需要。
设计强化学习代理费用和任务的复杂性和水平增加呈指数增长的变量,利用专家知识培训代理很划算的:它不仅降低了数据和计算能力的成本,但也获得结果所需的时间。我们的解决方案的技术细节可以在这里找到:Arxiv.org网站和这里：GitHub的库。
特别的合作
在这个项目中我们配合独立研究员MichałGarmulewicz(博客,github），谁提供了基本的技术和概念上的投入。我们希望继续与米哈尔和其他研究人员这种合作。
