OpenAI的秘密圣经：苦涩的教训
原创 AI进化论-花生 花叔 2024-03-06 13:46
互动数据
- 阅读：214
- 点赞：4
- 转发：11
- 喜欢：1
- 留言：未知
前段时间，OpenAI的工程师Jason Wei发布了一个个人作息表，其中很有趣的一条是背诵强化学习之父Richard Sutton的文章《The Bitter Lesson》，Ilya在2019年的时候也在推特上分享过这篇文章，可见这篇文章对OpenAI这家公司技术路线的影响之深。
大体来说，这篇文章是在Scaling Low的圣经，在用历史告诉开发者，能用算力解决的问题，就别用所谓人类的智慧，而且计算成本因为有摩尔定律的支撑，总是在指数级下降。如果关注大模型和AGI的发展，这篇文章非常值得看看。
「心灵的真实内容极其复杂，几乎不可能简化；我们应该停止尝试寻找简化心灵内容的方法，如简化对空间、物体、多代理系统或对称性的思考。这些都是外部世界固有的复杂性的一部分，其复杂性是无穷无尽的；我们不应该将它们内置于系统中，而应该构建那些能够发现并捕捉这种任意复杂性的元方法。」
《苦涩的教训》
里奇·萨顿，2019年3月13日
以下内容由我制作的GPTs「语桥-专业英文翻译」翻译完成，原文链接：http://www.incompleteideas.net/IncIdeas/BitterLesson.html
在人工智能的广阔研究领域里，七十年的探索与实践揭示了一个深刻的真理：那些借力于计算能力的通用方法，其效力无与伦比，且远远超越了其他途径。这背后的驱动力，归根结底，是摩尔定律及其引申出的深意——计算成本的指数级下降。历代人工智能研究往往建立在一个假设之上，即代理所能依赖的计算资源是固定不变的。在这样的前提下，挖掘人类的智慧似乎成为了唯一的出路。然而，随着时间的推移，超出一般研究周期的时间维度使得海量的计算资源变得触手可及。在追求短期内显著成效的过程中，研究者们试图汲取自己对领域的深刻理解，但从长远来看，真正成就辉煌的，是对计算力的深度挖掘。虽理论上这两者并不冲突，实践却常常让人陷入二选一的困境。投身于一方，往往意味着对另一方的忽视。而且，选择一条道路往往伴随着心理上的坚持与承诺。基于人类知识的方法，其复杂性往往使其不适于与计算力的携手并进。在反思人工智能研究者们后知后觉地吸取这一苦涩领悟的历程中，我们能够汲取宝贵的经验与教训。
以计算机象棋为例，击败世界冠军卡斯帕罗夫的不是别的，正是依赖于大规模、深度搜索的方法。那一刻，以人类对象棋的深刻理解为基础的研究路径，突然显得苍白无力。当简单而直接的搜索策略，借助特殊的硬件和软件展现出惊人的效力时，那些坚持人类智慧至上的象棋研究者，面对这一结果显得并不豁达。他们抱怨，尽管“暴力搜索”此次取得了胜利，但它并非银弹，更不是人类下棋的方式。他们渴望看到的，是人类智慧的胜利，而非计算力的压倒性胜利。
围棋的计算机研究同样经历了这一过程，只不过是在二十年后。初始的努力集中在尽可能地避免搜索，希望通过人类对游戏的深刻洞察来取胜。然而，当搜索在规模上得到有效应用，所有这些努力都显得微不足道，甚至是有害的。同样重要的是，通过自我对弈学习的方法学习价值函数的应用，在许多其他游戏中乃至象棋中（尽管在1997年首次击败世界冠军的程序中，学习的角色并不突出）都显示了其价值。无论是通过自我对弈学习，还是更广义的学习，都体现了一个共通的主题：使大量计算力为我们所用。搜索和学习，成为了在人工智能研究中利用海量计算资源的两大支柱。在围棋的研究中，研究者最初寄希望于通过深入理解人类智慧来减少搜索的需要，但真正的突破却是在全力以赴地拥抱搜索和学习之后才实现的。
在语音识别领域，早期的DARPA赞助竞赛就已经展示了这一教训。参赛的方案中，既有依靠人类对语言的深刻理解的特殊方法，也有依赖于更多计算和统计模型的新兴方法，比如隐藏马尔可夫模型（HMMs）。最终，依靠统计和计算的方法获得了胜利。这一成就预示着自然语言处理领域的重大转变，统计和计算的力量开始占据主导地位。深度学习在语音识别领域的崛起，标志着这一趋势的深化。深度学习方法更少依赖人类的直觉，而是通过利用庞大的计算资源和在巨量数据上的学习，实现了语音识别技术的飞跃。这一过程中，研究者们的初衷是试图复现人类思维的方式，但随着时间的推移，这一做法被证明是一种浪费，因为当大量的计算资源通过摩尔定律变得易于获取，并找到了有效利用这些资源的方法时，基于人类直觉的方法反而成了掣肘。
计算机视觉领域的发展历程也印证了这一教训。早期的方法尝试通过寻找边缘、广义圆柱体或SIFT特征来实现视觉识别。然而，随着时间的进展，这些方法逐渐被抛弃。现代的深度学习神经网络仅仅依赖于卷积和某些类型的不变性，取得了更优异的表现。
这是一个深刻的教训，但作为一个领域，我们仍在学习过程中，仍旧在重复过去的错误。为了真正理解并避免这些错误，我们需要深入探究它们的根源。我们必须接受这个苦涩的领悟：在追求长远的进步时，尝试塑造我们认为的思维方式并非正确之选。这个领悟基于以下历史观察：人工智能研究者常常尝试将知识内嵌于他们的代理之中，这种做法虽在短期内有所帮助，对研究人员本人而言也颇为满意，但从长远来看，它将导致研究进展停滞，甚至阻碍更进一步的发展。突破性的进展最终来自于一种完全相反的方法——那就是通过搜索和学习，扩展计算能力的利用。这种成功带有一种苦涩，因为它超越了一种深受喜爱的、以人为中心的方法。
从这个苦涩的领悟中，我们应当认识到通用方法的强大力量，即那些随着可用计算能力的增加而能继续扩展的方法。在这方面，似乎能够无限扩展的两种方法是搜索和学习。
我们还应该从这个领悟中获得的第二个洞见是，心灵的真实内容极其复杂，几乎不可能简化；我们应该停止尝试寻找简化心灵内容的方法，如简化对空间、物体、多代理系统或对称性的思考。这些都是外部世界固有的复杂性的一部分，其复杂性是无穷无尽的；我们不应该将它们内置于系统中，而应该构建那些能够发现并捕捉这种任意复杂性的元方法。这些方法的核心在于它们能找到有效的近似，但寻找这些近似的过程应该依赖于我们的方法，而非我们自身。我们渴望的是能够发现新天地的AI代理，而不是那些仅仅包含了我们已经发现的内容的代理。将我们的发现内嵌于系统之中，只会使得理解如何进行发现变得更加困难。