A Lawrence Livermore国家实验室团队为一种称为符号回归的光盘rete优化类型开发了一个新的深度强化学习框架，表明它在基准测试问题上可能优于包括商业软件黄金标准在内的几种常见方法。这项工作将在即将召开的学习表征国际会议上展出。左起:LLNL团队成员B renden Petersen、Mikel Landajuela、Nathan Mudhenk、Soo Kim、Ruben Glatt和Joanne Kim。功劳:劳伦斯·利弗莫尔国家实验室劳伦斯·利弗莫尔国家实验室(LLNL)计算机科学家开发了一种新的框架和伴随的可视化工具，该工具利用深度强化学习来解决符号正则表达式问题，在基准问题上的表现优于基线方法。该论文最近在世界顶级机器学习会议之一的国际学习表征会议(ICLR 2021)上被接受为口头报告。会议实际上在5月3日至7日举行。
在这篇论文中，LLNL团队描述了将深度强化学习应用于离散优化——处理离散“构件”的问题，这些构件必须以特定的顺序或配置进行组合，以优化所需的属性。该团队专注于一种称为符号表达式的离散优化——寻找符合从实验中收集的数据的简短数学表达式。符号回归旨在揭示物理过程的基本方程或动力学。
“离散优化真的很有挑战性，因为你没有梯度。“想象一下，一个孩子在玩乐高积木，为一个特定的任务组装一个精巧的装置——你可以换一块乐高积木，突然间它们的属性就完全不同了，”第一作者布兰登·彼得森解释道。“但我们已经表明，深度强化学习是一种真正强大的方法，可以高效地搜索离散对象的空间。”
彼得森继续说，虽然深度学习已经成功地解决了许多复杂的任务，但其结果对人类来说很大程度上是无法解释的。“在这里，我们使用大模型(即神经网络)来搜索小模型的空间(即简短的数学表达式)，因此您可以两全其美。你在利用深度学习的力量，但得到了你真正想要的东西，这是一个非常简洁的物理等式。”
彼得森说，在机器学习和人工智能中，符号回归通常采用进化算法。他解释说，进化方法的问题在于算法没有原则，也不能很好地扩展。合著者说，LLNL的深度学习方法是不同的，因为它有理论支持，基于梯度信息，使它对科学家来说更容易理解和有用。
LLNL的合著者Mikel Landajuela说:“这些进化方法是基于随机突变的，所以基本上说到底，随机性在寻找正确答案中起着很大的作用。“我们方法的核心是一个神经网络，它正在学习离散对象的景观；它保存了这个过程的记忆，并建立了对这些物体如何分布在这个巨大空间的理解，以确定一个好的方向。这就是我们的算法工作得更好的原因——传统方法缺少记忆和方向的结合。”
场景中可能的表达式数量多得令人望而却步，因此合著者克劳迪奥·圣地亚哥帮助为算法创建了不同类型的用户指定约束，这些约束排除了已知不是解的表达式，从而实现了更快、更高效的搜索。
“DSR框架允许考虑各种各样的限制，从而大大减少了搜索空间的大小，”Santiago说。“这与进化方法不同，进化方法不容易有效地考虑约束。一般来说，我们无法保证在应用进化算子后约束会得到满足，因为对于大型领域来说，进化算子的效率非常低。”
为了这篇论文，该团队在一组符号回归问题上测试了该算法，结果显示它优于几个常见的基准测试，包括商业软件黄金标准。
该团队一直在测试它在现实世界的物理问题，如薄膜压缩，在那里它显示出有希望的结果。作者表示，该算法不仅适用于符号回归，也适用于任何类型的离散优化问题。他们最近开始将其应用于创造独特的氨基酸序列，以改善疫苗设计中与病原体的结合。
彼得森说，这项工作最令人兴奋的方面是它有潜力不取代物理学家，而是与他们互动。为此，该团队为该算法创建了一个交互式可视化应用程序，物理学家可以用它来帮助他们解决现实世界的问题。
彼得森说:“这超级令人兴奋，因为我们真的刚刚破解了这个新框架。“它与其他方法的真正区别在于，它提供了以非常有原则的方式直接整合领域知识或先前信念的能力。几年后，我们想象一个物理学研究生用这个作为工具。当他们获得更多信息或实验结果时，他们可以与算法互动，给它新的知识，帮助它磨练出正确的答案。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
