说明使用递归神经网络(RNN)通过经典退火寻找优化问题最低点的图片。(a)最初在高温下，炎热的RNN(红色)通过在配置空间中进行更智能的移动，探索由感兴趣的优化问题定义的景观。在退火期间冷却温度之后，图(b)中的冷RNN指出了崎岖地形中最低的能量配置。信用:希巴特-阿拉等。优化问题涉及在几种可能性中找出最佳可能的解决方案。这些问题在现实环境中以及大多数科学研究领域中都可能遇到。近年来，计算机科学家开发了越来越先进的计算方法来解决优化问题。到目前为止，一些最有前途的技术是基于人工神经网络的。
滑铁卢大学向量研究所和加拿大周界理论物理研究所的研究人员最近开发了变分神经退火，这是一种将递归神经网络(RNNs)与退火原理相结合的新优化方法。发表在《自然机器智能》上的一篇论文中介绍了这种新技术，它通过使用参数化模型来概括给定问题的可能解决方案的分布。
开展这项研究的研究人员之一穆罕默德·希巴特-阿拉(Mohamed Hibat-Allah)告诉TechXplore，“我们最近研究的主题是机器学习、统计物理和量子物理之间的交叉点。更具体地说，它旨在通过一种基于退火理论和借鉴自然语言处理领域的神经网络的新算法来解决现实世界的优化问题
这篇最新论文的想法源于希巴特-阿拉和他的合作者之间的一系列对话。最终，研究人员着手创建一种新的算法，该算法将优于基于经典和量子退火原理的现有优化方法。
“当时，我和胡安·卡拉斯奎拉以及罗杰·梅尔科在波哥大的一所学校教书，”参与这项研究的另一名研究人员埃斯特尔·伊纳克告诉TechXplore。“在我们的一次聊天中，胡安向我提出了在变分蒙特卡罗设置中使用退火的想法。当我们回到滑铁卢时，他让我和他当时的博士生穆罕默德取得了联系。我们的项目就是这样开始的。”
众所周知，一些最困难的优化问题是非确定性多项式时间(NP)难题。本质上，这意味着它们非常复杂，要么不能用简单的计算方法解决，要么解决它们需要大量的时间。
由于简单的算法不能有效解决这些问题，世界各地的研究人员一直在努力创造更有效的技术，可以在现实的时间范围内解决这些问题。Hibat-Allah、Inack和他们的同事创建的方法是旨在更有效地解决优化问题的最新努力之一。
“我们提出的框架是基于退火原理，”希巴特-阿拉解释说。“后者受到冶金学中退火的启发，在冶金学中，人们可以加热一种材料，让它以缓慢的方式冷却下来，使其达到更低的能量状态，这种状态更坚固、更稳定。这一过程激发了模拟退火的发明，模拟退火的目的是寻找最优化问题的数值解。”
该研究小组提出的优化方法的最大特点是将人工神经网络的效率和计算能力与模拟退火技术的优势相结合。更具体地说，Hibat-Allah、Inack和他们的同事使用了RNNs，这是一类被发现对NLP应用特别有前景的算法。在自然语言处理研究中，这些算法被训练来处理人类语言，研究人员重新使用它们并训练它们来解决优化问题。
Hibat-Allah说:“简单来说，如果你把一个优化问题想象成一个充满山谷的崎岖不平的景观，经典版退火的目标是利用热波动跳过障碍，找到景观中的最低点。“另一方面，量子版退火试图通过在障碍中挖掘隧道来解决这个问题，希望找到更深的山谷。”
使用RNNs，Hibat-Allah，Inack和他们的同事发现他们能够更有效地解决优化问题。事实上，与更传统的退火数值实现相反，他们基于RNN的方法做出了更明智的选择，提高了经典和量子退火方法的效率。
“我们展示了用自回归网络编码退火范式的能力，相对于标准模拟经典和量子退火而言，所获得的性能是我们研究中最重要的成就，”伊纳克说。“我们的工作将优化问题的解决带到了一个新的层面，它直接利用了用于训练高级神经网络的基础设施，例如通过在图形处理器/图形处理器上加速的TensorFlow或Pytorch进行快速迭代。”
Hibat-Allah、Inack和他们的同事在一系列测试中评估了他们的方法，将其性能与基于数值模拟的标准退火优化方法进行了比较。在不同的典型优化问题上，他们的框架优于他们比较的所有技术。将来，这个研究团队引入的算法可以应用于许多现实世界的优化问题，帮助不同领域的专家更有效地解决这些问题。
“我们最近的论文导致了专利申请，”伊纳克说。“我的计划是使用我们在我新创建的初创公司yiyaniQ开发的框架，实现更快、更准确的衍生品定价计算。”
在接下来的研究中，研究人员计划测试他们的算法在更现实的问题上的性能，同时将它与其他最先进的优化技术进行比较。此外，他们希望通过替换一些组件或集成其他组件来进一步发展他们的技术。
“通过使用更先进的神经网络架构或在退火过程中选择不同的冷却方案来改进我们的方法也会很有趣，”Hibat-Allah补充道。“我们还不知道我们能获得多大的改进，但我们可以通过这些调查学到很多东西，并有可能找到一种更好的算法，可以改进当前的优化问题解决方案。”
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
