物理科技生物学-PHYICA

新的工作流工具解决了数据、场景和协作管理的建模障碍

技术工程 2022-02-21 21:54:11

workflow Credit: Pixabay/CC0公共域控制大量数据、运行多种场景以及在多个建模者之间共享信息是建模工作中的常见挑战,无论是在能源系统、流程设计还是流行病建模领域。即使使用最先进的建模工具,前处理和后处理、共享和维护不同版本的数据方面的问题也会降低效率并损害项目质量。开源工作流管理工具Spine Toolbox是在一个为期四年的EU-项目中开发的,该项目专注于复杂的数据处理、场景构建的简易性以及建模团队中的远程执行和分工。这允许在许多领域中使用它,即使sa me数据应该被馈送到同一工作流中的多个模型中。易于构建场景和复杂的工作流程,以更好地做出决策

当模型用于评估未来的选择和理解任何领域的复杂系统时,考虑不确定性通常是可靠和可重复建模的关键因素。虽然传统的通用工作流工具对于执行工具链来说非常强大,但是额外的数据管理功能也非常重要:首先,支持创建和比较场景,其次,支持不仅管理数据,还管理任意数据结构。

对于场景工作,管理数据参数的替代值、使用它们构建场景并系统地比较它们的能力可以改进建模过程和输入数据中敏感性的管理。对于具有几个部分使用相同数据的模型的复杂工作流,数据必须转换为特定于模型的格式和结构。如果数据包含结构信息,如实体之间的关系和对实体进行分类的类,这将更容易实现。Spine Toolbox以类似图形的结构在SQL中存储数据,不仅允许存储和编辑数据,还允许存储和编辑数据中的关系。

工作流协作需要远程执行、易用性和灵活性

工具箱开发的第三个出发点是易于协作。脊柱工具箱具有图形界面,用于管理和编辑数据、编辑工作流以及导入和导出列表数据。任何特定的工作流都可以是本地项目,但也可以通过共享的git存储库共享。本地工作流也可以包括共享元素,比如来自git存储库的数据库或工具。这允许建模团队内部灵活的分工。工作流或部分工作流可以在本地执行,也可以使用具有更好计算能力的远程服务器执行。并行化还可以加速建模过程,Toolb ox不仅支持跨工具,还支持跨场景和敏感性运行。

高级工具提供了新模型的快速原型化以及与商业项目的链接

虽然工作流和数据可以由普通用户编辑,但是Spine工具箱为面向开发的用户提供了额外的功能。它是用Python编写的,允许轻松集成研究社区中广泛使用的基于Python的工具。此外,SpineInterface包允许使用工具箱和Julia/ JuMP快速构建和测试新的优化模型。在为优化模型编写方程时,可以直接使用Spine数据库中的所有数据和数据结构。Spine工具箱是完全开源的,也可用于商业应用和与商业模型的链接。虽然该工具是最近发布的,并在不断发展,但它缺乏更成熟的工具中存在的许多特定数据处理能力。但是,Spine工具箱工作流可以合并开源社区中可用的其他数据处理工具。

高效的工作流管理在短期内浪费时间,而在长期内节省时间

Spine Toolbox的开发人员包括经验丰富的能源系统建模人员,他们构建了自己或项目特定的工作流管理系统,并使用了现有的工具。他们有第一手经验,知道在有许多合作者的复杂项目中会出现什么问题,在项目的非必要部分浪费时间。作为设计和实现用于更好的数据和场景管理的工作流工具的资源,他们着手开发一种工具,研究人员、工程师和项目经理可以花几周的时间来部署它,并在未来几年中多次节省它,而不必花时间处理不精确的数据管理。

来源:由phyica.com整理转载自PH,转载请保留出处和链接!

本文链接:http://www.phyica.com/jishugongcheng/10788.html

发表评论

用户头像 游客
此处应有掌声~

评论列表

还没有评论,快来说点什么吧~