引用工作流。研究人员通过射线照片转换器转发第k个患者研究的射线照片，使用注意机制融合不同视图的表示，并使用报告生成和研究-报告表示一致性增强来利用放射学报告中的信息。图a是整个管道的概况。图b，射线照相变压器的结构。阐述了视图融合的注意事项。MLP代表多层感知器。图d显示了两个监督任务，报告生成和研究-报告表示一致性增强。鸣谢:香港大学医学影像是现代医疗保健的重要组成部分，提高了各种疾病治疗的精确性、可靠性和发展性。人工智能也被广泛用于进一步增强这一过程。然而，采用AI算法的传统医学图像诊断需要大量注释作为模型训练的监督信号。为了获得人工智能算法的准确标签，作为临床常规的一部分，放射科医生为每位患者准备放射科报告，然后由注释人员使用人类定义的规则和现有的自然语言处理(NLP)工具从这些报告中提取并确认结构化标签。提取标签的最终准确性取决于人工工作和各种NLP工具的质量。这种方法代价很高，既费时又费力。
香港大学(HKU)的一个工程团队开发了一种新的方法“REFERS”(审查自由文本报告以进行监督)，通过同时从数十万份放射报告中自动获取监督信号，可以将人力成本降低90%。它在预测方面达到了很高的准确性，超过了采用人工智能算法的传统医学图像诊断。
这一创新方法标志着向实现通用医疗人工智能迈出了坚实的一步。这一突破发表在《自然机器智能》杂志上，题为“通过图像和自由文本放射学报告之间的交叉监督进行广义放射图像表示学习”
“人工智能支持的医学图像诊断有可能支持医学专家减少工作量，提高诊断效率和准确性，包括但不限于减少诊断时间和检测微妙的疾病模式，”工程学院HKU计算机科学系团队负责人余义洲教授说。
新方法在NIH胸部x射线上不同标记比率下的性能。研究人员表示目标领域中标注的训练数据的百分比，该百分比涉及需要实现与Model Genesis和ImageNet预训练的结果相当的结果。请注意，这三种方法共享同一个基于transformer的主干。鸣谢:香港大学“我们相信放射学报告中的抽象和复杂的逻辑推理句子为学习容易转移的视觉特征提供了足够的信息。通过适当的培训，REFERS直接从自由文本报告中学习射线照片表示，而无需人工参与标记。”于教授说。
作为培训参考，研究小组使用了一个公共数据库，其中包含370，000张X射线图像和相关的放射学报告，涉及14种常见的胸部疾病，包括肺不张、心脏肥大、胸腔积液、肺炎和气胸。研究人员仅使用100张x光照片就成功建立了一个x光照片识别模型，并达到了83%的预测准确率。当数量增加到1，000时，他们的模型表现出惊人的性能，准确率为88.2%，超过了用10，000个放射科医生注释训练的模型(准确率为87.6%)。当使用10，000张射线照片时，准确率为90.1%。一般来说，在现实世界的临床应用中，高于85%的预测准确度是有用的。
REFERS通过完成两个与报告相关的任务来实现目标，即报告生成和射线照片-报告匹配。在第一项任务中，REFERS通过首先将射线照片编码为中间表示，然后使用中间表示通过解码器网络预测文本报告，从而将射线照片转换为文本报告。定义了一个代价函数来度量预测文本和真实文本之间的相似性，在此基础上采用基于梯度的优化方法来训练神经网络并更新其权重。
至于第二个任务，REFERS首先将射线照片和自由文本报告编码到相同的语义空间中，其中每个报告及其相关射线照片的表示通过对比学习来对齐。
与严重依赖人工注释的传统方法相比，REFERS能够从放射学报告中的每个单词获得监控。我们可以大幅减少90 %的数据标注量和构建医疗人工智能的成本。它标志着向实现通用医疗人工智能迈出了重要的一步，”该论文的第一作者周宏宇博士说。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
