跨域图像合成：从多路生物标志物成像生成 HE 染色图像.pdfVIP

跨域图像合成：从多路生物标志物成像生成

HE染色图像

JillurRahmanSauravMohammadSadeghNasrJacobM.Luber

DepartmentofCSEDepartmentofCSEDepartmentofCSE

UniversityofTexasatArlingtonUniversityofTexasatArlingtonUniversityofTexasatArlington

Arlington,Texas,USAArlington,Texas,USAArlington,Texas,USA

Email:mxs2361@mavs.uta.eduEmail:mohammadsadegh.nasr@mavs.uta.eduEmail:jacob.luber@uta.edu

摘要—虽然多路免疫荧光（mIF）成像提供了深层次的空

本间解析分子数据，但将这些信息与苏木精和伊红（HE）的形

译态学标准相结合对于获得有关潜在组织的互补信息非常重要。

中从mIF数据生成虚拟HE染色提供了一个强大的解决方

案，能够立即提供形态学背景。

1至关重要的是，这种方法使应用基于HE的计算机辅助诊

v

4断（CAD）工具生态系统来分析丰富的分子数据成为可能，弥

3合了分子和形态学分析之间的差距。

7

4在这项工作中，我们研究了使用多级向量量化生成对抗网络

0（VQGAN）从mIF图像创建高保真虚拟HE染色的应用。

.

8我们在两个公开可用的结直肠癌数据集上严格评估了我们

0的VQGAN与标准条件生成对抗网络（cGAN）基线的表现，

5

2评估了图像相似性和下游分析功能实用性方面的性能。

:图1.高保真虚拟HE染色使用多级VQGAN。来自猎户座结直肠癌数

v结果显示，虽然两种架构都产生了视觉上合理的图像，但由据集的代表性示例[1]。每一行显示：(a)输入的多路免疫荧光（mIF）图像

i我们VQGAN生成的虚拟染色为计算机辅助诊断提供了更有效

x(R:CD31,G:E-钙粘蛋白,B:酚红),(b)真实的HE染色图，以及(c)我

r的基础。们提出的模型生成的HE图像。

a

具体而言，在基于VQGAN生成图像的下游核分割和组织

分类任务中的语义保存方面表现出色，与cGAN相比，其性能

和与真实分析的一致性更好。织结构的视觉评估成为可能。(HE)[2]。这种基础技

这项工作确立了多级VQGAN是一个稳健且优越的架构，术提供了形态学背景，支撑了常规诊断病理，并催生了

用于生成科学有用的虚拟染色，为将mIF的丰富分子数据整合一个庞大的经过验证的分析工具生态系统[3],[4]。同

到基于HE的强大分析流程中提供了一条可行路径。时，多路免疫荧光（mIF）等技术开启了空间生物学的

IndexTerms—多重免疫荧光，虚拟染色，HE染色，向

时代，通过在一个组织样本中可视化数十种蛋白质生物

量量化生成对抗网络，VQGAN，图像到图像翻译，计算病理

学，计算机辅助诊断，组织分析，结直肠癌，细胞核分割，组织标志物，提供了肿瘤微环境的详细视图[5]。虽然mIF

分类。提供了前所未有的分子深度，但其高维度数据格式与为

HE分析构建的广泛计算基础设施不兼容。此外，每

I.介绍种模态揭示的信息是互补的：mIF擅长