撰文丨王聪
编辑丨王多鱼
排版丨水成文
大语言模型（LLM），例如 ChatGPT、Gemini，推动了自然语言处理（NLP）技术的迅猛发展，这些技术能够实现文本理解以及类似人类的响应生成。
之前的大语言模型已显示出解读放射影像的潜力，从而有助于异常检测并辅助做出诊断决策。GPT-4o是 OpenAI 于 2024 年 5 月发布的最新视觉大语言模型，能够实时对音频、视觉和文本进行推理处理，突显了其在多模态医疗应用中的潜在用途。然而，基于视觉大语言模型的视频处理在临床环境中的应用尚未得到探索。
2025年3月4日，中国医科大学宋江典、张丽娜、裴冬梅等人在 Cell 子刊Cell Reports Medicine上发表了题为：Assessments of Lung Nodules by an Artificial Intelligence Chatbot Using Longitudinal CT Images 的研究论文。
该研究证明，当前多模态视觉大语言模型GPT-4o能够在肺癌患者随访 CT 扫描图像上对肺部癌变影像特征进行精准的放射学表述报告，动态监测癌变趋势，并对随访过程中病变尺寸变化进行准确测量。
在基于计算机断层扫描（CT）图像的肺癌分析的背景下，深度学习的进步显著影响了肿瘤的筛查和诊断。然而，深度学习模型的输出通常缺乏可解释的推理，这给临床应用带来了挑战，尽管它们有经过验证的性能指标。这种限制源于深度学习算法的复杂性，其中内部决策过程对最终用户来说仍然很大程度上是模糊的。尽管传统的临床推理遵循医师可以向患者解释的明确诊断路径，但深度学习模型通常只提供预测，而不揭示导致其结论的具体特征或模式。
近期，GPT 模型已展现出能够根据放射学报告自动标注肿瘤表型并确定 TNM 分期的潜力。然而，能够动态测量一系列 CT 图像中肺结节大小和特征的变化对于评估恶性肿瘤风险的进展以及指导及时的临床干预至关重要，尤其是对于早期肺癌而言。
大量的临床证据表明，结节直径的增大与恶性肿瘤风险之间存在关联。因此，通过后续的 CT 评估来追踪动态结节变化，能够为潜在恶性风险的评估提供有价值的见解。
目前，这一过程需要放射科医生对每一张后续的 CT 图像进行人工审查；因此，结节变化的评估耗时且易受观察者间差异的影响。这种差异在中期 CT 扫描中存在细微但关键的细节时尤为明显，比如小支气管受累或血管侵犯——这些都是恶性肿瘤进展的关键指标。结节特征动态变化的自动化评估能够显著提高放射学效率，并有助于早期发现和及时管理肺癌高危患者。
在这项最新研究中，研究团队旨在利用 GPT-4o 的先进功能，通过个体患者的纵向 CT 随访图像来估计肺结节恶性的概率以及结节大小和特征的动态变化。通过模拟放射科医生在查看 CT 图像视频时所采用的视觉检查程序，该研究旨在评估 GPT-4o 准确评估结节特征随时间变化的能力，并确定 GPT-4o 在肺癌筛查和临床监测中提高诊断准确性和效率的潜力。
研究团队评估了最新的生成式预训练模型GPT-4o对 647 名患者（其中 547 名来自中国医科大学第四附属医院和中国医科大学附属盛京医院，另外 100 名来自一个公共数据集）的纵向 CT 扫描图像中肺结节恶性概率、大小和特征变化的评估能力。
结果显示，GPT-4o 在预测肺结节恶性程度方面，与病理结果相比平均准确率为 0.88，在测量结节大小方面，与放射科医生的手动测量相比，平均组内相关系数为 0.91。六位放射科医生的评估表明，GPT-4o 能够捕捉结节特征的变化，其 Likert 评分评分的中位数为 4.17（满分 5.00）。
该研究的亮点：
GPT-4o 在纵向 CT 图像中评估肺结节的恶性进展情况；
GPT-4o 监测结节大小和纹理特征的动态变化；
与深度学习模型相比，GPT-4o 提供了可解释的预测结果；
GPT-4o 提供精准的放射学见解，以支持临床决策。
总的来说，这项研究借助于当前多模态视觉大语言模型对图像（特别是视频数据）的前沿解析能力，设计了基于GPT-4o的 CT 图像肺癌病变自动分析工作流程。该研究将单次扫描的连续 CT 图像组成视频，把每个患者多时间点随访 CT 视频数据依次输入 GPT-4o 的工作流程，结果发现，当前视觉大语言模型能够在 Prompt（提示词）给定病变坐标的前提下，准确识别并分割出病变区域。基于所识别的病变区域，以标准放射学报告语言输出病变尺寸、边界、形态、纹理等影像征象在随访过程中的变化，并在动态随访监测过程中实时调整对病变区域癌变概率的评估，显著提高了肺癌病变风险预测精度。
总的来说，这项研究为临床上更精准地评估肺癌患者癌变风险概率，并为个体化的肺癌患者动态监测与临床管理提供了新思路。
论文链接：
https://www.cell.com/cell-reports-medicine/fulltext/S2666-3791(25)00061-8
