医学视觉问答中的问题类型与答案一致性校验.pdfVIP

小型微型计算机系统2025年4月第4期

DOI:10.20009/ki.21-1106/TP.2023-0612

JournalofChineseComputerSystemsVol.46No.42025

医学视觉问答中的问题类型与答案一致性校验

戴舒婷1,刘利军1²,杨小兵3,黄青松12,袁钰博1

1（昆明理工大学信息工程与自动化学院，昆明650500）

2（云南省计算机技术应用重点实验室，昆明650500)

3（昆明理工大学国有资产与实验室管理处，昆明650500）

E-mail:cloneiq@126.com

摘要：医学视觉问答（Med-VQA）旨在根据医学影像内容准确回答临床问题，具有巨大应用潜力.现有Med-VQA方法大都统

一处理开放式问题和封闭式问题，忽略了问题的复杂多变性，导致模型准确率较低.同时，受语言先验影响，模型容易利用数据

集中问答对的分布规律，削弱了问题与答案的深层关系，导致出现答非所问现象.针对以上问题，本文提出一种即插即用的细粒

度问题类型与答案一致性校验方法.首先，识别输入问题为开放式或封闭式类型以实现参数不共享的独立推理；然后，对开放式

问题细粒度分类以进一步捕获复杂开放式问题对答案的约束关系；最后，根据问题类型生成答案掩码掩盖无关答案，实现问题

类型与答案的一致性校验，进而缓解答非所问现象.在公共数据集SLAKE和VQA-RAD上的实验结果表明，本文方法能有效

提高Med-VQA准确率,

关键词：医学视觉问答；细粒度问题类型；答案掩码；一致性校验

中图分类号：TP391文献标识码：A文章编号：1000-1220(2025)04-0922-10

QuestionTypeandAnswerCheckingforMedicalVisualQuestionAnswering

DAIShuting,LIULijun,YANGXiaobing,HUANGQingsong,YUANYubo

1(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)

2(YunnanKeyLaboratoryofComputerTechnologyApplication,Kunming650500,China)

3(StateOwnedAssetsandLaboratoryManagementOffice,KunmingUniversityofScienceandTechnology,Kunming650500,China)

Abstract:Medicalvisualquestionansweringaimstoaccuratelyanswerclinicalquestionsbasedonmedicalimagesandhasgreatpoten-

tialforapplication.Existingmethodsdealwithopen-endedandclosed-endedquestionsuniformly,ignoringthediversityandcomplexi-

tyofquestions,resultinginlowmodelaccuracy.Meanwhile,influencedbylanguagepriors,themodelstendtoexploitthedistribution

paternofquestion-answerpairsinthedataset,weakeningthedeeperrelationshipbetweenquestionsandanswers,leadingtonon-an-

swers.Toaddresstheaboveproblems,thispa