生成式AI回答事实型参考咨询问题的效果与启示.docxVIP

生成式AI回答事实型参考咨询问题的效果与启示

中图分类号：G252.61；TP18文献标识码：A

AbstractAslargelanguagemodeltechnologycontinuestomature，generativeAIisreshapingvariousindustries.ThisstudyevaluatestheefectivenessofgenerativeAIinrespondingtofact-basedreferencequestionswithinreal-worldlibraryservicescenarios.Teselectedquestions，characterizedbystrongobjectivitycoverfourcategories：statisticalinformation，noundefinitions，originsofallusions，andhistoricalresearch.FourgenerativeAImodelswerechosentogenerateanswersbasedontheoriginalqueries，andtheirresponseswerecomparedwithstandardrepliesprovidedbylibrarianstoassessperformance.TheanalysisrevealsthatwhilegenerativeAIdemonstratesstrongcapabilitiesininformationretrievalandgeneration，itsperformanceinprovidingauthoritativesourcesremainsinconsistent.Moreover，itlackstheabilitytodeeplyunderstandandintegrateinformationtoanswermorespecializedinquiries.ThefutureofreferenceservicesnecesitatesthatlibraryprofessionalsleveragetheirinnovativecapacitiestocontinuouslyexploreandrefinestrategesforAIintegration.

KeyWordsartificialintellgence;referencesvices;largelanguagemodel;smartlibrary;artificialintelligencegeatedcontent

2022年11月，OpenAI的生成式人工智能（ArtificialIntelligence，AI）应用ChatGPT上线，其智能化解析自然语言输入并生成连贯文本的能力为问答系统以及人工智能生成内容带来了颠覆性变革。2023年3月，

GPT-4大语言模型的横空出世更是开启了人工智能的研发热潮。全球各大科技企业相继推出自研的生成式AI，如谷歌的BARD、百度的文心一言和阿里的通义千问等[]。

从技术适用性而言，生成式AI与图书馆行业近年来的智慧化转型不谋而合，其强大的文字交互和大数据整合处理等优势技术对相关业务的重塑产生了深刻的影响，其中包括参考咨询服务。许多从业者已经开始探索生成式AI在参考咨询中的实际应用：卢森堡国家图书馆与OpenAI公司签署合作协议，共同开发基于ChatGPT技术的机器人，用以检索已数字化的馆藏报纸上的800万篇文章2；12所美国高校在图书馆主页上开辟专栏，为师生提供针对具体学科和各类应用场景下的ChatGPT服务3；瑞典国家图书馆的数据实验室着手将类型丰富的馆藏资料整理成数据集，用于训练高性能的瑞典语文本大语言模型4。可以发现，目前的研究方向侧重于图书馆业务咨询和馆藏揭示，而生成式AI回答通识性参考咨询问题的潜力尚未得到充分挖掘。基于此，本文选取不同类型的事实型参考咨询问题，通过与多个生成式AI交互获取答案，并与馆员的标准回复进行对比以检验其效果，探讨AI技术深度参与智慧图书馆参考咨询服务的可能性。

2研究设计

2.1任务设计

为了验证生成式AI回答较有知识深度的通识性参考咨询问题的能力，本文以上海图书馆实际业务中遇到的咨询问题（来源为上海图书馆读者服务中心编纂出版的《你问我答，知识导航：上海图书馆参考咨询案例集锦》以及目前上海图书馆对外提供参考咨询服务的“网上联合知识导航站”微信小程序中知识库收录的问答案