大规模推荐中 MLLM 对齐的度量标准.pdfVIP

大规模推荐中MLLM对齐的度量标准

YubinZhang*,YanhuaHuang*,HaimingXu,MingliangQi

{zhangyubin,yanhuahuang,xuhaiming,mqi}@

ChangWang,JiaruiJin,XiangyuanRen,XiaodanWang,RuiwenXu

{wangchang2,jinjiarui,renxiangyuan,xiaodan2,ruiwenxu}@

**Equalcontribution

XiaohongshuInc.

本Shanghai,China

译

中

Abstract

1

v

3多模态推荐作为现代推荐系统中的关键技术，利用了先进的多模态大规模

6语言模型（MLLMs）的内容表示。为了确保这些表示适应良好，与推荐系统

9

4的对齐至关重要。然而，由于三个关键问题的存在，评估用于推荐的MLLMs

0的对齐情况存在重大挑战：(1)静态基准不准确，因为实际应用中存在动态

.

8性，(2)虽然在线系统中的评估准确但扩展到大规模时成本高昂，以及(3)传

0

5统指标在学习表示表现不佳时无法提供可操作见解。为了解决这些挑战，我

2们提出了泄漏影响分数（LIS），一种针对多模态推荐的新颖度量标准。LIS

:

v不直接评估MLLMs，而是有效地测量偏好数据的上限。我们还分享了关于

i

x如何在真实场景中使用LIS部署MLLMs的实用见解。在小红书发现频道的

r内容推送和展示广告上的在线A/B测试展示了我们提出方法的有效性，显

a

示用户花费时间和广告商价值有了显著提升。

1介绍

随着用户参与内容推荐的增加，多模态推荐技术在现代推荐系统中发挥着至关重要的作用，

因为它们可以利用超越用户行为的丰富内容信息。先前的研究表明，将多模态内容表示与用

户行为数据相结合，可以在多个应用中带来显著的收益(Huangetal.,2021;Zhouetal.,2023;

Liuetal.,2024;Dengetal.,2024;Zhangetal.,2025)。

多模态推荐的快速发展与多模态大型语言模型（MLLMs）如GPT-4V(Achiametal.,2023),

Gemini(Teametal.,2023),和Qwen-VL(Baietal.,2025)的显著进步并行。创建最先进的

MLLMs的关键经验之一是使其与人类偏好保持一致。通常，一致性通过复杂的基准测试进

行评估(Xuanetal.,2025;Zhouetal.,2024;Wangetal.,2024a)，其中加权平均分数作为评价指

标(Teametal.,2023;Baietal.,2025)。虽然该指标在世界知识领域表现良好，但由于系统的

动态性：用户兴趣的变化和算法的持续更新，其应用于推荐系统时固有限制。例如，