周志华版《机器学习》第十六章 课后习题参考解答.pdfVIP

周志华《机器学习》第十六章课后习题

参考解答

16.1UCB方法与ε-贪心法、Softmax方法的异同对比

一、核心相同点

K--Exploration-Exploitation

三者均为摇臂赌博机问题的经典探索利用（）平衡策略，目标

是通过合理选择摇臂，最大化长期累积奖赏，核心是解决“利用已知高奖赏摇臂”与“探索潜在

更高奖赏摇臂的矛盾。”

二、关键不同点（从核心机制、参数依赖、性能特性展开）

对比维度UCB（上置信界）ε-贪心法Softmax（玻尔兹曼选

方法择）方法

“+“”“”

选择策略核心基于奖赏均值置基于固定概率探索：基于玻尔兹曼分布：摇

信区间”：选择Q(k)以概率1-\varepsilon选臂k的选择概率为P(k)

+\sqrt{\frac{2\ln择当前Q(k)最大的摇臂\frac{e^{Q(k)/T}}{\sum_{k}

n}{n_k}}e^{Q(k)/T}}T

最大的摇（利用），以概率，为温度参

n

臂，其中为总次\varepsilon随机选择摇数

n_kk

数，为摇臂的臂（探索）

次数

T

探索引导机制不确定性驱动：摇臂随机探索：探索行为完奖赏差异驱动：温度控

k的探索次数越少全随机，与摇臂的不确制探索程度——T大时选

（n_k小）、总次数定性无关择概率均匀（强探索），

越多（n大），置信T小时向高奖赏摇臂倾斜

区间UC(k)越大，强（强利用）

制探索不确定性高的

摇臂

参数依赖无额外参数（仅依赖依赖探索概率依赖温度参数T（需手动

n,n_k\varepsilonT

统计量），自（需手动调调参或退火，如随次数

适应调整探索强度参，如递减），T选择直接影响

\varepsilon0.1），固性能

定\varepsilon可能导致

后期过度探索

TT

性能稳定性后期性能优：随总次后期可能过度探索：固依赖退火策略：若递