本部分内容来自于经典的 Gaussian Processes for machine learning ¹ . 主要说明了高斯过程的建模方法和高斯过程回归是如何做的。

本文当中：

• 小写粗体字母代表向量 $\boldsymbol{x}\in \mathbb{R}^{n}$ .
• 大写粗体字母代表矩阵 $\boldsymbol{X}\in \mathbb{R}^{m\times n}$ .

- 阅读剩余部分 -

论文： High Dimensional Bayesian Optimization and Bandits via Additive Models

[!tldr] 本篇导读
本篇是一个非常经典的高维 BO 作品 ¹，也根植于统计学思维，读本篇论文的目的和想法有几个：

1. HDBO (High-Dimensional Bayesian Optimization) 仍然是具有很多问题的领域，同时也有很多高维统计的工具可供借鉴；
2. 本篇是高维 BO 的一个重要会议论文 (ICML)，引用量在 Web of Science 上有 230 左右，在没那么热门的 BO 领域当中已经算很高了.
3. 本篇适合我们衔接之前的 GP-UCB 方法，同时也和 Hastie 等大佬提出的 Generalized Additive Models ² 做到了 A+B ，所以对于统计背景的研究者而言，这篇的很多想法值得借鉴.

本篇的主要内容是提出了使用加性模型对付高维贝叶斯优化问题的思路，并在此基础上给出了 Add-GP-UCB 方法.

- 阅读剩余部分 -

GP-UCB 算法

本 Notebook 主要是为 GP-UCB 算法的代码提供一个范例，这里使用了 Beale 函数作为 Benchmark ，并且后文当中有相对丰富的图像展示了 GP-UCB 算法的性能。

- 阅读剩余部分 -

本文先介绍多臂老虎机的符号规范与基本定义，将其建模为含动作集、奖励集与概率分布的三元组，说明其在推荐、广告、投资等领域的应用。接着区分非结构化与结构化老虎机，定义伪遗憾、期望遗憾与遗憾界，指出探索‑利用权衡是核心问题。文末给出相关引理证明，并提供 Bernoulli 老虎机的 Python 实现与 Follow‑The‑Leader 算法示例，通过实验说明该算法遗憾呈线性增长，为后续更优算法作了铺垫。

- 阅读剩余部分 -

本页面用于存档自己在讨论班制作的 PDF Slides ，使用 Typst 制作，由于内容涉及到众多参考文献且国内相关资料较少，在此留作存档。

- 阅读剩余部分 -