本部分内容来自于经典的 Gaussian Processes for machine learning ¹ . 主要说明了高斯过程的建模方法和高斯过程回归是如何做的。

本文当中：

• 小写粗体字母代表向量 $\boldsymbol{x}\in \mathbb{R}^{n}$ .
• 大写粗体字母代表矩阵 $\boldsymbol{X}\in \mathbb{R}^{m\times n}$ .

- 阅读剩余部分 -

写这篇文章的目的是希望能整合一些网上已有的先进思路，目前中文互联网上对于工具和工程上的问题其实并没有与时俱进，在最近发现 vscode 可以使用配置文件 profile 来隔离各个语言的时候，我在搬运过程发现，原来隔离环境之后，vscode 竟然变得这么快速而开箱即用，让我很吃惊。同时，配合目前时下非常先进的工具（例如 Astral 团队 开发的 uv, ruff 和 ty 等），实际上 Python 的开发体验是非常好的，而且安装插件很多也不臃肿。本文的目的就是记录我在这其中发现的一些最近可以使用的工具以及提高生产效率的法门。

- 阅读剩余部分 -

本文主要信息来源于 1993 年提出 DIRECT 算法的原文 ¹ .

[!tldr] 本文导读
DIRECT 算法是一种全局的优化算法，并且可以优化无噪声的黑盒函数.

1. 它在维度较高时的性质也相比以前的优化算法（Shubert 算法等）更稳定；
2. 找到最优值的必要条件：函数连续，或者至少在全局最优点的邻域附近连续.
3. 适用范围：搜索空间为闭方体、Lipschitz 条件函数.

- 阅读剩余部分 -

论文： High Dimensional Bayesian Optimization and Bandits via Additive Models

[!tldr] 本篇导读
本篇是一个非常经典的高维 BO 作品 ¹，也根植于统计学思维，读本篇论文的目的和想法有几个：

1. HDBO (High-Dimensional Bayesian Optimization) 仍然是具有很多问题的领域，同时也有很多高维统计的工具可供借鉴；
2. 本篇是高维 BO 的一个重要会议论文 (ICML)，引用量在 Web of Science 上有 230 左右，在没那么热门的 BO 领域当中已经算很高了.
3. 本篇适合我们衔接之前的 GP-UCB 方法，同时也和 Hastie 等大佬提出的 Generalized Additive Models ² 做到了 A+B ，所以对于统计背景的研究者而言，这篇的很多想法值得借鉴.

本篇的主要内容是提出了使用加性模型对付高维贝叶斯优化问题的思路，并在此基础上给出了 Add-GP-UCB 方法.

- 阅读剩余部分 -

GP-UCB 算法

本 Notebook 主要是为 GP-UCB 算法的代码提供一个范例，这里使用了 Beale 函数作为 Benchmark ，并且后文当中有相对丰富的图像展示了 GP-UCB 算法的性能。

- 阅读剩余部分 -