本文主要信息来源于 1993 年提出 DIRECT 算法的原文 ¹ .

[!tldr] 本文导读
DIRECT 算法是一种全局的优化算法，并且可以优化无噪声的黑盒函数.

1. 它在维度较高时的性质也相比以前的优化算法（Shubert 算法等）更稳定；
2. 找到最优值的必要条件：函数连续，或者至少在全局最优点的邻域附近连续.
3. 适用范围：搜索空间为闭方体、Lipschitz 条件函数.

- 阅读剩余部分 -

论文： High Dimensional Bayesian Optimization and Bandits via Additive Models

[!tldr] 本篇导读
本篇是一个非常经典的高维 BO 作品 ¹，也根植于统计学思维，读本篇论文的目的和想法有几个：

1. HDBO (High-Dimensional Bayesian Optimization) 仍然是具有很多问题的领域，同时也有很多高维统计的工具可供借鉴；
2. 本篇是高维 BO 的一个重要会议论文 (ICML)，引用量在 Web of Science 上有 230 左右，在没那么热门的 BO 领域当中已经算很高了.
3. 本篇适合我们衔接之前的 GP-UCB 方法，同时也和 Hastie 等大佬提出的 Generalized Additive Models ² 做到了 A+B ，所以对于统计背景的研究者而言，这篇的很多想法值得借鉴.

本篇的主要内容是提出了使用加性模型对付高维贝叶斯优化问题的思路，并在此基础上给出了 Add-GP-UCB 方法.

- 阅读剩余部分 -

GP-UCB 算法

本 Notebook 主要是为 GP-UCB 算法的代码提供一个范例，这里使用了 Beale 函数作为 Benchmark ，并且后文当中有相对丰富的图像展示了 GP-UCB 算法的性能。

- 阅读剩余部分 -

Obsidian Callout

如果有使用 Obsidian 的读者，相信一定会知道有一个非常有意义的语法就是 callout ，不熟悉的朋友也可以参考官方链接 ¹ ，它就是用形如

> [!note] Note
> 方框当中的内容

来实现一个方框的效果，相比引用 (blockquote) 语法，它有更 fancy 的外观，可以根据内容的实际意图有不同的外观. 而在 Typecho 当中，实际上也有方法实现这类内容，用上面的代码，可以渲染得到如下的内容：

[!note] Note
方框当中的内容

- 阅读剩余部分 -

为了之后优化问题的研究，我在此留一些日后自己写算法需要的测试函数（Benchmark），有简单到可以手算的，也有相对复杂的，根据实际情况我将持续更新本文.

- 阅读剩余部分 -