论文： High Dimensional Bayesian Optimization and Bandits via Additive Models

[!tldr] 本篇导读
本篇是一个非常经典的高维 BO 作品 1，也根植于统计学思维，读本篇论文的目的和想法有几个：

  1. HDBO (High-Dimensional Bayesian Optimization) 仍然是具有很多问题的领域，同时也有很多高维统计的工具可供借鉴；
  2. 本篇是高维 BO 的一个重要会议论文 (ICML)，引用量在 Web of Science 上有 230 左右，在没那么热门的 BO 领域当中已经算很高了.
  3. 本篇适合我们衔接之前的 GP-UCB 方法，同时也和 Hastie 等大佬提出的 Generalized Additive Models 2 做到了 A+B ，所以对于统计背景的研究者而言，这篇的很多想法值得借鉴.

本篇的主要内容是提出了使用加性模型对付高维贝叶斯优化问题的思路，并在此基础上给出了 Add-GP-UCB 方法.

- 阅读剩余部分 -

Obsidian Callout

如果有使用 Obsidian 的读者，相信一定会知道有一个非常有意义的语法就是 callout ，不熟悉的朋友也可以参考官方链接 1 ，它就是用形如

> [!note] Note
> 方框当中的内容

来实现一个方框的效果，相比引用 (blockquote) 语法，它有更 fancy 的外观，可以根据内容的实际意图有不同的外观. 而在 Typecho 当中，实际上也有方法实现这类内容，用上面的代码，可以渲染得到如下的内容：

[!note] Note
方框当中的内容

- 阅读剩余部分 -

为了做论文当中的优化问题，特地学了一下约束优化相关的教材之外的方法，最近才有精力研读了一下 ADMM 算法相关的内容，发现很适合目前正在做的问题. 本文章的主要内容来源于 Stephen Boyd 的 ADMM 小册子 1 .

如果你需要求解非光滑的等式约束优化问题：

$$ \begin{aligned} & \min \quad f(\boldsymbol{x}) \\ & \mathrm{s.t.} \quad \boldsymbol{Ax} = \boldsymbol{b} \end{aligned} $$

或许本文有所帮助。

- 阅读剩余部分 -

  1. 1
  2. 2