SVGDStein Variational Gradient Descent (SVGD)는 여러 개의 particle을 동시에 움직여서 목표 확률분포를 근사하는 variational inference method이다.$N$개의 sample을 가지고 있는 상황에서, 이 sample들을 반복적으로 update하여 전체 empirical distribution이 목표분포에 가까워지게 만든다. 일반적인 gradient descent가 하나의 point를 objective function의 minimizer로 이동시키는 방법이라면, SVGD는 여러 particle이 만드는 empirical distribution 자체를 target distribution으로 이동시키는 방법으로 볼 수 있다.Main Mechanism$N..
CompactnessOpen coverCompactness를 정의하기 위해서는 open set의 개념이 필요하다. 따라서 compactness는 기본적으로 topological space 위에서 정의된다.위상공간 $V$의 부분집합 $S \subseteq V$를 생각하자.Open sets $\{ S_i \}_{i \in I}$가$$ S \subseteq \bigcup_{i \in I} S_i$$를 만족할 때, $\{ S_i \}_{i \in I}$를 $S$의 open cover라 한다.즉, open cover는 open sets의 모음으로 $S$ 전체를 덮는 것이다.Compactness집합 $S \subseteq V$가 compact하다는 것은 $S$의 모든 open cover가 finite subcove..
Minimax inequality함수$$ f : X \times Y \to \mathbb{R}$$를 생각하자.항상$$ \sup_{x \in X} \inf_{y \in Y} f(x,y) \le \inf_{y \in Y} \sup_{x \in X} f(x,y)$$가 성립한다.이를 minimax inequality 또는 weak minimax inequality라고 한다.proof임의의 $x \in X$와 $y \in Y$에 대하여$$ \inf_{\tilde{y} \in Y} f(x,\tilde{y}) \le f(x,y)$$이다.따라서 $x$에 대해 supremum을 취하면$$ \sup_{x \in X} \inf_{\tilde{y} \in Y} f(x,\tilde{y}) \le \sup_{x \in X} f(..
Convex set and convex function집합 $ C \subseteq \mathbb{R}^n $가 모든 $ x, y \in C $와 $ \lambda \in [0, 1] $에 대하여$$\lambda x + (1 - \lambda) y \in C$$를 만족하면 $ C $를 convex set이라 한다.즉, $ C $ 안의 임의의 두 점을 잇는 선분 전체가 $ C $에 포함된다.볼록집합 $ C \subseteq \mathbb{R}^n $ 위의 함수 $ f : C \to \mathbb{R} $가 모든 $ x, y \in C $와 $ \lambda \in [0, 1] $에 대하여$$f \left( \lambda x + (1 - \lambda) y \right) \le \lambda f \left(..
Vector Space벡터공간(vector space)은 선형대수학의 가장 기본적인 공간 중 하나이다. 벡터공간에는 벡터의 덧셈과 스칼라곱이라 부르는 두 연산이 정의되어 있다.Definition of a Vector Space체(field) $F$와 집합 $V$에 대해, 다음과 같이 두 연산$$ + : V \times V \to V, \quad \cdot : F \times V \to V$$이 존재하여, 모든 $u, v, w \in V$와 $a, b \in F$에 대해(Commutativity of addition) $u + v = v + u$.(Associativity of addition) $(u + v) + w = u + (v + w)$.(Existence of additive identity) $..