[MS4] ch.1-4. 볼록함수

서울대학교 통계학과 대학원 2021년도 1학년 1학기 통계이론1 수업의 정리내용입니다.

reference: Lecture note (Prof.Jaeyong Lee),
Mathematical Statistics : Basic Ideas and Selected Topics, Volume I, Second Edition By Peter J. Bickel, Kjell A. Doksum

4. 볼록함수

4.1 정의

$\textbf{Definition[볼록함수]}$

1. 함수 $\phi: (a,b) \rightarrow \mathbb{R}$가

$\phi(\alpha x + (1-\alpha)y) \leq \alpha \phi(x) + (1 - \alpha) \phi(y), \forall x, y \in (a,b), \forall \alpha \in [0,1)$

를 만족하면 $\phi$를 볼록함수(convex function) 이라 한다. 위의 식에서 등호 없이 부등식이 성립하면, $\phi$를 순볼록(Strictly convex) 라 한다.

1. $-\phi$가 (순)볼록이면, $\phi$를 (순)오목이라 한다.

$\textbf{Theorem}$

$\phi$는 $(a,b)$상에 정의된 볼록함수.

1. $\phi$는 $(a,b)$의 모든 부분 폐구간(Closed subinterval)에서 절대 연속(absolutely conti)
2. $(a,b)$의 모든 점에서 좌미분 $D^- \phi(t)$ 와 우미분 $D^+ \phi(t)$ 가 존재. 가산의 점을 제외한 곣에서 미분 가능.
3. 좌미분 계수와 우미분 계수는 증가함수
4. $D^- \phi(t) \leq D^+ \phi(t), \forall t \in (a,b)$

$\textbf{Theorem}$

$\phi$는 $(a,b)$상에 미분가능.

1. $\phi$가 볼록 $\Leftrightarrow \phi’(x) \leq \phi’(y), \forall a \leq x \leq b$
2. $\phi$가 순볼록 $\Leftrightarrow \phi’(x) < \phi’(y), \forall a < x<y< b$

$\phi$가 $(a,b)$ 상에서 두번미분가능.

1. $\phi$ 볼록 $\Leftrightarrow \phi’‘(x) \geq 0, \forall a < x < b$
2. $\phi$ 순볼록 $\Leftarrow \phi’‘(x) > 0, \forall a < x < b$

$\textbf{Definition[k차원에서 볼록]}$

1. (볼록집합)
   S: 볼록집합
   $\Leftrightarrow \alpha x + (1 - \alpha)y \in S, \forall x, y \in S, \alpha \in (0,1)$
2. (볼록함수) 함수 $\phi: S \rightarrow \mathbb{R}$가

$\phi(\alpha x + (1-\alpha)y) \leq \alpha \phi(x) + (1 - \alpha) \phi(y), \forall x, y \in S, \forall \alpha \in [0,1)$

를 만족하면, $\phi$를 볼록함수라 한다.

1. $-\phi$가 (순)볼록이면, $\phi$를 (순)오목이라 한다.

4.2 볼록함수를 보존하는 연산들

$\textbf{Lemma}$

1. (양의 가능치의 합들) $f_1, \cdots, f_m: 볼록, w_1, \cdots, w_m \geq 0$
   $\Rightarrow w_1f_1 + \cdots w_mf_m$:볼록
2. (Composition) $g:\mathbb{R}^k \rightarrow \mathbb{R}$: 볼록, $h:\mathbb{R}^k \rightarrow \mathbb{R}$: 볼록, 증가(nonincreasing)
   $\Rightarrow f=h\circ g $:볼록

4.3 받침선, 받침초평면

$\textbf{Lemma[받침선(supporting line)], 받침초평면(supporting hyperplane)}$

1. (받침선) $\phi$는 $I=(a,b) \subseteq \mathbb{R}$ 상에서 볼록, $t \in I$라 하면,

$L(x) = c(X-t) + \phi(t) \leq \phi(X), \forall x \in I$

를 만족하는 $(t,\phi(t))$를 통과하는 직선 $L(x)$ 가 존재.

1. (받침초평면) $S \subseteq \mathbb{R}^k$: 볼록, $\phi : S \rightarrow \mathbb{R}, t \in S$라 하면,

$L(x) = c'(X-t) + \phi(t) \leq \phi(X), \forall x \in S$

를 만족하는 $(t,\phi(t))$를 통과하는 초평면 $L(x)$ 가 존재.

4.4 젠센의 부등식

$\textbf{Theorem}$

$\phi: I=(a,b) \rightarrow \mathbb{R}$: 볼록, $E\vert X \vert < \infty, P(X \in I ) = 1$ 이면,

$\phi(EX) \leq E\phi(X)$

$\phi$가 $I$ 상에서 순볼록이고, $P(X=\mu) \ne 1$ 이라면,

$\phi(EX) < E\phi(X)$

4.5. 볼록손실함수

$\textbf{Theorem1}$

$\rho: \mathbb{R} \rightarrow \mathbb{R}$은 볼록, 단조함수는 아니다 $X \in \mathbb{R}$ 확률변수.
difine $\phi(a) := E\rho(X-a) $ and $\phi(a) < \infty$를 만족하는 $a$ 존재. $\Rightarrow $

1. $\phi(a)$가 최솟값을 갖는다.
2. 최소값을 갖는 $a$들의 집합 $S$는 닫힌구간이다.
3. $\rho$가 순볼록이면, $\phi$의 최솟값을 갖는 $a$는 유일하게 존재.

$\textbf{lemma}$

$\phi: \mathbb{R} \rightarrow \mathbb{R}$은 볼록이면서 단조함수는 아니다. $\Rightarrow $

1. $\phi (a)$가 최솟값을 갖는다.
2. 최솟값을 갖는 $a$들의 집합 $S$는 닫힌구간이다.
3. $\phi$가 순볼록이면, $\phi$의 최솟값을 갖는 $a$는 유일하게 존재.

$\textbf{lemma}$

thm1의 가정만족 & $\rho$는 0에 대칭 & $X$는 $\mu$에 대칭 $\Rightarrow \mu = \argmin_a \phi(a) = \argmin_a E\rho(X-a) $