凸関数とは？

まず、凸関数について簡単に説明します。関数 $f(x)$ が凸であるとは、次の条件が成り立つことを意味します：

$$

f(\lambda x_1 + (1 - \lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2)

$$

ここで、 $0 \leq \lambda \leq 1$ であり、これは \( f \) の任意の2点 \( x_1 \) と \( x_2 \) の間の点で成り立ちます。視覚的には、凸関数のグラフは「下に膨らむ」形をしています。

イェンセンの不等式

イェンセンの不等式は、凸関数を用いて確率変数の期待値に関する不等式を提供します。具体的には、次のように定義されます：

確率変数の場合

確率変数 \( X \) と凸関数 \( f \) に対して、

$$

f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]

$$

ここで、 \( \mathbb{E}[X] \) は \( X \) の期待値（平均）です。つまり、凸関数 \( f \) の期待値は、期待値に対する \( f \) の値よりも常に大きいか等しいということです。

離散分布の場合

具体的に、離散的な場合を考えてみます。確率 \( p_i \) で値 \( x_i \) を取る離散確率変数 \( X \) があるとします。このとき、イェンセンの不等式は次のように書けます：

$$

f\left(\sum_i p_i x_i\right) \leq \sum_i p_i f(x_i)

$$

イェンセンの不等式の直感的な理解

イェンセンの不等式を直感的に理解するために、具体的な例を考えましょう。

例：放物線関数 \( f(x) = x^2 \)

放物線関数 \( f(x) = x^2 \) は凸関数です。期待値が \( \mathbb{E}[X] = 3 \) である確率変数 \( X \) を考えます。

イェンセンの不等式によれば、

$$

f(\mathbb{E}[X]) = (\mathbb{E}[X])^2 = 3^2 = 9

$$

一方で、 \( \mathbb{E}[f(X)] = \mathbb{E}[X^2] \) です。例えば、 \( X \) が値 \( 2 \) と \( 4 \) を等確率 \( 0.5 \) で取る場合、