2023年 6月の投稿一覧

KL ダイバージェンス最小化の意味を理解するための記事まとめ

KL ダイバージェンス最小化の意味を説明することをテーマに、幾つか記事を書いてきました。これらの記事を書いた動機は、KL ダイバージェンスの最小化 (最尤推定) は統計的推論の最も基本的な手法であるにもかかわらず、手に...

続きを読む

統計的推論では多くの場合、最尤推定という方法が用いられます。それにもかかわらず、最尤推定の確率的な意味について書かれた教科書は多くありません。実は最尤推定を考案したフィッシャー自身、尤度について「"合理的な信念の尺度"...

続きを読む

$S$ を集合とし、$S$ 上の $n$ 個のデータ $\{x_1, \dots, x_n\}$ が与えられたとします。このデータを生成した分布の候補が $2$ つあるとし、それぞれ $P$, $Q$ とおくこととしま...

続きを読む

可分完備距離空間 (ポーランド空間) $S$ 上の確率測度全体 $\mathcal{P}(S)$ の、弱位相に関する sanov の定理を以下の記事で示しました。「sanov の定理の証明」しかし弱位相...

続きを読む

クラメールの定理は以下の記事「統計的仮説検定とクラメールの定理」で証明していますが、この記事ではキュムラント母関数が任意の点で有限であることを仮定していました。本記事では、キュムラント母関数の値が $\...

続きを読む

以下の記事で sanov の定理を示しました。「sanov の定理の証明」しかし、sanov の定理が弱位相における開集合、閉集合にしか適用できないと、応用が制限されて不便です。本記事では、もっと一般の...

続きを読む

開区間 $U \subset \mathbb{R}$ 上の凸関数 $f: U \to \mathbb{R}$ が連続であることを示します。ここで、凸関数であるとは、任意の $x, y \in U$ と任意の $0 \l...

続きを読む