Source
前言
兩個數字相等 x = y
兩個函數相等 f(x) = g(x) for all x.
兩個機率分佈相對 f(x) = g(x) but f(x), g(x) are pdf
機率相等的意義
(1) pdf 一樣
(2) 距離 = 0, KL divergence or other divergence = 0
(3) 實用主義，假設我們無法看到 pdf. 就是從產生的樣本是否用任何方法可以分辨？
例如 B(p=0.5) 和 B(p=0.75) ：可以，只要從統計特性，例如數多少 0 or 1. 或是 mean, variance. 無法分辨。
但是如果有一個 machine: 可以產生 : 0, 1, 0, 1, 0, 1 或是 0, 1, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 和 B(p=0.5) 似乎可以分辨。但是統計特性一樣？
| 應該要看 conditional on 之前的樣本 $p(x_n | x_{n-1})$ or $p(x_n | x_{n-1}, …., x_0)$ |
| 所以可以看出 Q = 0， 1，0，1。.. 的 $p(x_n | x_{n-1}=0) \ne q(x_n | x_{n-1}=0)$, 條件的統計特性不同。 |
只有樣本之間 independent 才會化簡成 p(x). 更廣義是用 joint pdf p(x1, x2, …) = q(x1, x2, ….)