Вероятностные пространства

Пусть $Z \sim N(0,1), X = Z^{2}$ и $Y = e^{-X}$.

(i) Найдите распределения $P_{X}$ и $P_{Y}$ на $(\mathbb {R}, \mathcal{B}(\mathbb {R}))$.

(ii) Вычислите интегралы

где $\phi (z) = \frac{1}{\sqrt{2 \pi }} e^{-z^{2} / 2},-\infty < z < \infty$. Убедитесь, что все три интеграла совпадают.

Пусть $X_{1}, X_{2}, \ldots , X_{n}$ — н.о.р. случайные величины $N(0,1)$. Пусть $Y = \left(X_{1}+\cdots +X_{k}\right)$ и $Z = Y^{2}$.

(i) Найдите распределения $Y$ и $Z$.

(ii) Вычислите $\int_{\mathbb {R}^{k}}\left(x_{1}+\cdots +x_{k}\right)^{2} d P_{X_{1}, \ldots , X_{k}}\left(x_{1}, \ldots , x_{k}\right)$, $\int_{\mathbb {R}} y^{2} P_{Y}(d y)$ и $\int_{\mathbb {R}_{+}} z P_{Z}(d z)$.

Пусть $X_{1}, X_{2}, \ldots , X_{k}$ — независимые биномиальные $\left(n_{i}, p\right), i = 1,2, \ldots , k$ случайные величины. Пусть $Y = \left(X_{1}+\cdots +X_{k}\right)$.

(i) Найдите распределение $P_{Y}$ величины $Y$.

(ii) Вычислите $\int_{\mathbb {R}^{k}}\left(x_{1}+\cdots +x_{k}\right) d P_{X_{1}, \ldots , X_{k}}\left(x_{1}, \ldots , x_{k}\right)$ и $\int_{\mathbb {R}} y P_{Y}(d y)$.

Покажите, что $E\left(e^{t X}|X|^{r}\right) < \infty$ для всех $r > 0$ и $\left|t\right| < \epsilon$.

Убедитесь, что для всех $x \in \mathbb {R},\left|e^{x}-1\right| \leq \left|x\right| e^{\left|x\right|}$. Теперь используйте (a) и теорему о мажорированной сходимости, чтобы показать, что $M_{X}(t)$ дифференцируема и $M_{X}^{(1)}(t) = E\left(e^{t X} X\right)$ для всех $\left|t\right| < \epsilon$. Теперь завершите доказательство по индукции.)

Проверьте (2.25). (Указание: (a) Сначала покажите, что для $t_{1} \in (-\epsilon , \epsilon )$ существует $t_{2} \in (-\epsilon , \epsilon )$, такое что $\left|t_{1}\right| < \left|t_{2}\right| < \epsilon$ и при некотором $C < \infty , e^{t_{1} x}|x|^{r} \leq C e^{\left|t_{2} x\right|}$ для всех $x$ в $\mathbb {R}$.

Покажите, что $\phi (r) \equiv \left(E|X|^{r}\right)^{1 / r}$ не убывает на $(0, \infty )$.

Покажите, что $\phi (r) \equiv \log E|X|^{r}$ выпукла на $\left(0, r_{0}\right)$, если $E|X|^{r_{0}} < \infty$.

Пусть $M = \sup \left\{ x: P(\left|X\right| > x) > 0\right\}$. Покажите, что

(i) $\lim_{r \uparrow \infty } \phi (r) = M$.

(ii) $\lim_{n \rightarrow \infty } \frac{E|X|^{n+1}}{E|X|^{n}} = M$. (Указание: при $M < \infty$ заметьте, что $E|X|^{r} \geq (M-\epsilon )^{r} P(\left|X\right| > M-\epsilon )$ для любого $\epsilon > 0$.)

Покажите, что $D$ в примере 6.3.5 не является конечномерным цилиндрическим множеством. (Указание: заметьте, что $\lim_{n \rightarrow \infty } \frac{1}{n} \sum_{j = 1}^{n} x_{j}$ не определяется значениями лишь конечного числа $x_{i}$.)

Найдите ещё три таких примера множеств $D$ в $\mathbb {R}^{\infty }$, не являющихся конечномерными цилиндрическими множествами.

Покажите, что координатное отображение $f_{n}(x) \equiv x_{n}$ из $\mathbb {R}^{\infty }$ в $\mathbb {R}$ непрерывно относительно метрики $d$ из (3.3). (Заключите, используя пример 1.1.6, что $\mathcal{R}^{\mathbb {N}} \subset \mathcal{B}\left(\mathbb {R}^{\infty }\right)$.)

Пусть $\mathcal{C}_{1} \equiv \left\{ A: A = \left(a_{1}, b_{1}\right) \times \cdots \times \left(a_{k}, b_{k}\right) \times \mathbb {R}^{\infty },-\infty \leq a_{i} < b_{i} \leq \infty , 1 \leq i \leq k, \text{ при некотором } k < \infty \right\}$ и $\mathcal{C}_{2} \equiv \left\{ A: A \text{ — открытый шар в } \left(\mathbb {R}^{\infty }, d\right)\right\}$. Покажите, что $\sigma \left\langle \mathcal{C}_{2}\right\rangle \subset \sigma \left\langle \mathcal{C}_{1}\right\rangle$.

Покажите, что $\sigma \left\langle \mathcal{C}_{2}\right\rangle = \mathcal{B}\left(\mathbb {R}^{\infty }\right)$, показав, что каждое открытое множество в $(\mathbb {R}^{\infty }, d)$ является счётным объединением открытых шаров.

Убедитесь, что $\nu (\cdot ) \equiv \sum_{i \geq 1} p_{i} \mu_{i}(\cdot )$ — вероятностное распределение на $(\mathbb {R}, \mathcal{B}(\mathbb {R}))$.

(i) Покажите, что существует вероятностное пространство $(\Omega , \mathcal{F}, P)$ и набор независимых случайных величин $\left\{ J, X_{1}, X_{2}, \ldots \right\}$ на $(\Omega , \mathcal{F}, P)$, такие что для каждого $i \geq 1, X_{i}$ имеет распределение $\mu_{i}$, а $J \sim \mu$. (ii) Пусть $Y = X_{J}$, то есть $Y(\omega ) \equiv X_{J(\omega )}(\omega )$. Покажите, что $Y$ — случайная величина на $(\Omega , \mathcal{F}, P)$, и $Y \sim \nu$.

Покажите, что $Y = \psi (X, U)$ — случайная величина.

Покажите, что $P(Y \leq y) = \int_{\mathbb {R}} F(x, y) \mu (d x)$. (Распределение $Y$ называется смесью распределений со смешивающим распределением $\mu$. Это имеет значение в байесовском статистическом выводе.)

Пусть $\left(\mathbb {S}_{i}, \mathcal{S}_{i}\right), i = 1,2$ — два измеримых пространства. Пусть $\mu$ — вероятностная мера на $\left(\mathbb {S}_{1}, \mathcal{S}_{1}\right)$, и пусть $Q: \mathbb {S}_{1} \times \mathcal{S}_{2} \rightarrow [0,1]$ таково, что для каждого $x$ в $\mathbb {S}_{1}, Q(x, \cdot )$ — вероятностная мера на $\left(\mathbb {S}_{2}, \mathcal{S}_{2}\right)$, а для каждого $B$ в $\mathcal{S}_{2}, Q(\cdot , B)$ является $\mathcal{S}_{1}$-измеримой. Определим

на $\mathcal{C} \equiv \left\{ B_{1} \times B_{2}: B_{i} \in s_{i}, i = 1,2\right\}$. Покажите, что $\nu$ можно продолжить до вероятностной меры на $\sigma \langle \mathcal{C}\rangle \equiv \mathcal{S}_{1} \times \mathcal{S}_{2}$.

Пусть $\mu$ и $Q$ такие же, как в примере 6.3.8 (ср. (3.16)). Для каждого $n \geq 1$ пусть $\nu_{n}$ — функция множества, определённая рекурсивной схемой

Покажите, что для каждого $n, \nu_{n}$ можно продолжить до вероятностной меры на $\left(\mathbb {R}^{n}, \mathcal{B}\left(\mathbb {R}^{n}\right)\right)$. (Таким образом, правая часть (3.16) определяется как $\nu_{n}\left(B_{1} \times B_{2} \times \cdots \times B_{n}\right)$.)

Убедитесь, что $\lambda$ — вероятностная мера на $\left(\mathbb {S}_{2}, \mathcal{S}_{2}\right)$.

Теперь зафиксируем $B_{1}$ в $\mathcal{S}_{1}$. Покажите, что существует функция $\tilde{Q}\left(x, B_{1}\right)$, $\mathbb {S}_{2} \rightarrow [0,1]$, являющаяся $\left\langle \mathcal{S}_{2}, \mathcal{B}(\mathbb {R})\right\rangle$-измеримой, такая что

(Указание: примените теорему Радона-Никодима к паре $\nu \left(B_{1} \times \cdot \right)$ и $\lambda (\cdot )$.

Пусть $\Omega = \mathbb {S}_{1} \times \mathbb {S}_{2}, \mathcal{F} = \sigma \langle \mathcal{C}\rangle$. Для $\omega = \left(s_{1}, s_{2}\right)$ положим $\theta (\omega ) = s_{1}$ и $X(\omega ) = s_{2}$. Будем рассматривать $\theta$ как параметр, $X$ как данные, $Q(\theta , \cdot )$ как распределение $X$ при заданном $\theta , \mu (\cdot )$ как априорное распределение $\theta$, а $\tilde{Q}\left(x, B_{1}\right)$ как апостериорную вероятность того, что $\theta$ лежит в $B_{1}$ при заданных данных $X = x$. Вычислите $\tilde{Q}\left(x, B_{1}\right)$, когда $\left(\mathbb {S}_{i}, \mathcal{S}_{i}\right) = (\mathbb {R}, \mathcal{B}(\mathbb {R}))$, $i = 1,2, \mu (\cdot ) \sim N(0,1), Q(\theta , \cdot ) \sim N(\theta , 1)$.

Покажите, что если $X$ дискретна, то и $Y$ дискретна, но не наоборот.

Покажите, что если $X$ непрерывна и $g$ взаимно однозначна на множестве значений $X$, то $Y$ непрерывна.

Покажите, что если $X$ абсолютно непрерывна с плотностью $f_{X}(\cdot )$ и $g$ абсолютно непрерывна на ограниченных интервалах, причём $g^{\prime }(\cdot ) > 0$ п.в. $(m)$, то $Y$ также абсолютно непрерывна с плотностью

Пусть $X$ такая же, как в пункте (c). Предположим, что $g$ абсолютно непрерывна на ограниченных интервалах и существуют непересекающиеся интервалы $\left\{ I_{j}\right\}_{1 \leq j \leq k}$, $1 \leq k \leq \infty$, такие, что $\bigcup_{1 \leq j \leq k} I_{j} = \mathbb {R}$ и для каждого $j$ либо $g^{\prime }(\cdot ) > 0$ п.в. $(m)$ на $I_{j}$, либо $g^{\prime }(\cdot ) < 0$ п.в. $(m)$ на $I_{j}$. Покажите, что $Y$ также абсолютно непрерывна с плотностью

где $D\left\{ y\right\} \equiv \left\{ x_{j}: x_{j} \in I_{j}, g\left(x_{j}\right) = y\right\}$.

Используя (c), вычислите плотность $Y$, когда

(i) $X \sim N(0,1), g(x) = e^{x}$.

(ii) $X \sim N(0,1), g(x) = x^{2}$.

(iii) $X \sim N(0,1), g(x) = \sin 2 \pi x$.

(iv) $X \sim \exp (1), g(x) = e^{-x}$.

Определите пространство элементарных исходов $\Omega$, $\sigma$-алгебру $\mathcal{F}$ и вероятностную меру $P$ для этого эксперимента.

Покажите, что для любой перестановки $\sigma$ множества $\left\{ 1,2, \ldots , n\right\}$ случайный вектор $Y_{\sigma } = \left(X_{\sigma (1)}, X_{\sigma (2)}, \ldots , X_{\sigma (n)}\right)$ имеет то же распределение, что и $\left(X_{1}, X_{2}, \ldots , X_{n}\right)$.

Заключите, что $\left\{ X_{i}\right\}_{1 \leq i \leq n}$ одинаково распределены и что $E X_{i}, \operatorname {Cov}\left(X_{i}, X_{j}\right), i \neq j$ не зависят от $i$ и $j$, и вычислите их.

Ответьте на те же вопросы (a)-(c), если выборка производится с возвращением, т.е. на каждом шаге $i$ вероятность того, что $P\left(X_{i} = j\right) = \frac{1}{m}$ для всех $j \in S$.

В пункте (d) пусть $D$ — число различных единиц в выборке. Найдите $\mathbb {E}\left[D\right]$ и $\operatorname {Var}\left(D\right)$.