Производные и условная вероятность

Обобщите Примеры 31.1 и 31.3: пусть $p_{0}, \ldots , p_{r-1}$ — неотрицательные числа, дающие в сумме 1, где $r \geq 2$; предположим, что нет такого $i$, что $p_{i}=1$. Пусть $X_{1}$, $X_{2}, \ldots$ — независимые, одинаково распределённые случайные величины, такие что $P\left[X_{n}=i\right]=p_{i}, 0 \leq i<r$, и положим $X=\sum_{n=1}^{\infty } X_{n} r^{-n}$. Пусть $F$ — функция распределения $X$. Покажите, что $F$ непрерывна. Покажите, что $F$ строго возрастает на единичном интервале тогда и только тогда, когда все $p_{i}$ строго положительны. Покажите, что $F(x) \equiv x$ при $0 \leq x \leq 1$, если $p_{i} \equiv r^{-1}$, и что в противном случае $F$ сингулярна; докажите сингулярность, обобщив рассуждения как из Примера 31.1, так и из Примера 31.3. Каков аналог (31.17)?

$\uparrow$ В Задаче 31.1 возьмите $r=3$ и $p_{0}=p_{2}=\frac{1}{2}, p_{1}=0$. Соответствующая $F$ называется функцией Кантора. Дополнение в $[0,1]$ множества Кантора (см. Задачи 1.5 и 3.16) состоит из среднего третьего интервала $\left(\frac{1}{3}, \frac{2}{3}\right)$, средних третей $\left(\frac{1}{9}, \frac{2}{9}\right)$ и $\left(\frac{7}{9}, \frac{8}{9}\right)$, и так далее. Покажите, что $F$ равна $\frac{1}{2}$ на первом из этих интервалов, $\frac{1}{4}$ на втором, $\frac{3}{4}$ на третьем, и так далее. Покажите непосредственным рассуждением, что $F^{\prime }=0$ всюду, кроме множества лебеговой меры 0.

Вещественная функция $f$ вещественной переменной является лебеговой функцией, если $[x: f(x) \leq \alpha ]$ — лебегово множество при каждом $\alpha$.

$\uparrow$ Произвольная функция $f$ на $(0,1]$ может быть представлена как композиция лебеговой функции $f_{1}$ и борелевской функции $f_{2}$. Для $x$ из $(0,1]$ пусть $d_{n}(x)$ — $n$-я цифра в её бесконечном двоичном разложении, и определим $f_{2}(x)= \sum_{n=1}^{\infty } 2 d_{n}(x) / 3^{n}$. Покажите, что $f_{2}$ возрастает и что $f_{2}(0,1]$ содержится в множестве Кантора. Пусть $f_{1}(x)$ равна $f\left(f_{2}^{-1}(x)\right)$, если $x \in f_{2}(0,1]$, и 0, если $x \in (0,1]-f_{2}(0,1]$. Теперь покажите, что $f=f_{1} f_{2}$.

Пусть $r_{1}, r_{2}, \ldots$ — некоторая нумерация рациональных чисел в $(0,1)$, и положим $F(x)= \Sigma_{k r_{k} \leq x} 2^{-k}$. Определите $\varphi$ формулой (14.5) и докажите, что она непрерывна и сингулярна.

Предположим, что $\mu$ и $F$ связаны соотношением (31.18). Если $F$ не абсолютно непрерывна, то $\mu (A)>0$ для некоторого множества $A$ лебеговой меры 0. Интересен, однако, тот факт, что почти все сдвиги $A$ должны иметь $\mu$-меру 0. Используя теорему Фубини и тот факт, что $\lambda$ инвариантна относительно сдвига и отражения через 0, покажите, что если $\lambda (A)=0$ и $\mu$ $\sigma$-конечна, то $\mu (A+x)=0$ для $x$ вне некоторого множества лебеговой меры 0.

$17.431 .6 \uparrow$ Покажите, что $F$ абсолютно непрерывна тогда и только тогда, когда для каждого борелевского множества $A$ функция $\mu (A+x)$ непрерывна по $x$.

Пусть $F_{*}(x)=\lim_{\delta \rightarrow 0} \inf (F(v)-F(u)) /(v-u)$, где инфимум берётся по $u$ и $v$, таким что $u<x<v$ и $v-u<\delta$. Определим $F^{*}(x)$ как этот же предел с инфимумом, заменённым супремумом. Покажите, что в Теореме 31.4 $F^{\prime }$ может быть заменена на $F^{*}$ в пункте (i) и на $F_{*}$ в пункте (ii). Покажите, что в Теореме 31.6 ${ }_{F} D$ может быть заменена на $F_{*}$ (заметьте, что $F_{*}(x) \leq { }_{F} D(x)$ ).

Теорема Лебега о плотности. Точка $x$ называется точкой плотности борелевского множества $A$, если $\lambda ((u, v] \cap A) /(v-u) \rightarrow 1$ при $u \uparrow x$ и $v \downarrow x$. Из Теорем 31.2 и 31.4 выведите, что почти все точки $A$ являются точками плотности. Аналогично, $\lambda ((u, v] \cap A) /(v-u) \rightarrow 0$ почти всюду на $A^{c}$.

Пусть $f:[a, b] \rightarrow R^{k}$ — дуга; $f(t)=\left(f_{1}(t), \ldots , f_{k}(t)\right)$. Покажите, что дуга спрямляема тогда и только тогда, когда каждая $f_{i}$ имеет ограниченную вариацию на $[a, b]$.

$\uparrow$ Предположим, что $F$ непрерывна и не убывает и что $F(0)=0$, $F(1)=1$. Тогда $f(x)=(x, F(x))$ задаёт дугу $f:[0,1] \rightarrow R^{2}$. Легко видеть из монотонности, что дуга спрямляема и что, более того, её длина удовлетворяет $L(f) \leq 2$. Также легко, при заданном $\epsilon$, построить функции $F$, для которых $L(f)>2-\epsilon$. Покажите с помощью рассуждений из доказательства Теоремы 31.4, что $L(f)=2$, если $F$ сингулярна.

Предположим, что характеристическая функция $F$ удовлетворяет $\limsup_{t \rightarrow \infty }\left|\varphi (t)\right|=1$. Покажите, что $F$ сингулярна. Сравните со случаем решётчатого распределения (Задача 26.1). Указание: используйте разложение Лебега и теорему Римана—Лебега.

Предположим, что $X_{1}, X_{2}, \ldots$ независимы и принимают значения $\pm 1$ с вероятностью $\frac{1}{2}$ каждое, и пусть $X=\sum_{n=1}^{\infty } X_{n} / 2^{n}$. Покажите, что $X$ равномерно распределена на $[-1,+1]$. Вычислите характеристические функции $X$ и $X_{n}$ и выведите (1.40). Обратно, установите (1.40) с помощью тригонометрии и заключите, что $X$ равномерно распределена на $[-1,+1]$.

31.2 ↑ Show that the Cantor function is the distribution function of $\sum_{n=1}^{\infty } X_{n} / 3^{n}$, where the $X_{n}$ are independent and assume the values 0 and 2 with probability $\frac{1}{2}$ each. Express its characteristic function as an infinite product.

Show for the $F$ of Example 31.1 that ${ }_{F} D(1)=\infty$ and $D^{F}(0)=0$ if $p_{0}<\frac{1}{2}$. From (3117) deduce that ${ }_{F} D(x)=\infty$ and $D^{F}(x)=0$ for all dyadic rationals $x$. Analyze the case $p_{0}>\frac{1}{2}$ and sketch the graph

$6.14 \uparrow$ Let $F$ be as in Example 31.1, and let $\mu$ be the corresponding probability measure on the unit interval. Let $d_{n}(x)$ be the $n$th digit in the nonterminating binary expansion of $x$, and let $s_{n}(x)=\sum_{k=1}^{n} d_{k}(x)$. If $I_{n}(x)$ is the dyadic interval of order $n$ containing $x$, then

van der Waerden's continuous, nowhere differentiable function is $f(x)= \sum_{k=0}^{\infty } a_{k}(x)$, where $a_{0}(x)$ is the distance from $x$ to the nearest integer and $a_{k}(x)=2^{-k} a_{0}\left(2^{k} x\right)$. Show by the Weierstrass $M$-test that $f$ is continuous. Use (31.8) and the ideas in Example 31.1 to show that $f$ is nowhere differentiable. ${ }^{\dagger }$ A Lipschitz condition of order $\alpha$ holds at $x$ if $F(x+h)-F(x)=O\left(|h|^{\alpha }\right)$ as $h \rightarrow 0$, for $\alpha >1$ this implies $F^{\prime }(x)=0$, and for $0<\alpha <1$ it is a smoothness condition stronger than continuity and weaker than differentiability.

Show (see (31.31)) that (apart from addition of constants) a function can have only one representation $F_{1}+F_{2}$ with $F_{1}$ absolutely continuous and $F_{2}$ singular.

Show that the $F_{\mathrm{s}}$ in the Lebesgue decomposition can be further split into $F_{\mathrm{d}}+F_{\mathrm{cs}}$, where $F_{\mathrm{cs}}$ is continuous and singular and $F_{\mathrm{d}}$ increases only in jumps in the sense that the corresponding measure is discrete. The complete decomposition is then $F=F_{\mathrm{ac}}+F_{\mathrm{cs}}+F_{\mathrm{d}}$.

$14.4 \uparrow$ If $f$ is nonnegative and Lebesgue integrable, then by Theorem 31.3 and (31.8), except for $x$ in a set of Lebesgue measure 0,

if $u \leq x \leq v, u<v$, and $u, v \rightarrow x$. There is an analogue in which Lebesgue measure is replaced by a general probability measure $\mu$ : If $f$ is nonnegative and integrable with respect to $\mu$, then as $h \downarrow 0$,

on a set of $\mu$-measure 1. Let $F$ be the distribution function corresponding to $\mu$, and put $\varphi (u)=\inf [x: u \leq F(x)]$ for $0<u<1$ (see (14.5)). Deduce (31.36) from (31.35) by change of variable and Problem 14.4.

There are two ways to show that the convergence in (32.1) must be absolute: Use the Jordan decomposition. Use the fact that a series converges absolutely if it has the same sum no matter what order the terms are taken in.

If $A^{+} \cup A^{-}$is a Hahn decomposition of $\varphi$, there may be other ones $A_{1}^{+} \cup A_{1}^{-}$. Construct an example of this. Show that there is uniqueness to the extent that $\varphi \left(A^{+} \Delta A_{1}^{+}\right)=\varphi \left(A^{-} \Delta A_{1}^{-}\right)=0$.

Show that absolute continuity does not imply the $\epsilon -\delta$ condition (32.4) if $\nu$ is infinite. Hint. Let $\mathscr {F}$ consist of all subsets of the space of integers, let $\nu$ be counting measure, and let $\mu$ have mass $n^{-2}$ at $n$. Note that $\mu$ is finite and $\nu$ is $\sigma$-finite.

Show that the Radon-Nikodym theorem fails if $\mu$ is not $\sigma$-finite, even if $\nu$ is finite. Hint: Let $\mathscr {F}$ consist of the countable and the cocountable sets in an uncountable $\Omega$, let $\mu$ be counting measure, and let $\nu (A)$ be 0 or 1 as $A$ is countable or cocountable.

Let $\mu$ be the restriction of planar Lebesgue measure $\lambda_{2}$ to the $\sigma$-field $\mathscr {F}=\left\{ A \times R^{1}: A \in \mathscr {R}^{1}\right\}$ of vertical strips. Define $\nu$ on $\mathscr {F}$ by $\nu \left(A \times R^{1}\right)=\lambda_{2}(A \times (0,1))$. Show that $\nu$ is absolutely continuous with respect to $\mu$ but has no density. Why does this not contradict the Radon-Nikodym theorem?

Пусть $\mu , \nu$ и $\rho$ — $\sigma$-конечные меры на $(\Omega , \mathscr {F})$. Предположим, что производные Радона–Никодима здесь всюду неотрицательны и конечны.

Show that there is a Lebesgue decomposition (32.8) in the $\sigma$-finite as well as the finite case. Prove that it is unique.

The Radon-Nikodym theorem holds if $\mu$ is $\sigma$-finite, even if $\nu$ is not. Assume at first that $\mu$ is finite (and $\nu \ll \mu$ ).

Пусть $\mu$ и $\nu$ — конечные меры на $(\Omega , \mathscr {F})$, и пусть $\mathscr {F}^{\circ }$ — $\sigma$-алгебра, содержащаяся в $\mathscr {F}$. Тогда сужения $\mu^{\circ }$ и $\nu^{\circ }$ мер $\mu$ и $\nu$ на $\mathscr {F}^{\circ }$ являются мерами на $(\Omega , \mathscr {F}^{\circ })$. Пусть $\nu_{\mathrm{ac}}, \nu_{\mathrm{s}}, \nu_{\mathrm{ac}}^{\circ }, \nu_{\mathrm{s}}^{\circ }$ — соответственно абсолютно непрерывная и сингулярная части $\nu$ и $\nu^{\circ }$ относительно $\mu$ и $\mu^{\circ }$. Докажите, что $\nu_{\mathrm{ac}}^{\circ }(E) \geq \nu_{\mathrm{ac}}(E)$ и $\nu_{\mathrm{s}}^{\circ }(E) \leq \nu_{\mathrm{s}}(E)$ для $E \in \mathscr {F}^{\circ }$.

Предположим, что $\mu , \nu , \nu_{n}$ — конечные меры на $(\Omega , \mathscr {F})$ и что $\nu (A)=\sum_{n} \nu_{n}(A)$ для всех $A$. Пусть $\nu_{n}(A)=\int_{A} f_{n} d \mu +\nu_{n}^{\prime }(A)$ и $\nu (A)=\int_{A} f d \mu +\nu^{\prime }(A)$ — разложения (32.8); здесь $\nu^{\prime }$ и $\nu_{n}^{\prime }$ сингулярны относительно $\mu$. Докажите, что $f=\sum_{n} f_{n}$ всюду, кроме множества $\mu$-меры 0, и что $\nu^{\prime }(A)=\sum_{n} \nu_{n}^{\prime }(A)$ для всех $A$. Докажите, что $\nu \ll \mu$ тогда и только тогда, когда $\nu_{n} \ll \mu$ для всех $n$.

32.2 ↑ Абсолютная непрерывность функции множества $\varphi$ относительно меры $\mu$ определяется точно так же, как если бы $\varphi$ сама была мерой: $\mu (A)=0$ должно влечь $\varphi (A)=0$. Докажите, что если это выполняется и $\mu$ $\sigma$-конечна, то $\varphi (A)=\int_{A} f d \mu$ для некоторой интегрируемой $f$. Докажите, что $A^{+}=[\omega : f(\omega ) \geq 0]$ и $A^{-}=[\omega : f(\omega )<0]$ дают разложение Хана для $\varphi$. Докажите, что три вариации удовлетворяют $\varphi^{+}(A)= \int_{A} f^{+} d \mu , \varphi^{-}(A)=\int_{A} f^{-} d \mu$ и $\left|\varphi \right|(A)=\int_{A}\left|f\right| d \mu$. Указание: чтобы построить $f$, начните с (32.2).

$\uparrow$ Знакопеременная мера $\varphi$ — это функция множества, которая удовлетворяет (32.1), если $A_{1}, A_{2}, \ldots$ не пересекаются, и может принимать одно из значений $+\infty$ и $-\infty$, но не оба. Распространите разложения Хана и Жордана на знакопеременные меры

$31.22 \uparrow$ Предположим, что $\mu$ и $\nu$ — вероятностная мера и $\sigma$-конечная мера на прямой и что $\nu \ll \mu$. Докажите, что производная Радона-Никодима $f$ удовлетворяет

на множестве $\mu$-меры 1.

Найдите на единичном интервале несчётное множество вероятностных мер $\mu_{p}, 0<p<1$, с носителями $S_{p}$ такими, что $\mu_{p}\left\{ x\right\} =0$ для каждого $x$ и $p$, а $S_{p}$ попарно не пересекаются.

Пусть $\mathscr {F}_{0}$ — алгебра, состоящая из конечных и коконечных множеств в несчётном $\Omega$. Определим $\varphi$ на $\mathscr {F}_{0}$, полагая $\varphi (A)$ равным числу точек в $A$, если $A$ конечно, и минус числу точек в $A^{c}$, если $A$ коконечно. Докажите, что (32.1) выполняется (это неверно, если $\Omega$ счётно). Докажите, что для $\varphi$ не существует отрицательных множеств (кроме пустого), что не существует разложения Хана и что $\varphi$ не имеет ограниченной области значений.

20.27 ↑ Парадокс Бореля. Предположим, что случайная точка на сфере задаётся долготой $\Theta$ и широтой $\Phi$, но $\Theta$ ограничена условием $0 \leq \Theta <\pi$, так что $\Theta$ задаёт весь меридианный круг (а не полукруг), содержащий точку, и в качестве компенсации $\Phi$ пробегает ( $-\pi , \pi$ ].

$20.16 \uparrow$ Пусть $X$ и $Y$ независимы и каждая имеет стандартное нормальное распределение, и пусть $(R, \Theta )$ — полярные координаты для $(X, Y)$.

↑ Парадоксы несколько похожего рода возникают и в очень простых случаях.

$\uparrow$

$\uparrow$ Предположим, что $T=X$ — случайная величина, $\left(\Omega^{\prime }, \mathscr {F}^{\prime }\right)=\left(R^{1}, \mathscr {R}^{1}\right)$, а $x$ — произвольная точка $R^{1}$. В этом случае $p(A \mid x)$ иногда записывают как $P[A \mid X=x]$. В чём проблема с этим обозначением?

Для пуассоновского процесса (см. Пример 33.1) покажите, что при $0<s<t$,

Таким образом, условное распределение (в смысле Теоремы 33.3) $N_{s}$ при заданном $N_{t}$ является биномиальным с параметрами $N_{t}$ и $s / t$.

$29.12 \uparrow$ Предположим, что $\left(X_{1}, X_{2}\right)$ имеет центрированное нормальное распределение-имеет на плоскости распределение с плотностью (29.10). Запишите квадратичную форму в экспоненте в виде

проинтегрируйте по $x_{2}$ и покажите, что

где $\tau =\sigma_{22}-\sigma_{12}^{2} \sigma_{11}^{-1}$. Опишите условное распределение $X_{2}$ при заданном $X_{1}$.

↑ Выведите из (33.16), что условное распределение $X$ при заданном $M$ равно

где $\mu$ — распределение, соответствующее $F$ (положительной и непрерывной). Указание: сначала проверьте случай $H=(-\infty , x]$.

$4.1012 .4 \uparrow$ Следующая конструкция показывает, что условные вероятности могут не задавать меры. Восполните детали.

В Задаче 4.10 показано, что существуют вероятностное пространство $(\Omega , \mathscr {F}, P)$, $\sigma$-алгебра $\mathscr {G}$ в $\mathscr {F}$ и множество $H$ в $\mathscr {F}$, такие что $P(H)=\frac{1}{2}, H$ и $\mathscr {G}$ независимы, $\mathscr {G}$ содержит все одноточечные множества, и $\mathscr {G}$ порождается счётным подклассом. Счётный подкласс, порождающий $\mathscr {G}$, можно выбрать в виде $\pi$-системы $\mathscr {P}=\left\{ B_{1}, B_{2}, \ldots \right\}$ (перейдя к конечным пересечениям множеств из исходного класса).

Предположим, что можно выбрать версии $P[A \mid \mathscr {G}]$ так, чтобы $P[A \mid \mathscr {G}]_{\omega }$ при каждом $\omega$ была вероятностной мерой при изменении $A$ по $\mathscr {F}$. Пусть $C_{n}$ — множество $\omega$, для которых $P\left[B_{n} \mid \mathscr {G}\right]_{\omega }=I_{B_{n}}(\omega )$; покажите (Пример 33.3), что $C=\bigcap_{n} C_{n}$ имеет вероятность 1. Покажите, что из $\omega \in C$ следует $P[G \mid \mathscr {A}]_{\omega }=I_{G}(\omega )$ для всех $G$ из $\mathscr {I}$, и, следовательно, $P[\left\{ \omega \right\} \mid \mathscr {G}]_{\omega }=1$.

Теперь из $\omega \in H \cap C$ следует $P[H \mid \mathscr {G}]_{\omega } \geq P[\left\{ \omega \right\} \mid \mathscr {G}]_{\omega }=1$, а из $\omega \in H^{c} \cap C$ следует $P[H \mid \mathscr {G}]_{\omega } \leq P[\Omega -\left\{ \omega \right\} \mid \mathscr {G}]_{\omega }=0$. Таким образом, из $\omega \in C$ следует $P[H \mid \mathscr {G}]_{\omega }=I_{H}(\omega )$. Но поскольку $H$ и $\mathscr {G}$ независимы, $P[H \mid \mathscr {G}]_{\omega }= P(H)=\frac{1}{2}$ с вероятностью 1, что противоречиво.

Этот пример связан с Примером 4.10, но касается математического факта, а не эвристической интерпретации.

Пусть $\alpha$ и $\beta$ — $\sigma$-конечные меры на прямой, и пусть $f(x, y)$ — вероятностная плотность относительно $\alpha \times \beta$. Определим