33

Условная вероятность

[16/25%]
Показать
LaTeX
Задача 33.1

20.27 ↑ Парадокс Бореля. Предположим, что случайная точка на сфере задаётся долготой Θ\Theta и широтой Φ\Phi, но Θ\Theta ограничена условием 0≤Θ<π0 \leq \Theta <\pi, так что Θ\Theta задаёт весь меридианный круг (а не полукруг), содержащий точку, и в качестве компенсации Φ\Phi пробегает ( −π,π-\pi , \pi ].

?
(a)

Докажите, что при заданном Θ\Theta условное распределение Φ\Phi имеет плотность 14∣cos⁡ϕ∣\frac{1}{4}\left|\cos \phi \right| на ( −π,+π]\left.-\pi ,+\pi \right]. Если точка лежит, скажем, на меридианном круге, проходящем через Гринвич, то она, следовательно, не распределена равномерно на этой большой окружности.

(b)

Докажите, что при заданном Φ\Phi условное распределение Θ\Theta равномерно на (0,π)(0, \pi ). Если точка лежит на экваторе ( Φ\Phi равно 0 или π\pi ), то она, следовательно, распределена равномерно на этой большой окружности.

Поскольку точка распределена равномерно на сферической поверхности, а большие окружности неразличимы, (a) и (b) находятся в кажущемся противоречии. Это вновь показывает недопустимость обусловливания относительно изолированного события вероятности 0. Нельзя упускать из виду соответствующую σ\sigma-алгебру.

Задача 33.2

20.16↑20.16 \uparrow Пусть XX и YY независимы и каждая имеет стандартное нормальное распределение, и пусть (R,Θ)(R, \Theta ) — полярные координаты для (X,Y)(X, Y).

?
(a)

Докажите, что X+YX+Y и X−YX-Y независимы и что R2=[(X+Y)2+(X−Y)2]/2R^{2}=\left[(X+Y)^{2}+(X-Y)^{2}\right] / 2, и заключите, что условное распределение R2R^{2} при заданном X−YX-Y является хи-квадрат распределением с одной степенью свободы, сдвинутым на (X−Y)2/2(X-Y)^{2} / 2.

(b)

Докажите, что условное распределение R2R^{2} при заданном Θ\Theta является хи-квадрат распределением с двумя степенями свободы.

(c)

Если X−Y=0X-Y=0, условное распределение R2R^{2} является хи-квадрат распределением с одной степенью свободы. Если Θ=π/4\Theta =\pi / 4 или Θ=5π/4\Theta =5 \pi / 4, условное распределение R2R^{2} является хи-квадрат распределением с двумя степенями свободы. Но события [X−Y=0][X-Y=0] и [Θ=π/4]∪[Θ=5π/4][\Theta =\pi / 4] \cup [\Theta =5 \pi / 4] совпадают. Разрешите кажущееся противоречие.

Задача 33.3

↑ Парадоксы несколько похожего рода возникают и в очень простых случаях.

?
(a)

Из трёх заключённых, назовём их 1, 2 и 3, двое были выбраны по жребию для казни. Заключённый 3 говорит охраннику: "Кто из 1 и 2 будет казнён? Один из них будет казнён, а вы, сказав мне, кто именно, не сообщите мне никакой информации обо мне самом". Охранник находит это разумным и говорит: "Заключённый 1 будет казнён". И теперь 3 рассуждает: "Я знаю, что 1 будет казнён; другим окажется либо 2, либо я, так что мой шанс быть казнённым теперь равен всего лишь 12\frac{1}{2}, вместо 23\frac{2}{3}, каким он был раньше". По-видимому, охранник дал ему информацию.

Если искать σ\sigma-алгебру, то это должна быть та, что описывает ответ охранника, и тогда становится ясно, что пространство элементарных исходов задано не полностью. Предположим, что если должны быть казнены 1 и 2, ответ охранника — "1" с вероятностью pp и "2" с вероятностью 1−p1-p; и, разумеется, предположим, что если должен быть казнён 3, охранник называет другую жертву. Вычислите условные вероятности.

(b)

Предположим, что среди семей с двумя детьми все четыре распределения по полу равновероятны. Вас познакомили с одним из двух детей в такой семье, и это мальчик. Какова условная вероятность того, что и другой ребёнок — тоже мальчик?

Задача 33.4
?
(a)

Рассмотрим вероятностные пространства (Ω,F,P)(\Omega , \mathscr {F}, P) и (Ω′,F′,P′)\left(\Omega^{\prime }, \mathscr {F}^{\prime }, P^{\prime }\right); предположим, что TT : Ω→Ω′\Omega \rightarrow \Omega^{\prime } измеримо F/F′\mathscr {F} / \mathscr {F}^{\prime } и P′=PT−1P^{\prime }=P T^{-1}. Пусть G′\mathscr {G}^{\prime } — σ\sigma-алгебра в F′\mathscr {F}^{\prime }, и пусть I\mathscr {I} — σ\sigma-алгебра [T−1G′:G′∈A′]\left[T^{-1} G^{\prime }: G^{\prime } \in \mathscr {A}^{\prime }\right]. Для A′∈F′A^{\prime } \in \mathscr {F}^{\prime } докажите с помощью (16.18), что P[T−1A′∣G]ω=P′[A′∣G′]TωP\left[T^{-1} A^{\prime } \mid \mathscr {G}\right]_{\omega }=P^{\prime }\left[A^{\prime } \mid \mathscr {G}^{\prime }\right]_{T \omega } с PP-вероятностью 1.

(b)

Теперь возьмём (Ω′,F′,P′)=(R2,R2,μ)\left(\Omega^{\prime }, \mathscr {F}^{\prime }, P^{\prime }\right)=\left(R^{2}, \mathscr {R}^{2}, \mu \right), где μ\mu — распределение случайного вектора (X,Y)(X, Y) на (Ω,F,P)(\Omega , \mathscr {F}, P). Предположим, что (X,Y)(X, Y) имеет плотность ff, и докажите с помощью (33.9), что

P[Y∈F∣X]ω=∫Ff(X(ω),t)dt∫R1f(X(ω),t)dt P[Y \in F \mid X]_{\omega }=\frac{\int _{F} f(X(\omega ), t) d t}{\int _{R^{1}} f(X(\omega ), t) d t}

с вероятностью 1.

Задача 33.5

↑\uparrow

?
(a)

Существует несколько иной подход к условной вероятности. Пусть (Ω,F,P)(\Omega , \mathscr {F}, P) — вероятностное пространство, (Ω′,F′)(\Omega^{\prime }, \mathscr {F}^{\prime }) — измеримое пространство, а T:Ω→Ω′T: \Omega \rightarrow \Omega^{\prime } — отображение, измеримое F/F′\mathscr {F} / \mathscr {F}^{\prime }. Определим меру ν\nu на F′\mathscr {F}^{\prime } равенством ν(A′)=P(A∩T−1A′)\nu \left(A^{\prime }\right)=P\left(A \cap T^{-1} A^{\prime }\right) для A′∈F′A^{\prime } \in \mathscr {F}^{\prime }. Докажите, что существует функция p(A∣ω′)p\left(A \mid \omega^{\prime }\right) на Ω′\Omega^{\prime }, измеримая F′\mathscr {F}^{\prime } и интегрируемая относительно PT−1P T^{-1}, такая что ∫A′p(A∣ω′)PT−1(dω′)=P(A∩T−1A′)\int_{A^{\prime }} p\left(A \mid \omega^{\prime }\right) P T^{-1}\left(d \omega^{\prime }\right)=P\left(A \cap T^{-1} A^{\prime }\right) для всех A′A^{\prime } из F′\mathscr {F}^{\prime }. Интуитивно p(A∣ω′)p\left(A \mid \omega^{\prime }\right) — это условная вероятность того, что ω∈A\omega \in A, для того, кто знает, что Tω=ω′T \omega =\omega^{\prime }. Пусть A=[T−1A′:A′∈F]\mathscr {A}=\left[T^{-1} A^{\prime }: A^{\prime } \in \mathscr {F}\right]; покажите, что A\mathscr {A} является σ\sigma-алгеброй и что p(A∣Tω)p(A \mid T \omega ) является версией P[A∣G]ωP[A \mid \mathscr {G}]_{\omega }.

(b)

Свяжите это с пунктом (a) предыдущей задачи.

Задача 33.6

↑\uparrow Предположим, что T=XT=X — случайная величина, (Ω′,F′)=(R1,R1)\left(\Omega^{\prime }, \mathscr {F}^{\prime }\right)=\left(R^{1}, \mathscr {R}^{1}\right), а xx — произвольная точка R1R^{1}. В этом случае p(A∣x)p(A \mid x) иногда записывают как P[A∣X=x]P[A \mid X=x]. В чём проблема с этим обозначением?

?
Задача 33.7

Для пуассоновского процесса (см. Пример 33.1) покажите, что при 0<s<t0<s<t,

P[Ns=k∣Nt]={(Ntk)(st)k(1−st)Nt−k,k≤Nt0,k>Nt P\left[N_{s}=k \mid N_{t}\right]= \begin{cases} \binom {N_{t}}{k}\left(\frac{s}{t}\right)^{k}\left(1-\frac{s}{t}\right)^{N_{t}-k}, & k \leq N_{t} \\ 0, & k>N_{t}\end{cases}

Таким образом, условное распределение (в смысле Теоремы 33.3) NsN_{s} при заданном NtN_{t} является биномиальным с параметрами NtN_{t} и s/ts / t.

?
Задача 33.8

29.12↑29.12 \uparrow Предположим, что (X1,X2)\left(X_{1}, X_{2}\right) имеет центрированное нормальное распределение-имеет на плоскости распределение с плотностью (29.10). Запишите квадратичную форму в экспоненте в виде

1σ11x12+σ11D(x2−σ12σ11x1)2 \frac{1}{\sigma _{11}} x_{1}^{2}+\frac{\sigma _{11}}{D}\left(x_{2}-\frac{\sigma _{12}}{\sigma _{11}} x_{1}\right)^{2}

проинтегрируйте по x2x_{2} и покажите, что

f(x1,x2)∫−∞∞f(x1,t)dt=12πτexp⁡[−12τ(x2−σ12σ11x1)2], \frac{f\left(x_{1}, x_{2}\right)}{\int _{-\infty }^{\infty } f\left(x_{1}, t\right) d t}=\frac{1}{\sqrt{2 \pi \tau }} \exp \left[-\frac{1}{2 \tau }\left(x_{2}-\frac{\sigma _{12}}{\sigma _{11}} x_{1}\right)^{2}\right],

где τ=σ22−σ122σ11−1\tau =\sigma_{22}-\sigma_{12}^{2} \sigma_{11}^{-1}. Опишите условное распределение X2X_{2} при заданном X1X_{1}.

?
Задача 33.9
?
(a)

Предположим, что μ(H,ω)\mu (H, \omega ) обладает свойством (i) из Теоремы 33.3, и предположим, что μ(H,⋅)\mu (H, \cdot ) является версией P[X∈H∣G]P[X \in H \mid \mathscr {G}] для HH из π\pi-системы, порождающей R1\mathscr {R}^{1}. Покажите, что μ(⋅,ω)\mu (\cdot , \omega ) является условным распределением XX при заданной A\mathscr {A}.

(b)

Используйте Теорему 12.5, чтобы распространить Теорему 33.3 с R1R^{1} на RkR^{k}.

(c)

Покажите, что условные вероятности можно определить как настоящие вероятности на пространствах специального вида (Ω,σ(X1,…,Xk),P)(\Omega , \sigma \left(X_{1}, \ldots , X_{k}\right), P).

Задача 33.10

↑ Выведите из (33.16), что условное распределение XX при заданном MM равно

12I[M∈H](ω)+12μ(H∩(−∞,M(ω)])μ(−∞,M(ω)]), \frac{1}{2} I_{[M \in H]}(\omega )+\frac{1}{2} \frac{\mu (H \cap (-\infty , M(\omega )])}{\mu (-\infty , M(\omega )])},

где μ\mu — распределение, соответствующее FF (положительной и непрерывной). Указание: сначала проверьте случай H=(−∞,x]H=(-\infty , x].

?
Задача 33.11

4.1012.4↑4.1012 .4 \uparrow Следующая конструкция показывает, что условные вероятности могут не задавать меры. Восполните детали.

В Задаче 4.10 показано, что существуют вероятностное пространство (Ω,F,P)(\Omega , \mathscr {F}, P), σ\sigma-алгебра G\mathscr {G} в F\mathscr {F} и множество HH в F\mathscr {F}, такие что P(H)=12,HP(H)=\frac{1}{2}, H и G\mathscr {G} независимы, G\mathscr {G} содержит все одноточечные множества, и G\mathscr {G} порождается счётным подклассом. Счётный подкласс, порождающий G\mathscr {G}, можно выбрать в виде π\pi-системы P={B1,B2,…}\mathscr {P}=\left\{ B_{1}, B_{2}, \ldots \right\} (перейдя к конечным пересечениям множеств из исходного класса).

Предположим, что можно выбрать версии P[A∣G]P[A \mid \mathscr {G}] так, чтобы P[A∣G]ωP[A \mid \mathscr {G}]_{\omega } при каждом ω\omega была вероятностной мерой при изменении AA по F\mathscr {F}. Пусть CnC_{n} — множество ω\omega, для которых P[Bn∣G]ω=IBn(ω)P\left[B_{n} \mid \mathscr {G}\right]_{\omega }=I_{B_{n}}(\omega ); покажите (Пример 33.3), что C=⋂nCnC=\bigcap_{n} C_{n} имеет вероятность 1. Покажите, что из ω∈C\omega \in C следует P[G∣A]ω=IG(ω)P[G \mid \mathscr {A}]_{\omega }=I_{G}(\omega ) для всех GG из I\mathscr {I}, и, следовательно, P[{ω}∣G]ω=1P[\left\{ \omega \right\} \mid \mathscr {G}]_{\omega }=1.

Теперь из ω∈H∩C\omega \in H \cap C следует P[H∣G]ω≥P[{ω}∣G]ω=1P[H \mid \mathscr {G}]_{\omega } \geq P[\left\{ \omega \right\} \mid \mathscr {G}]_{\omega }=1, а из ω∈Hc∩C\omega \in H^{c} \cap C следует P[H∣G]ω≤P[Ω−{ω}∣G]ω=0P[H \mid \mathscr {G}]_{\omega } \leq P[\Omega -\left\{ \omega \right\} \mid \mathscr {G}]_{\omega }=0. Таким образом, из ω∈C\omega \in C следует P[H∣G]ω=IH(ω)P[H \mid \mathscr {G}]_{\omega }=I_{H}(\omega ). Но поскольку HH и G\mathscr {G} независимы, P[H∣G]ω=P(H)=12P[H \mid \mathscr {G}]_{\omega }= P(H)=\frac{1}{2} с вероятностью 1, что противоречиво.

Этот пример связан с Примером 4.10, но касается математического факта, а не эвристической интерпретации.

?
Задача 33.12

Пусть α\alpha и β\beta — σ\sigma-конечные меры на прямой, и пусть f(x,y)f(x, y) — вероятностная плотность относительно α×β\alpha \times \beta. Определим

gx(y)=f(x,y)∫R′f(x,t)β(dt)(33.34) g_{x}(y)=\frac{f(x, y)}{\int _{R^{\prime }} f(x, t) \beta (d t)} \tag {33.34}

если знаменатель не обращается в нуль; в противном случае положим, скажем, gx(y)=0g_{x}(y)=0. Покажите, что если (X,Y)(X, Y) имеет плотность ff относительно α×β\alpha \times \beta, то условное распределение YY при заданном XX имеет плотность gX(y)g_{X}(y) относительно β\beta. Это обобщает Примеры 33.5 и 33.12, где α\alpha и β\beta — лебеговы меры.

?
Задача 33.13

18.20↑18.20 \uparrow Предположим, что μ\mu и νx\nu_{x} (по одной для каждого вещественного xx ) — вероятностные меры на прямой, и предположим, что νx(B)\nu_{x}(B) является борелевской функцией по xx для каждого B∈R1B \in \mathscr {R}^{1}. Тогда (см. Задачу 18 20)

π(E)=∫R1νx[y⋅(x,y)∈E]μ(dx)(33.35) \pi (E)=\int _{R^{1}} \nu _{x}[y \cdot (x, y) \in E] \mu (d x) \tag {33.35}

задаёт вероятностную меру на (R2,R2)(R^{2}, \mathscr {R}^{2}). Предположим, что (X,Y)(X, Y) имеет распределение π\pi, и покажите, что νX\nu_{X} является версией условного распределения YY при заданном XX.

?
Задача 33.14

↑\uparrow Пусть α\alpha и β\beta — σ\sigma-конечные меры на прямой. Конкретизируем постановку Задачи 33.13, предположив, что μ\mu имеет плотность f(x)f(x) относительно α\alpha, а ν\nu имеет плотность gx(y)g_{x}(y) относительно β\beta. Предположим, что gx(y)g_{x}(y) измерима R12\mathscr {R}^{\frac{1}{2}} по паре (x,y)(x, y), так что νx(B)\nu_{x}(B) автоматически измерима по xx. Покажите, что (33.35) имеет плотность f(x)gx(y)f(x) g_{x}(y) относительно α×β:π(E)=∬Ef(x)gx(y)α(dx)β(dy)\alpha \times \beta : \pi (E)= \iint_{E} f(x) g_{x}(y) \alpha (d x) \beta (d y). Покажите, что (33.34) согласуется с f(x,y)=f(x)gx(y)f(x, y)= f(x) g_{x}(y). Положим

py(x)=f(x)gx(y)∫R′f(s)gs(y)α(ds). p_{y}(x)=\frac{f(x) g_{x}(y)}{\int _{R^{\prime }} f(s) g_{s}(y) \alpha (d s)}.

Предположим, что (X,Y)(X, Y) имеет плотность f(x)gx(y)f(x) g_{x}(y) относительно α×β\alpha \times \beta, и покажите, что pY(x)p_{Y}(x) является плотностью относительно α\alpha для условного распределения XX при заданном YY.

На языке Байеса f(x)f(x) — априорная плотность параметра x,gx(y)x, g_{x}(y) — условная плотность наблюдения yy при заданном параметре, а py(x)p_{y}(x) — апостериорная плотность параметра при заданном наблюдении.

?
Задача 33.15

↑\uparrow Теперь предположим, что α\alpha и β\beta — лебеговы меры, что f(x)f(x) положительна, непрерывна и ограничена, и что gx(y)=e−(y−x)2n/2/2π/ng_{x}(y)=e^{-(y-x)^{2} n / 2} / \sqrt{2 \pi / n}. Таким образом, наблюдение распределено как среднее nn независимых нормальных величин со средним xx и дисперсией 1. Покажите, что

1npy(y+xn)→12πe−x2/2 \frac{1}{\sqrt{n}} p_{y}\left(y+\frac{x}{\sqrt{n}}\right) \rightarrow \frac{1}{\sqrt{2 \pi }} e^{-x^{2} / 2}

при фиксированных xx и yy. Таким образом, апостериорная плотность приближённо совпадает с плотностью нормального распределения со средним yy и дисперсией 1/n1 / n.

?
Задача 33.16

32.13↑32.13 \uparrow Предположим, что XX имеет распределение μ\mu. Тогда P[A∣X]ω=f(X(ω))P[A \mid X]_{\omega }=f(X(\omega )) для некоторой борелевской функции ff. Покажите, что lim⁡h→0P[A∣x−h<X≤x+h]=f(x)\lim_{h \rightarrow 0} P[A \mid x-h<X \leq x+h]=f(x) для xx из множества μ\mu-меры 1. Грубо говоря, P[A∣x−h<X≤x+h]→P[A∣X=x]P[A \mid x-h<X \leq x+h] \rightarrow P[A \mid X =x]. Указание: возьмите ν(B)=P(A∩[X∈B])\nu (B)=P(A \cap [X \in B]) в Задаче 32.13.

?