Банк задач по математике

Задача 4.3.1

(a)(b)

Для ситуации Примера 3.1:

?

(a)

Проверьте, что байесовская оценка зависит от данных только через $Y=\max_{i} X_{i}$ .

(b)

Покажите, что $E(\Theta \mid y, a, b)$ можно выразить как

E(\Theta \mid y, a, b)=\frac{1}{b(n+a-1)} \frac{P\left(\chi _{2(n+a-1)}^{2}<2 / b y\right)}{P\left(\chi _{2(n+a)}^{2}<2 / b y\right)}

где $\chi_{v}^{2}$ — случайная величина, имеющая распределение хи-квадрат с $v$ степенями свободы. (В таком виде оценку особенно легко вычислить, поскольку многие компьютерные пакеты имеют встроенное распределение хи-квадрат.)

Задача 4.3.2

(a)(b)(c)

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые из $\operatorname {Gamma}(a, b)$ , где $a$ известно.

?

(a)

Проверьте, что сопряжённое априорное распределение для естественного параметра $\eta =-1 / b$ эквивалентно обратному гамма-распределению для $b$ .

(b)

Используя априорное распределение из пункта (a), найдите байесовскую оценку при функциях потерь (i) $L(b, \delta )= (b-\delta )^{2}$ и (ii) $L(b, \delta )=(1-\delta / b)^{2}$ .

(c)

Выразите оценку из пункта (b)(i) в виде (3.3.9). Можно ли сделать то же самое для оценки из пункта (b)(ii)?

Задача 4.3.3

(a)(b)

Следствие 3.3 утверждает: если $X=(X_{1}, \ldots , X_{p})$ имеет плотность $p_{\eta }(x)=e^{\sum_{i=1}^{p} \eta_{i} x_{i}-A(\eta )} h(x)$ , а $\eta$ имеет априорную плотность $\pi (\eta )$ , то байесовская оценка $\eta$ при функции потерь $L(\eta , \delta )=\sum (\eta_{i}-\delta_{i})^{2}$ задаётся формулой

E(\eta _{i} \mid x)=\frac{\partial }{\partial x_{i}} \log m(x)-\frac{\partial }{\partial x_{i}} \log h(x).

?

(a)

Докажите Следствие 3.3.

(b)

Проверьте вычисление байесовской оценки в Примере 3.4.

Задача 4.3.4

Используя тождество Стейна (Лемма 1.5.15), покажите, что если $X_{i} \sim p_{\eta_{i}}(x)$ из (3.3.7), то

\begin{align} E_{\eta }(-\nabla \log h(\mathbf{X})) & =\boldsymbol {\eta }, \\ R(\boldsymbol {\eta },-\nabla \log h(\mathbf{X})) & =\sum _{i=1}^{p} E_{\eta }\left[-\frac{\partial ^{2}}{\partial X_{i}^{2}} \log h(\mathbf{X})\right]. \end{align}

?

Задача 4.3.5

(a)(b)(c)

?

(a)

Если $X_{i} \sim \operatorname {Gamma}(a, b), i=1, \ldots , p$ , независимы, с известным $a$ , вычислите $-\nabla \log h(\mathbf{x})$ и его математическое ожидание.

(b)

Примените результаты пункта (a) к ситуации, когда $X_{i} \sim N\left(0, \sigma_{i}^{2}\right), i=1, \ldots , p$ , независимы. Приводит ли это к несмещённой оценке $\sigma_{i}^{2}$ ? [Замечание: Для пункта (b) квадратичная функция потерь для естественного параметра $1 / \sigma^{2}$ приводит к функции потерь $L\left(\sigma^{2}, \delta \right)=\left(\sigma^{2} \delta -1\right)^{2} / \sigma^{4}$ для оценивания $\sigma^{2}$ .]

(c)

Если

X_{i} \sim \frac{\tan \left(a_{i} \pi \right)}{\pi } x^{a_{i}}(1-x)^{-1}, 0<x<1, \quad i=1, \ldots , p, \text{ независимы, }

вычислите $-\nabla \log h(\mathbf{X})$ и покажите, что это несмещённая оценка $\mathbf{a}=\left(a_{1}, \ldots , a_{p}\right)$ .

Задача 4.3.6

(a)(b)(c)

Для ситуации Примера 3.6:

?

(a)

Покажите, что если $\delta$ — байесовская оценка $\theta$ , то $\delta^{\prime }=\delta / \sigma^{2}$ является байесовской оценкой $\eta$ , и, следовательно, $R(\theta , \delta )=\sigma^{4} R\left(\eta , \delta^{\prime }\right)$ .

(b)

Покажите, что риск байесовской оценки $\eta$ задаётся формулой

\frac{p \tau ^{4}}{\sigma ^{2}\left(\sigma ^{2}+\tau ^{2}\right)^{2}}+\left(\frac{\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}\right)^{2} \sum a_{i}^{2}

где $a_{i}=\eta_{i}-\mu / \sigma^{2}$ .

(c)

Если $\Sigma a_{i}^{2}=k$ — фиксированная константа, то минимальный риск достигается при $\eta_{i}=\mu / \sigma^{2}+\sqrt{k / p}$ .

Задача 4.3.7

Если $\mathbf{X}$ имеет распределение $p_{\theta }(\mathbf{x})$ из (1.5.1), покажите, что, аналогично Теореме 3.2, $E(\mathcal{T} \boldsymbol {\eta }(\theta ))= \nabla \log m_{\pi }(\mathbf{x})-\nabla \log h(\mathbf{x})$ .

?

Задача 4.3.8

(a)(b)(c)

?

(a)

Используя тождество Стейна (Лемма 1.5.15), покажите, что если $X_{i} \sim p_{\eta_{i}}(x)$ из (3.3.18), то

E_{\eta }(-\nabla \log h(\mathbf{X}))=\sum _{i} \eta _{i} E_{\eta } \frac{\partial }{\partial X_{j}} T_{i}(\mathbf{X}).

(b)

Если $X_{i}$ — независимые одинаково распределённые из гамма-распределения $\operatorname {Gamma}(a, b)$ , где параметр формы $a$ известен, используя пункт (a), найдите несмещённую оценку $1 / b$ .

(c)

Если $X_{i}$ — независимые одинаково распределённые из бета-распределения $(a, b)$ , можно ли использовать тождество из пункта (a) для получения несмещённой оценки $a$ , когда $b$ известно, или несмещённой оценки $b$ , когда $a$ известно?

Задача 4.3.9

(a)(b)

Для естественного экспоненциального семейства $p_{\eta }(x)$ из (3.3.7) и сопряжённого априорного распределения $\pi (\eta \mid k, \mu )$ из (3.3.19) докажите, что:

?

(a)

$E(X)=A^{\prime }(\eta )$ и var $X=A^{\prime \prime }(\eta )$ , где математическое ожидание берётся относительно выборочной плотности $p_{\eta }(x)$ .

(b)

$E A^{\prime }(\eta )=\mu$ и $\operatorname {var}[A(\eta )]=(1 / k) E A^{\prime \prime }(\eta )$ , где математическое ожидание берётся относительно априорного распределения.

[Результаты пункта (b) позволяют рассматривать $\mu$ как априорное среднее, а $k$ — как объём априорной выборки.]

Задача 4.3.10

(a)(b)(c)

Для каждой из следующих ситуаций запишите плотность в виде (3.7) и укажите естественный параметр. Найдите байесовскую оценку $A^{\prime }(\eta )$ при квадратичной функции потерь и сопряжённом априорном распределении. Выразите ответ через исходные параметры.

?

(a)

$X \sim$ биномиальное $(p, n)$ ,

(b)

$X \sim$ Пуассона $(\lambda )$ , и

(c)

$X \sim \operatorname {Gamma}(a, b)$ , $a$ известно.

Задача 4.3.11

Для ситуации задачи 3.9, если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые как $p_{\eta }(x)$ , а априорное распределение — сопряжённое $\pi (\eta \mid k, \mu )$ , то апостериорное распределение равно $\pi \left(\eta \mid k+n, \frac{k \mu +n \bar{x}}{k+n}\right)$ .

?

Задача 4.3.12

(a)(b)(c)

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые из однопараметрического экспоненциального семейства, то байесовская оценка среднего при квадратичной функции потерь с использованием сопряжённого априорного распределения имеет вид $a \bar{X}+b$ для некоторых констант $a$ и $b$ .

?

(a)

Если $E X_{i}=\mu$ и var $X_{i}=\sigma^{2}$ , то независимо от распределения $X_{i}$ среднеквадратичная ошибка равна

E[(a \bar{X}+b)-\mu ]^{2}=a^{2} \text{ var } \bar{X}+[(a-1) \mu +b]^{2}.

(b)

Если $\mu$ не ограничено, то никакая оценка вида $a \bar{X}+b$ не может иметь конечную среднеквадратичную ошибку при $a \neq 1$ .

(c)

Может ли байесовская оценка с сопряжённым априорным распределением в экспоненциальном семействе иметь конечную среднеквадратичную ошибку?

Примечание.

?

Эта задача показывает, почему байесовские оценки с сопряжённым априорным распределением считаются «неробастными».

Байесовский подход с единственным априорным распределением