Банк задач по математике

Задача 5.4.1

В Примере 4.2 покажите, что оценка $\delta$ эквивариантна тогда и только тогда, когда она удовлетворяет (4.11) и (4.12).

?

Задача 5.4.2

Покажите, что функция $\mu$ удовлетворяет (4.12) тогда и только тогда, когда она зависит только от $\Sigma X_{i}^{2}$ .

?

Задача 5.4.3

Проверьте байесовскую оценку (4.15).

?

Задача 5.4.4

Пусть $X_{i}$ независимы с биномиальным распределением $b\left(p_{i}, n_{i}\right), i=1, \ldots , r$ . Для оценивания $p=\left(p_{1}, \ldots , p_{r}\right)$ при усреднённой квадратичной функции потерь (4.17) найдите минимаксную оценку $p$ и определите, является ли она допустимой.

?

Задача 5.4.5

(a)(b)(c)

Установление допустимости нормального среднего в двумерном случае представляет собой довольно сложную задачу, что обусловлено тем, что сопряжённые априорные распределения не работают в предельном байесовском методе. Пусть

X \sim N_{2}(\boldsymbol {\theta }, I) \quad \text{ и } \quad L(\boldsymbol {\theta }, \delta )=|\boldsymbol {\theta }-\delta |^{2}.

Сопряжённые априорные распределения — это $\boldsymbol {\theta } \sim N_{2}\left(0, \tau^{2} I\right), \tau^{2}>0$ .

?

(a)

Для этой последовательности априорных распределений проверьте, что предельное байесовское рассуждение, как в Примере 2.8, приводит к неравенству (4.18), которое не устанавливает допустимости.

(b)

Stein (в работе James and Stein 1961) предложил последовательность априорных распределений, позволяющую доказать допустимость $X$ предельным байесовским методом. Вариант этих априорных распределений, приведённый в Brown and Hwang (1982), таков:

g_{n}(\boldsymbol {\theta })= \begin{cases} 1 & \text{ если }|\boldsymbol {\theta }| \leq 1 \\ 1-\frac{\log |\boldsymbol {\theta }|}{\log n} & \text{ если } 1 \leq |\boldsymbol {\theta }| \leq n \\ 0 & \text{ если }|\boldsymbol {\theta }| \geq n\end{cases}

для $n=2,3, \ldots$ . Покажите, что $\delta^{g_{n}}(x) \rightarrow x$ п.в. при $n \rightarrow \infty$ .

(c)

Частный случай весьма общих результатов Brown and Hwang (1982) утверждает, что для априорного распределения $\pi_{n}(\boldsymbol {\theta })^{2} g(\boldsymbol {\theta })$ предельный байесовский метод (метод Blyth) устанавливает допустимость оценки $\delta^{g}(x)$ [обобщённой байесовской оценки относительно $g(\boldsymbol {\theta })$ ], если

\int _{\left\{ \boldsymbol {\theta }:\left|\boldsymbol {\theta }\right|>1\right\} } \frac{g(\boldsymbol {\theta }) d \boldsymbol {\theta }}{|\boldsymbol {\theta }|^{2}[\max \left\{ \log \left|\boldsymbol {\theta }\right|, \log 2\right\} ]^{2}}<\infty .

Покажите, что это выполняется для $g(\theta )=1$ и что $\delta^{g}(x)=x$ , так что $x$ является допустимой.

[Stein (1956b) первоначально установил допустимость $X$ в двумерном случае, используя рассуждение, основанное на информационном неравенстве. Его доказательство было усложнено тем, что ему потребовались дополнительные рассуждения, связанные с инвариантностью, чтобы установить результат. См. Теорему 7.19 и Задачу 7.19 для более общих формулировок результата Brown/Hwang.]

Задача 5.4.6

(a)(b)(c)(d)

Пусть $X_{1}, X_{2}, \ldots , X_{r}$ независимы, причём $X_{i} \sim N\left(\theta_{i}, 1\right)$ . Следующее эвристическое рассуждение, принадлежащее Stein (1956b), показывает, что должно быть возможно, по крайней мере при большом $r$ и, следовательно, большом $\left|\theta \right|$ , улучшить оценку $\mathbf{X}=\left(X_{1}, X_{2}, \ldots , X_{r}\right)$ .

?

(a)

Используя разложение в ряд Тейлора, покажите, что

|\mathbf{x}|^{2}=r+|\boldsymbol {\theta }|^{2}+O_{p}\left[\left(r+|\boldsymbol {\theta }|^{2}\right)^{1 / 2}\right],

так что с высокой вероятностью истинное $\boldsymbol {\theta }$ лежит в шаре $\left\{ \boldsymbol {\theta }:|\boldsymbol {\theta }|^{2} \leq |\mathbf{x}|^{2}-r\right\}$ . Обычная оценка $\mathbf{X}$ имеет приблизительно тот же размер, что и $\boldsymbol {\theta }$ , и почти наверняка окажется вне этого шара.

(b)

Пункт (a) подсказал Stein оценку вида $\delta (\mathbf{x})=\left[1-h\left(|\mathbf{x}|^{2}\right)\right] \mathbf{x}$ . Покажите, что

|\boldsymbol {\theta }-\delta (\mathbf{x})|^{2}=(1-h)^{2}|\mathbf{x}-\boldsymbol {\theta }|^{2}-2 h(1-h) \boldsymbol {\theta }^{\prime }(\mathbf{x}-\boldsymbol {\theta })+h^{2}|\boldsymbol {\theta }|^{2}.

(c)

Установите, что $\boldsymbol {\theta }^{\prime }(\mathbf{x}-\boldsymbol {\theta }) /\left|\boldsymbol {\theta }\right|=Z \sim N(0,1)$ и $|\mathbf{x}-\boldsymbol {\theta }|^{2} \approx r$ , и, следовательно,

|\boldsymbol {\theta }-\delta (\mathbf{x})|^{2} \approx (1-h)^{2} r+h^{2}|\boldsymbol {\theta }|^{2}+O_{p}\left[\left(r+|\boldsymbol {\theta }|^{2}\right)^{1 / 2}\right].

(d)

Покажите, что главный член в пункте (c) минимизируется при $h=r /\left(r+|\boldsymbol {\theta }|^{2}\right)$ , и, поскольку $|\mathbf{x}|^{2} \approx r+|\boldsymbol {\theta }|^{2}$ , это приводит к оценке $\delta (\mathbf{x})=\left(1-\frac{r}{|\mathbf{x}|^{2}}\right) \mathbf{x}$ из (4.20).

Задача 5.4.7

Если $S^{2}$ распределена как $\chi_{r}^{2}$ , используя (2.2.5), покажите, что $E\left(S^{-2}\right)=1 /(r-2)$ .

?

Задача 5.4.8

В Примере 4.7 покажите, что $\mathcal{R}$ невырождена для $\rho_{1}$ и $\rho_{2}$ и вырождена для $\rho_{3}$ и $\rho_{4}$ .

?

Задача 5.4.9

Покажите, что функция $\rho_{2}$ из Примера 4.7 выпукла.

?

Задача 5.4.10

(a)(b)

В Примере 4.7 покажите, что $X$ допустима для

?

(a)

$\rho_{3}$ и

(b)

$\rho_{4}$ .

Задача 5.4.11

В Примере 4.8 покажите, что $\mathbf{X}$ допустима при предположениях (ii)(a).

?

Задача 5.4.12

Пусть $\mathcal{L}$ — семейство функций потерь, и предположим, что существуют $L_{0} \in \mathcal{L}$ и минимаксная оценка $\delta_{0}$ относительно $L_{0}$ такие, что в обозначениях (4.29)

\sup _{L, \theta } R_{L}\left(\theta , \delta _{0}\right)=\sup _{\theta } R_{L_{0}}\left(\theta , \delta _{0}\right).

Тогда $\delta_{0}$ является минимаксной относительно $\mathcal{L}$ , то есть минимизирует $\sup_{L, \theta } R_{L}(\theta , \delta )$ .

?

Задача 5.4.13

Предполагая (4.25), покажите, что $E=1-\left[(r-2)^{2} / r|\mathbf{X}-\mu |^{2}\right]$ является единственной несмещённой оценкой риска (5..4.25) и что $E$ недопустима. [Оценка $E$ также несмещена для оценивания функции потерь $L(\boldsymbol {\theta }, \delta )$ . См. Замечание 9.5.]

?

Задача 5.4.14

(a)(b)

Естественным расширением доминирования по риску при заданной функции потерь является доминирование по риску при целом классе функций потерь. Hwang (1985) определяет универсальное доминирование $\delta$ оценкой $\delta^{\prime }$ , если неравенство

E_{\theta } L\left(\left|\boldsymbol {\theta }-\delta ^{\prime }(\mathbf{X})\right|\right) \leq E_{\theta } L(\left|\boldsymbol {\theta }-\delta (\mathbf{X})\right|) \text{ для всех } \boldsymbol {\theta }

выполняется для всех неубывающих функций потерь $L(\cdot )$ , причём хотя бы для одной функции потерь риски не совпадают.

?

(a)

Покажите, что $\delta^{\prime }$ универсально доминирует $\delta$ тогда и только тогда, когда она стохастически доминирует $\delta$ , то есть тогда и только тогда, когда

P_{\theta }\left(\left|\boldsymbol {\theta }-\delta ^{\prime }(\mathbf{X})\right|>k\right) \leq P_{\theta }(\left|\boldsymbol {\theta }-\delta (\mathbf{X})\right|>k)

для всех $k$ и $\boldsymbol {\theta }$ , причём для некоторого $\boldsymbol {\theta }$ неравенство строгое. [Указание: Для положительной случайной величины $Y$ вспомните, что $E Y=\int_{0}^{\infty } P(Y>t) d t$ . Либо используйте тот факт, что стохастическая упорядоченность случайных величин индуцирует упорядоченность математических ожиданий. См. Лемма 1, Раздел 3.3 книги TSH2.]

(b)

Для $X \sim N_{r}(\boldsymbol {\theta }, I)$ покажите, что оценка Джеймса-Стейна $\delta^{c}(\mathbf{x})=\left(1-c /|\mathbf{x}|^{2}\right) \mathbf{x}$ не доминирует над x универсально. [Из пункта (a) достаточно показать, что $P_{\theta }\left(\left|\boldsymbol {\theta }-\delta^{c}(\mathbf{X})\right|>k\right)>P_{\theta }(\left|\boldsymbol {\theta }-\mathbf{X}\right|>k)$ для некоторых $\boldsymbol {\theta }$ и $k$ . Возьмите $\boldsymbol {\theta }=0$ и найдите такое $k$ .]

Hwang (1985) и Brown and Hwang (1989) исследуют многие аспекты универсального доминирования. Hwang (1985) показывает, что даже $\delta^{+}$ не доминирует над $X$ универсально, если класс функций потерь не ограничен. Отметим также, что, хотя неравенство в пункте (a) может показаться напоминающим критерий «близости по Питмену», на самом деле никакой связи здесь нет. Критерий близости по Питмену страдает рядом недостатков, не свойственных стохастическому доминированию (см. Robert и др. 1993).

Совместное оценивание