Несмещённость

Проверьте

В Примере 1.5 покажите, что $a_{i}^{*}$ минимизирует (1.6) при $i=0,1$, и упростите выражение для $a_{0}^{*}$. [Указание: $\Sigma \kappa p^{\kappa -1}$ и $\Sigma \kappa (\kappa -1) p^{\kappa -2}$ — это первая и вторая производные от $\Sigma p^{\kappa }= 1 / q$.]

Пусть $X$ принимает значения -1, 0, 1, 2, 3 с вероятностями $P(X=-1)=2 p q$ и $P(X=k)=p^{k} q^{3-k}$ при $k=0,1,2,3$.

Для выборки объёма $n$ предположим, что оценка $T(\mathbf{x})$ параметра $\tau (\theta )$ имеет математическое ожидание

где $a_{k}$ может зависеть от $\theta$, но не от $n$.

Альтернативное доказательство неравенства Шварца получается из наблюдения, что

так что этот квадратный трёхчлен относительно $\lambda$ имеет не более одного корня.

Предположим, что $X$ распределена на ( 0,1 ) с плотностью вероятности $p_{\theta }(x)=(1-\theta )+\theta / 2 \sqrt{x}$ для всех $0<x<1,0 \leq \theta \leq 1$. Покажите, что не существует LMVU-оценки $\theta$. [Указание: Пусть $\delta (x)=a\left[x^{-1 / 2}+b\right]$ для $c<x<1$ и $\delta (x)=0$ для $0<x<c$. Существуют такие значения $a$, $b$ и $c$, что $E_{0}(\delta )=0$ и $E_{1}(\delta )=1$ (и $\delta$ несмещённа), причём $E_{0}\left(\delta^{2}\right)$ произвольно близко к нулю (Stein 1950).]

Если $\delta$ и $\delta^{\prime }$ имеют конечную дисперсию, то $\delta^{\prime }-\delta$ также имеет конечную дисперсию. [Указание: Задача 1.5.]

В Примере 1.9,

Если оценки ограничены классом линейных оценок, характеризация наилучших несмещённых оценок несколько упрощается. Хотя приведённый ниже результат является следствием Теоремы 1.7, его следует установить, не используя эту теорему.

Пусть $\mathbf{X}_{p \times 1}$ удовлетворяет $E(\mathbf{X})=B \psi$ и $\operatorname {var}(\mathbf{X})=I$, где $B_{p \times r}$ известна, а $\psi_{r \times 1}$ неизвестен. Линейная оценка — это оценка вида $a^{\prime } \mathbf{X}$, где $a_{p \times 1}$ — известный вектор. Мы рассматриваем класс оценок

Используя Теорему 1.7, найдите UMVU-оценки некоторых $\eta_{\theta }\left(d_{i}\right)$ в модели «доза-эффект» (1.6.16) с ограничением (1.6.17) (Messig and Strawderman 1993). Пусть классы $\Delta$ и $\mathcal{U}$ определены так же, как в Теореме 1.7.

Покажите, что если $\delta (X)$ — UMVU-оценка $g(\theta )$, то она является единственной UMVU-оценкой $g(\theta )$. (Не предполагайте полноту, а вместо этого используйте неравенство для ковариации и условия, при которых оно обращается в равенство.)

Если $\delta_{1}$ и $\delta_{2}$ принадлежат $\Delta$ и являются UMVU-оценками $g_{1}(\theta )$ и $g_{2}(\theta )$ соответственно, то $a_{1} \delta_{1}+a_{2} \delta_{2}$ также принадлежит $\Delta$ и является UMVU-оценкой для $a_{1} g_{1}(\theta )+a_{2} g_{2}(\theta )$ при любых вещественных $a_{1}$ и $a_{2}$.

Полнота $T$ не только достаточна, но и необходима для того, чтобы каждая функция $g(\theta )$, допускающая несмещённую оценку, имела единственную несмещённую оценку, являющуюся функцией от $T$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины, имеющие распределение Пуассона $(\lambda )$.

Если $T$ имеет биномиальное распределение $b(p, n)$ с $n>3$, используйте Метод 1, чтобы найти UMVU-оценку $p^{3}$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины, имеющие распределение Пуассона $P(\lambda )$. Используйте Метод 1, чтобы найти UMVU-оценку

Пусть $X_{1}, \ldots , X_{n}$ распределены так же, как в Примере 1.14. Используйте Метод 1, чтобы найти UMVU-оценку $\theta^{k}$ для произвольного целого $k>-n$.

Решите Задачу 1.18(b) с помощью Метода 2, используя тот факт, что несмещённой оценкой $e^{-\lambda }$ является $\delta =1$, если $X_{1}=0$, и $\delta =0$ в противном случае.

В $n$ испытаниях Бернулли пусть $X_{i}=1$ или 0 в зависимости от того, является ли $i$-е испытание успехом или неудачей, и пусть $T=\Sigma X_{i}$. Решите Задачу 1.17 с помощью Метода 2, используя тот факт, что несмещённой оценкой $p^{3}$ является $\delta =1$, если $X_{1}=X_{2}=X_{3}=1$, и $\delta =0$ в противном случае.

Пусть $X$ принимает значения 1 и 0 с вероятностями $p$ и $q$ соответственно, и предположим, что $1 / 4<p<3 / 4$. Рассмотрим задачу оценивания $p$ с функцией потерь $L(p, d)=$ 1, если $\left|d-p\right| \geq 1 / 4$, и 0 в противном случае. Пусть $\delta^{*}$ — рандомизированная оценка, равная $Y_{0}$ или $Y_{1}$ при $X=0$ или 1, где $Y_{0}$ и $Y_{1}$ распределены как $U(-1 / 2,1 / 2)$ и $U(1 / 2,3 / 2)$ соответственно.

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\xi , \sigma^{2}\right)$, где $\sigma^{2}$ известна, найдите UMVU-оценку

Решите предыдущую задачу, когда $\sigma$ неизвестна.

В Примере 2.1 с известной $\sigma$ пусть $\delta =\Sigma c_{i} X_{i}$ — произвольная линейная оценка $\xi$. Если $\delta$ смещённа, покажите, что её риск $E(\delta -\xi )^{2}$ неограничен. [Указание: Если $\Sigma c_{i}=1+k$, то риск $\geq k^{2} \xi^{2}$.]

Предположим, как и в Примере 2.1, что $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\xi , \sigma^{2}\right)$, причём один из параметров известен, а оцениваемая величина является многочленом от $\xi$ или $\sigma$. Тогда UMVU-оценка является многочленом от $\bar{X}$ или $S^{2}=\sum \left(X_{i}-\xi \right)^{2}$. Дисперсию любого такого многочлена можно оценить, если известны моменты $E\left(\bar{X}^{k}\right)$ и $E\left(S^{k}\right)$ для всех $k=1,2, \ldots$. Чтобы определить $E\left(\bar{X}^{k}\right)$, запишите $\bar{X}=Y+\xi$, где $Y$ имеет распределение $N\left(0, \sigma^{2} / n\right)$. Покажите, что

В Примере 2.1, когда оба параметра неизвестны, покажите, что UMVU-оценка $\xi^{2}$ задаётся формулой $\delta =\bar{X}^{2}-\frac{S^{2}}{n(n-1)}$, где теперь $S^{2}=\sum \left(X_{i}-\bar{X}\right)^{2}$.

Если $X$ — единственное наблюдение из $N\left(\xi , \sigma^{2}\right)$, покажите, что при неизвестном $\xi$ не существует несмещённой оценки $\delta$ параметра $\sigma^{2}$. [Указание: При фиксированном $\sigma =a$ величина $X$ является полной достаточной статистикой для $\xi$, и из $E[\delta (X)]=a^{2}$ для всех $\xi$ следует $\delta (x)=a^{2}$ п.в.]

Пусть $X_{i}, i=1, \ldots , n$, независимо распределены как $N\left(\alpha +\beta t_{i}, \sigma^{2}\right)$, где $\alpha , \beta$ и $\sigma^{2}$ неизвестны, а $t$ — известные константы, не все равные между собой. Найдите UMVU-оценки $\alpha$ и $\beta$.

В Примере 2.2 при $n=1$ UMVU-оценкой $p$ является индикатор события $X_{1} \leq u$ независимо от того, известна ли $\sigma$.

Проверьте формулу (2.14) — плотность $\left(X_{1}-\bar{X}\right) / S$ при нормальной выборке. [UMVU-оценка в (2.13) используется Kiefer (1977) как пример его подхода «оценённой доверительности» (estimated confidence).]

Предполагая (2.15) с $\sigma =\tau$, найдите UMVU-оценки $\sigma^{2}$ и $(\eta -\xi ) / \sigma$.

Предполагая (2.15) с $\eta =\xi$ и $\sigma^{2} / \tau^{2}=\gamma$, покажите, что при известном $\gamma$:

Покажите, что в предыдущей задаче при неизвестном $\gamma$

Для модели (2.15) найдите UMVU-оценку $P\left(X_{1}<Y_{1}\right)$, когда

Если $\left(X_{1}, Y_{1}\right), \ldots ,\left(X_{n}, Y_{n}\right)$ — независимые одинаково распределённые случайные величины, имеющие произвольное двумерное распределение с конечными вторыми моментами, покажите, что $S_{X Y} /(n-1)$, заданная формулой (2.17), является несмещённой оценкой $\operatorname {cov}\left(X_{i}, Y_{i}\right)$.

В выборке размера $N=n+k+1$ часть наблюдений отсутствует. Предположим, что $\left(X_{i}, Y_{i}\right), i=1, \ldots , n$, — независимые одинаково распределённые случайные величины, имеющие двумерное нормальное распределение (2.16), а $U_{1}, \ldots , U_{k}$ и $V_{1}, \ldots , V_{l}$ независимы и распределены как $N\left(\xi , \sigma^{2}\right)$ и $N\left(\eta , \tau^{2}\right)$ соответственно.

Для семейства (2.22) покажите, что UMVU-оценка $a$ при известном $b$ и UMVU-оценка $b$ при известном $a$ таковы, как указано в Примере 2.5. [Указание: Задача 6.18.]

Покажите, что оценки (2.23) являются UMVU. [Указание: Задача 1.6.18.].

Для семейства (2.22) с $b=1$ найдите UMVU-оценку $P\left(X_{1} \geq u\right)$ и плотности $e^{-(u-a)}$ величины $X_{1}$ в точке $u$. [Указание: Получите оценку $\delta \left(X_{(1)}\right)$ плотности, применив Метод 2 из Раздела 2.1, а затем оценку вероятности — интегрированием. Альтернативно, можно сначала получить оценку вероятности как $P\left(X_{1} \geq u \mid X_{(1)}\right)$, используя тот факт, что $X_{1}-X_{(1)}$ является вспомогательной статистикой, и что при заданном $X_{(1)}$ величина $X_{1}$ либо равна $X_{(1)}$, либо распределена как $E\left(X_{(1)}, 1\right)$.]

Найдите UMVU-оценку $P\left(X_{1} \geq u\right)$ для семейства (2.22), когда оба параметра $a$ и $b$ неизвестны.

Пусть $X_{1}, \ldots , X_{m}$ и $Y_{1}, \ldots , Y_{n}$ независимо распределены как $E(a, b)$ и $E\left(a^{\prime }, b^{\prime }\right)$ соответственно.

В предыдущей задаче предположим, что $b^{\prime }=b$.

В Задаче 2.21 предположим, что $a^{\prime }=a$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины, имеющие равномерное распределение $U(\xi -b, \xi +b)$. Если $\xi$ и $b$ оба неизвестны, найдите UMVU-оценки $\xi$, $b$ и $\xi / b$. [Указание: Задача 1.6.30.]

Пусть $X_{1}, \ldots , X_{m}$ и $Y_{1}, \ldots , Y_{n}$ — независимые одинаково распределённые случайные величины, имеющие распределения $U(0, \theta )$ и $U\left(0, \theta^{\prime }\right)$ соответственно. Если $n>1$, найдите UMVU-оценку $\theta / \theta^{\prime }$.

Проверьте ML-оценки, приведённые в (2.24).

В Примере 2.6(b) покажите, что

Проверьте (2.26).

При условиях Леммы 2.7 покажите, что:

Если $T$ имеет распределение $b(p, n)$, найдите несмещённую оценку $\delta (T)$ величины $p^{m}(m \leq n)$ с помощью Метода 1, то есть используя (1.10). [Указание: Пример 1.13.]

Если $Y$ имеет распределение (3.3), используйте Метод 1 из Раздела 2.1,

Рассмотрим схему, в которой биномиальное выборочное наблюдение продолжается до тех пор, пока не будет получено по меньшей мере $a$ успехов и $b$ неудач. Покажите, как вычислить разумную оценку $\log (p / q)$. [Указание: Чтобы получить несмещённую оценку $\log p$, модифицируйте UMVU-оценку $\delta$ из Задачи 3.4(c).]

Если биномиальное выборочное наблюдение продолжается до тех пор, пока не будет получено $m$ успехов, пусть $X_{i}$ ( $i= 1, \ldots , m$ ) — число неудач между $(i-1)$-м и $i$-м успехом.

Предположим, что биномиальное выборочное наблюдение продолжается до тех пор, пока число успехов не сравняется с числом неудач.

Проверьте формулу (3.7) с соответствующим определением $N^{\prime }(x, y)$

Рассмотрим последовательное биномиальное выборочное наблюдение с точками остановки $(0,1)$ и $(2, y)$, $y=0,1, \ldots$.

В Примере 3.4(ii)

Усечённое однократное выборочное наблюдение. Пусть $a, b<n$ — три неотрицательных целых числа. Продолжайте наблюдение до тех пор, пока не будет получено либо $a$ успехов, либо $b$ неудач, либо $n$ наблюдений. Найдите UMVU-оценку $p$.

Для любого плана последовательного биномиального выборочного наблюдения координаты $(X, Y)$ конечной точки траектории выборки являются минимальными достаточными.

Рассмотрим произвольный замкнутый план последовательного биномиального выборочного наблюдения с множеством точек остановки $B$, и пусть $B^{\prime }$ — множество $B \cup \left\{ \left(x_{0}, y_{0}\right)\right\}$, где $\left(x_{0}, y_{0}\right)$ — точка, не принадлежащая $B$, которая достигается с положительной вероятностью при плане $B$. Покажите, что достаточная статистика $T=(X, Y)$ не полна для плана выборочного наблюдения, у которого множеством точек остановки служит $B^{\prime }$. [Указание: Для произвольной точки $(x, y) \in B$ пусть $N(x, y)$ и $N^{\prime }(x, y)$ обозначают число путей к $(x, y)$, когда множеством точек остановки является $B$ и $B^{\prime }$ соответственно, и пусть $N\left(x_{0}, y_{0}\right)=0, N^{\prime }\left(x_{0}, y_{0}\right)=1$. Тогда статистика $1-\left[N(X, Y) / N^{\prime }(X, Y)\right]$ имеет математическое ожидание 0 при $B^{\prime }$ для всех значений $p$.]

Для произвольного плана последовательного биномиального выборочного наблюдения, при котором точка $(1,1)$ достигается с положительной вероятностью, но не является точкой остановки, найдите несмещённую оценку $p q$, зависящую только от $(X, Y)$. Вычислите эту оценку для

Используя (3.3), найдите $A(t, n)$ в (3.11) для отрицательного биномиального распределения с $m=n$, и вычислите оценки (3.13) величины $q^{r}$ и (3.14).

Рассмотрим $n$ биномиальных испытаний с вероятностью успеха $p$, и пусть $r$ и $s$ — два положительных целых числа с $r+s<n$. К границе $x+y=n$ добавим граничную точку $(r, s)$, то есть, если число успехов в первых $r+s$ испытаниях равно ровно $r$, процесс останавливается, и оставшиеся $n-(r+s)$ испытаний не проводятся.

Обобщите предыдущую задачу на случай, когда к границе добавляются две точки $\left(r_{1}, s_{1}\right)$ и $\left(r_{2}, s_{2}\right)$ с $r_{i}+s_{i}<n$. Предположим, что эти две точки таковы, что все $n+1$ точек $x+y=n$ остаются граничными точками.

Если $X$ имеет распределение Пуассона $P(\theta )$, покажите, что $1 / \theta$ не имеет несмещённой оценки.

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины, имеющие распределение (3.18) — распределение Пуассона, усечённое слева в 0, найдите UMVU-оценку $\theta$, когда

Пусть $X_{1}, \ldots , X_{n}$ — выборка из распределения Пуассона, усечённого слева в 0, то есть с выборочным пространством $\mathcal{X}=\left\{ 1,2,3, \ldots \right\}$.