Асимптотическая оптимальность

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с $E\left(X_{i}\right)=\xi$.

Для фиксированного $n$ опишите относительную ошибку в Примере 1.3 как функцию от $p$.

Теорема 1.1 утверждает: пусть $X_1, \ldots , X_n$ — независимые одинаково распределённые случайные величины с $E(X_1)=\xi$, $\operatorname {var}(X_1)=\sigma^2$ и конечным четвёртым моментом, и пусть $h$ — функция вещественной переменной, первые четыре производные которой $h', h'', h''', h^{(iv)}$ существуют для всех $x \in I$, где $I$ — интервал с $P(X_1 \in I)=1$. Предположим далее, что $\left|h^{(iv)}(x)\right| \leq M$ для всех $x \in I$ при некотором $M<\infty$. Тогда,

и если, кроме того, четвёртая производная от $h^2$ также ограничена,

где остаточный член $R_n$ в обоих случаях есть $O(1/n^2)$.

Теорема 1.5 утверждает: предположим, что предположения Теоремы 1.1 выполнены, и что $c_n$ — последовательность констант, удовлетворяющая $c_{n}=1+\dfrac {a}{n}+O\! \left(\dfrac {1}{n^{2}}\right)$. Тогда дисперсия $\delta_{n}(\bar{X})=h\left(c_{n} \bar{X}\right)$ удовлетворяет

Докажите Теорему 1.5.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\xi , \sigma^{2}\right)$, $\sigma^{2}$ известно, и пусть $g(\xi )=\xi^{r}, r=2,3,4$. Определите, с точностью до членов порядка $1 / n$,

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\xi , \sigma^{2}\right)$, $\xi$ известно. Для чётного $r$ определите дисперсию UMVU-оценки (2.2.4) величины $\sigma^{r}$ с точностью до членов порядка $r$.

Решите предыдущую задачу для случая, когда $\xi$ неизвестно.

Для оценивания $p^{m}$ в Примере 3.3.1 определите, с точностью до порядка $1 / n$,

Решите предыдущую задачу, если $p^{m}$ заменить оцениваемым параметром из Задачи 2.3.3.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением Пуассона $P(\theta )$.

Решите пункт (b) предыдущей задачи для оценки (2.3.22).

В условиях Задачи 1.1 покажите, что $E|\bar{X}-\xi |^{2 k-1}=O\left(n^{-k+1 / 2}\right)$. [Указание: Используйте тот факт, что $E|\bar{X}-\xi |^{2 k-1} \leq \left[E(\bar{X}-\xi )^{4 k-2}\right]^{1 / 2}$, вместе с результатом Задачи 1.1.]

Получите вариант Теоремы 1.1, который требует существования и ограниченности только $h^{\prime \prime \prime }$ вместо $h^{(i v)}$, но где $R_{n}$ есть лишь $O\left(n^{-3 / 2}\right)$.

Чтобы убедиться, что Теорема 1.1 не обязательно верна без ограниченности четвёртой (или некоторой более высокой) производной, предположим, что $X$ распределены как $N\left(\xi , \sigma^{2}\right)$, и пусть $h(X)=e^{x^{4}}$. Тогда все моменты $X$ и все производные $h$ существуют.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины из показательного распределения с плотностью $(1 / \theta ) e^{-x / \theta }, x>0$, и $\theta >0$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $U(0, \theta )$. Определите дисперсию UMVU-оценки $\theta^{k}$, где $k$ — целое число, $k>-n$.

В условиях Задачи 1.15 найдите MLE для $\theta^{k}$ и сравните её ожидаемую квадратичную ошибку с дисперсией UMVU-оценки.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $U(0, \theta )$, пусть $T=\max \left(X_{1}, \ldots , X_{n}\right)$, и пусть $h$ — функция, удовлетворяющая условиям Теоремы 1.1. Покажите, что

и

Примените результаты Задачи 1.17, чтобы получить приближённые ответы к Задачам 1.15 и 1.16, и сравните ответы с точными решениями.

Если $X$ таковы, как в Теореме 1.1, и если первые пять производных $h$ существуют, а пятая производная ограничена, покажите, что

и, если пятая производная $h^{2}$ также ограничена,

где $\mu_{3}=E(X-\xi )^{3}$.

В условиях предыдущей задачи проведите вычисление дисперсии (1.16) до членов порядка $1 / n^{2}$ и сравните результат с результатом предыдущей задачи.

Проведите вычисление из Задачи 1.4 до членов порядка $1 / n^{2}$.

Для оцениваемых параметров из Задачи 1.4 вычислите ожидаемую квадратичную ошибку MLE до членов порядка $1 / n^{2}$ и сравните её с дисперсией, вычисленной в Задаче 1.21.

Вычислите дисперсию (1.18) до членов порядка $1 / n^{2}$ и сравните её с ожидаемой квадратичной ошибкой MLE, вычисленной до того же порядка.

Найдите дисперсию оценки (2.3.17) с точностью до членов порядка $1 / n^{3}$.

Для ситуации Примера 1.12 покажите, что UMVU-оценка $\delta_{1 n}$ является MLE с поправкой на смещение, где MLE есть $\delta_{3 n}$.

Для оценок из Примера 1.13:

На основе выборки из $N\left(\xi , \sigma^{2}\right)$ пусть $P_{n}(\xi , \sigma )$ — вероятность того, что UMVU-оценка $\bar{X}^{2}-\sigma^{2} / n$ величины $\xi^{2}$ ($\sigma$ известно) отрицательна.

Используя $t$-распределение, найдите значение $P_{n}(0, \sigma )$ из предыдущей задачи для UMVU-оценки $\xi^{2}$, когда $\sigma$ неизвестно, для характерных значений $n$.

Теорема 1.9 утверждает: если последовательность случайных величин $T_{n}$ стремится к $\xi$ по вероятности, и если $h$ непрерывна в точке $\xi$, то $h(T_{n}) \xrightarrow {P} h(\xi )$. Чтобы показать, что $P(\left|h(T_{n})-h(\xi )\right|<a) \rightarrow 1$, достаточно заметить, что в силу непрерывности $h$ разность $\left|h(T_{n})-h(\xi )\right|$ будет сколь угодно мала, если $T_{n}$ близко к $\xi$, и что для любого $a$ вероятность того, что $\left|T_{n}-\xi \right|<a$, стремится к $1$ при $n \rightarrow \infty$.

Заполните детали доказательства Теоремы 1.9. (См. также Задачу 1.8.8.)

В Примере 8.13 при $\theta =0$ покажите, что $\delta_{2 n}$ не имеет в точности распределение $\sigma^{2}\left(\chi_{1}^{2}-1\right) / n$.

В Примере 8.13 пусть $\delta_{4 n}=\max \left(0, \bar{X}^{2}-\sigma^{2} / n\right)$, что является улучшением по сравнению с $\delta_{1 n}$.

Пусть $X$ имеет биномиальное распределение $b(p, n)$, и пусть $g(p)=p q$. UMVU-оценкой $g(p)$ является $\delta =X(n-X) / n(n-1)$. Определите предельное распределение $\sqrt{n}(\delta - p q)$ и $n(\delta -p q)$, когда $g^{\prime }(p) \neq 0$ и $g^{\prime }(p)=0$ соответственно.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N(\xi , 1)$. Определите предельное поведение распределения UMVU-оценки $p=P\left[\left|X_{i}\right| \leq u\right]$.

Определите предельное поведение оценки (2.3.22) при $n \rightarrow \infty$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $P_{\theta }$, и предположим, что $\delta_{n}$ является UMVU-оценкой $g(\theta )$ на основе $X_{1}, \ldots , X_{n}$. Если существует $n_{0}$ и несмещённая оценка $\delta_{0}\left(X_{1}, \ldots , X_{n_{0}}\right)$, имеющая конечную дисперсию при всех $\theta$, то $\delta_{n}$ состоятельна для $g(\theta )$.

Пусть $Y_{n}$ имеет распределение $N(0,1)$ с вероятностью $\pi_{n}$ и распределение $N\left(0, \tau_{n}^{2}\right)$ с вероятностью $1-\pi_{n}$. Если $\tau_{n} \rightarrow \infty$ и $\pi_{n} \rightarrow \pi$, определите, при каких значениях $\pi$ последовательность $\left\{ Y_{n}\right\}$ имеет предельное распределение, а при каких — нет.

Пусть $b_{m, n}, m, n=1,2, \ldots$ — двойная последовательность вещественных чисел, которая при каждом фиксированном $m$ не убывает по $n$. Покажите, что $\lim_{n \rightarrow \infty } \lim_{m \rightarrow \infty } b_{m, n}=\lim_{m, n \rightarrow \infty } \inf b_{m, n}$ и $\lim_{m \rightarrow \infty } \lim_{n \rightarrow \infty } b_{m, n}=\lim_{m, n \rightarrow \infty } \sup b_{m, n}$, при условии что указанные пределы существуют (они могут быть бесконечны), и где $\lim \inf b_{m, n}$ и $\lim \sup b_{m, n}$ обозначают, соответственно, наименьшую и наибольшую предельные точки, достижимые последовательностью $b_{m_{k}, n_{k}}, k=1,2, \ldots$, с $m_{k} \rightarrow \infty$ и $n_{k} \rightarrow \infty$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N(0,1)$. Рассмотрим две оценки

где $S_{n}=\Sigma \left(X_{i}-\bar{X}\right)^{2}, P\left(S_{n}>a_{n}\right)=1 / n$, и $T_{n}^{\prime }=\left(X_{1}+\cdots +X_{k_{n}}\right) / k_{n}$ с $k_{n}$ — наибольшим целым числом $\leq \sqrt{n}$.

Если $k_{n}\left[\delta_{n}-g(\theta )\right] \xrightarrow {\mathcal{L}} H$ для некоторой последовательности $k_{n}$, покажите, что тот же результат верен, если $k_{n}$ заменить на $k_{n}^{\prime }$, где $k_{n} / k_{n}^{\prime } \rightarrow 1$.

Предположим, что распределение $Y_{n}=\sqrt{n}\left(\delta_{n}-g(\theta )\right)$ сходится к распределению со средним 0 и дисперсией $v(\theta )$. Используя лемму Фату (Лемма 1.2.6), установите, что $\operatorname {var}_{\theta }\left(\delta_{n}\right) \rightarrow 0$ для всех $\theta$.

Если $X_{1}, \ldots , X_{n}$ — выборка из однопараметрического экспоненциального семейства (1.5.2), то $\Sigma T\left(X_{i}\right)$ является минимальной достаточной статистикой, и $E\left[(1 / n) \Sigma T\left(X_{i}\right)\right]=(\partial / \partial \eta ) A(\eta )=\tau$. Покажите, что для любой функции $g(\cdot )$, для которой верна Теорема 1.8.12, $g\left((1 / n) \Sigma T\left(X_{i}\right)\right)$ асимптотически несмещена для $g(\tau )$.

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $n\left(\mu , \sigma^{2}\right)$, покажите, что $S^{r}=\left[1 /(n-1) \Sigma \left(x_{i}-\bar{x}\right)^{2}\right]^{r / 2}$ является асимптотически несмещённой оценкой $\sigma^{r}$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $U(0, \theta )$. Согласно Примеру 2.1.14, $\delta_{n}=(n+1) X_{(n)} / n$ является UMVU-оценкой $\theta$, тогда как MLE есть $X_{(n)}$. Определите предельное распределение

Для ситуации Задачи 2.6:

Проверьте асимптотическое распределение, заявленное для $\delta_{n}$ в Примере 2.5.

Пусть $\delta_{n}$ — произвольная оценка, удовлетворяющая (2.2) с $g(\theta )=\theta$. Постройте последовательность $\delta_{n}^{\prime }$, такую что $\sqrt{n}\left(\delta_{n}^{\prime }-\theta \right) \xrightarrow {\mathcal{L}} N\left[0, w^{2}(\theta )\right]$ с $w(\theta )=v(\theta )$ при $\theta \neq \theta_{0}$ и $w\left(\theta_{0}\right)=0$.

В предыдущей задаче постройте $\delta_{n}^{\prime }$, такую что $w(\theta )=v(\theta )$ для всех $\theta \neq \theta_{0}$ и $\theta_{1}$, и $<v(\theta )$ при $\theta =\theta_{0}$ и $\theta_{1}$.

Постройте последовательность $\left\{ \delta_{n}\right\}$, удовлетворяющую (2.2), но для которой смещение $b_{n}(\theta )$ не стремится к нулю.

В Примере 2.7 с $R_{n}(\theta )$, заданной формулой (2.11), покажите, что $R_{n}(\theta ) \rightarrow 1$ при $\theta \neq 0$ и что $R_{n}(0) \rightarrow a^{2}$.

Пусть $b_{n}(\theta )=E_{\theta }\left(\delta_{n}\right)-\theta$ — смещение оценки $\delta_{n}$ из Примера 2.5.

В Примере 2.7 покажите, что если $\theta_{n}=c / \sqrt{n}$, то $R_{n}\left(\theta_{n}\right) \rightarrow a^{2}+c^{2}(1-a)^{2}$.

Пусть $X$ имеет биномиальное распределение $b(p, n), 0 \leq p \leq 1$. Определите MLE для $p$

В предыдущей задаче покажите, что MLE не существует, когда $p$ ограничено условием $0<p<1$, а $x=0$ или $=n$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\xi , \sigma^{2}\right)$. Определите MLE для

Предположим, что $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N(\xi , 1)$, где $\xi >0$. Покажите, что MLE есть $\bar{X}$, когда $\bar{X}>0$, и не существует, когда $\bar{X} \leq 0$.

Пусть $X$ принимает значения 0 и 1 с вероятностями $p$ и $q$ соответственно. Если известно, что $1 / 3 \leq p \leq 2 / 3$,

Когда $\Omega$ конечно, покажите, что MLE состоятельна тогда и только тогда, когда она удовлетворяет (3.2).

Покажите, что Теорема 3.2 остаётся верной, если предположение A1 ослабить до A1': Существует непустое множество $\Omega_{0} \in \Omega$, такое что $\theta_{0} \in \Omega_{0}$, и $\Omega_{0}$ содержится в носителе каждого $P_{\theta }$.

Докажите существование и единственность $0<a_{k}<a_{k-1}, k=1,2, \ldots$, удовлетворяющих (3.4).

Докажите (3.9).

В Примере 3.6 с $0<c<1 / 2$ определите состоятельную оценку $k$.

Проверьте характер корней в Примере 3.9.

Пусть $X$ имеет распределение $N(\theta , 1)$. Покажите, что при условии $a<X<b$ переменная $X$ стремится по вероятности к $b$ при $\theta \rightarrow \infty$.

Рассмотрим выборку $X_{1}, \ldots , X_{n}$ из распределения Пуассона, обусловленного положительностью, так что $P\left(X_{i}=x\right)=\theta^{x} e^{-\theta } / x!\left(1-e^{-\theta }\right)$ при $x=1,2, \ldots$. Покажите, что уравнение правдоподобия имеет единственный корень при всех значениях $x$.

Пусть $X$ имеет отрицательное биномиальное распределение (2.3.3). Найдите ELE для $p$.

Для каждой из следующих плотностей $f(\cdot )$ определите,

(a) является ли она строго унимодальной, и

(b) является ли $x f^{\prime }(x) / f(x)$ строго убывающей при $x>0$.

Соответственно прокомментируйте, имеют ли соответствующие параметры сдвига и масштаба единственные MLE:

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с плотностью $f\left(x_{i}-\theta \right)$ или $a f\left(a x_{i}\right)$, и $f$ — логистическая плотность $L(0,1)$, уравнение правдоподобия имеет единственные решения $\hat{\theta }$ и $\hat{a}$ как в случае сдвига, так и в случае масштаба. Определите предельное распределение $\sqrt{n}(\hat{\theta }-\theta )$ и $\sqrt{n}(\hat{a}-a)$.

В Задаче 3.15(b), при $f$ — плотности Коши $C(0, a)$, уравнение правдоподобия имеет единственный корень $\hat{a}$, и $\sqrt{n}(\hat{a}-a) \xrightarrow {\mathcal{L}} N\left(0,2 a^{2}\right)$.

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $C(\theta , 1)$, то при любом фиксированном $n$ существует положительная вероятность того,

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с гамма-распределением $\Gamma (\theta , 1)$, уравнение правдоподобия имеет единственный корень.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением Вейбулла с плотностью

которое не принадлежит ни экспоненциальному семейству, ни семейству сдвига, ни семейству масштаба. Тем не менее покажите, что существует единственный внутренний максимум функции правдоподобия.

В условиях Теоремы 3.2 покажите, что

стремится по распределению к $N(0,1)$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\theta , a \theta^{2}\right), \theta >0$, где $a$ — известная положительная константа.

Проверьте, что предположения Теоремы 3.10 выполнены в Примере 3.12.

Для $X_{1}, \ldots , X_{n}$ — независимых одинаково распределённых случайных величин с распределением $D E(\theta , 1)$ покажите, что

В Примере 3.12 покажите непосредственно, что $(1 / n) \Sigma T\left(X_{i}\right)$ является асимптотически эффективной оценкой $\theta =E_{\eta }[T(X)]$, рассмотрев её предельное распределение.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $\theta g(x)+(1-\theta ) h(x)$, где $(g, h)$ — пара заданных плотностей вероятности относительно $\mu$, и $0<\theta <1$.

В условиях Теоремы 3.7 предположим, что $\hat{\theta }_{1 n}$ и $\hat{\theta }_{2 n}$ — две состоятельные последовательности корней уравнения правдоподобия. Докажите, что $P_{\theta_{0}}\left(\hat{\theta }_{1 n}=\hat{\theta }_{2 n}\right) \rightarrow 1$ при $n \rightarrow \infty$. [Указание: