Информационное неравенство

При условиях Задачи 1.3 для каждого $p_{1}$ найдите значение $L_{V}\left(p_{1}\right)$ LMVU-оценки $p$ в точке $p_{1}$ и сравните функцию $L_{V}(p), 0<p<1$, с дисперсией $V_{p_{0}}(p)$ оценки, являющейся LMVU в точке

Найдите условия, при которых в (5.1) достигается равенство.

Проверьте $I(\theta )$ для распределений из Таблицы 5.1.

Если $X$ имеет нормальное распределение с нулевым средним и стандартным отклонением $\sigma$, найдите $I(\sigma )$.

Найдите $I(p)$ для отрицательного биномиального распределения.

Если $X$ имеет распределение $P(\lambda )$, покажите, что содержащаяся в ней информация о $\sqrt{\lambda }$ не зависит от $\lambda$.

Проверьте следующие утверждения, приведённые у Basu (1988, глава 1), которые иллюстрируют связь между информацией, достаточностью и вспомогательностью (ancillarity). Пусть $I(\theta )=E_{\theta }\left[-\partial^{2} / \partial \theta^{2} \log f(x \mid (\theta )]\right.$ — информация о $\theta$, содержащаяся в $X$, а $J(\theta )=E_{\theta }\left[-\partial^{2} / \partial \theta^{2} \log g(T \mid \theta )\right]$ — информация о $\theta$, содержащаяся в статистике $T$, где $g(\cdot \mid \theta )$ — функция плотности $T$. Определим $\lambda (\theta )=I(\theta )-J(\theta )$ — меру информации, теряемой при использовании $T$ вместо $X$. При подходящих условиях регулярности покажите, что

Найдите функцию от $\theta$, для которой количество информации не зависит от $\theta$:

Для обратного биномиального выборочного наблюдения (см. Пример 3.2):

Покажите, что (5.13) можно продифференцировать, дифференцируя под знаком интеграла, когда $p_{\theta }(x)$ задаётся формулой (5.24), для каждого из распределений Таблицы 5.2. [Указание: Составьте разностное отношение и примените теорему о мажорируемой сходимости.]

Проверьте записи Таблицы 5.2.

Вычислите (5.25), когда $f$ — плотность распределения Стьюдента ($t$-распределения) с $v$ степенями свободы. [Указание: Используйте тот факт, что

Для распределения с плотностью (5.24) покажите, что $I(\theta )$ не зависит от $\theta$.

Проверьте

Для $t$-плотности сдвига вычислите границу информационного неравенства для несмещённых оценок $\theta$.

Если $p_{\theta }(x)$ задаётся формулой 1.5.1 с $s=1$ и $T(x)=\delta (x)$, покажите, что $\operatorname {var}[\delta (X)]$ достигает нижней границы (5.31) и является единственной оценкой, для которой это выполняется. [Указание: Используйте (5.18) и (1.5.15).]

Покажите, что если данная функция $g(\theta )$ имеет несмещённую оценку, то существует несмещённая оценка $\delta$, которая при всех значениях $\theta$ достигает нижней границы (5.1) для некоторой $\psi (x, \theta )$, удовлетворяющей (5.2), тогда и только тогда, когда $g(\theta )$ имеет UMVU-оценку $\delta_{0}$. [Указание: По Теореме 5.1, $\psi (x, \theta )=\delta_{0}(x)$ удовлетворяет (5.2). Для любой другой несмещённой оценки $\delta$ имеем $\operatorname {cov}\left(\delta -\delta_{0}, \delta_{0}\right)=0$, и, следовательно, $\operatorname {var}\left(\delta_{0}\right)=\left[\operatorname {cov}\left(\delta , \delta_{0}\right)\right]^{2} / \operatorname {var}\left(\delta_{0}\right)$, так что $\psi =\delta_{0}$ даёт достижимую границу.] (Blyth 1974).

Покажите, что если $E_{\theta } \delta =g(\theta )$ и $\operatorname {var}(\delta )$ достигает границы информационного неравенства (5.31), то

Если $E_{\theta } \delta =g(\theta )$, то нижняя граница информационного неравенства равна $I B(\theta )=\left[g^{\prime }(\theta )\right]^{2} / I(\theta )$. Если $\theta =h(\xi )$, где $h$ дифференцируема, покажите, что $I B(\xi )=I B(\theta )$.

Пусть $X$ — наблюдение из смеси нормальных распределений с плотностью

где $\Omega$ — произвольная окрестность нуля. Таким образом, случайная величина $X$ имеет либо распределение $N(\theta , 1)$, либо $N(-\theta , 1)$, каждое с вероятностью $1 / 2$. Покажите, что $\theta =0$ является особой точкой, то есть, если несмещённая оценка $\theta$ существует, она будет иметь бесконечную дисперсию при $\theta =0$.

Пусть $X_{1}, \ldots , X_{n}$ — выборка из распределения Пуассона $(\lambda )$, усечённого слева в 0, то есть с выборочным пространством $\mathcal{X}=\left\{ 1,2,3, \ldots \right\}$ (см. Задачу 3.20). Покажите, что нижняя граница Крамера—Рао для дисперсии несмещённых оценок $\lambda$ равна

и не достигается UMVU-оценкой. (Однако она является асимптотической дисперсией ML-оценки.)

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с плотностью $p(x, \theta )$, положительной при всех $x$. Тогда дисперсия любой несмещённой оценки $\delta$ величины $\theta$ удовлетворяет

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые случайные величины с распределением $N\left(\theta , \sigma^{2}\right)$, где $\sigma$ известна, а про $\theta$ известно, что она принимает одно из значений 0, ±1, ±2, . . ., то неравенство предыдущей задачи показывает, что любая несмещённая оценка $\delta$ ограниченного параметра $\theta$ удовлетворяет

где $\Delta =\theta -\theta_{0}$, и, следовательно, $\sup_{\Delta \neq 0} \operatorname {var}_{\theta_{0}}(\delta ) \geq 1 /\left[e^{n / \sigma^{2}}-1\right]$.

При условиях предыдущей задачи пусть $\bar{X}^{*}$ — ближайшее к $\bar{X}$ целое число.

Неравенство Кифера.

Проверьте непосредственно, что следующие семейства плотностей удовлетворяют (5.38).

Распространите условие (5.38) на векторные параметры и покажите, что оно выполняется для экспоненциального семейства (1.5.1) при $s>1$.

Покажите, что предположение (5.36(b)) влечёт (5.38), так что Теорема 5.15 фактически является следствием Теоремы 5.10.

Покажите, что (5.38) выполняется, если верно одно из следующих условий:

Brown and Gajek (1990) приводят два различных достаточных условия для выполнения (8.2), которые указаны ниже. Покажите, что каждое из них влечёт (8.2). (Заметим, что при переходе от (a) к (b) условия становятся слабее, а значит, более широко применимыми и труднее проверяемыми.)

Пусть $\mathcal{F}$ — класс всех унимодальных симметричных плотностей или, более общо, плотностей, симметричных относительно нуля и удовлетворяющих $f(x) \leq f(0)$ при всех $x$. Покажите, что

и что минимум достигается равномерным распределением $\left(-\frac{1}{2}, \frac{1}{2}\right)$. Таким образом, равномерное распределение имеет минимальную дисперсию среди симметричных унимодальных распределений. (О свойствах масштабного равномерного распределения при больших выборках см. Пример 4.8.6.) [Указание: Побочное условие $\int f(x) d x=1$ вместе с методом неопределённых множителей приводит к эквивалентной задаче — минимизации $\int \left(x^{2}-a^{2}\right) f(x) d x$, где $a$ выбирается так, чтобы удовлетворить ограничению. Здесь сработает рассуждение типа Неймана—Пирсона.]