Эквивариантность

Докажите части Теоремы 1.4, относящиеся к

В модели (1.9) предположим, что $n=2$ и что $f$ удовлетворяет $f\left(-x_{1},-x_{2}\right)=f\left(x_{2}, x_{1}\right)$. Покажите, что распределение $\left(X_{1}+X_{2}\right) / 2$ при условии $X_{2}-X_{1}=y$ симметрично относительно 0. Заметим, что если $X_{1}$ и $X_{2}$ — независимые одинаково распределённые случайные величины с распределением, симметричным относительно 0, то указанное равенство выполняется.

Если $X_{1}$ и $X_{2}$ распределены согласно (1.9) с $n=2$ и $f$, удовлетворяющей условиям Задачи 1.2, и если $\rho$ выпукла и чётна, то MRE-оценкой $\xi$ является $\left(X_{1}+X_{2}\right) / 2$.

При условиях Примера 1.18 покажите, что

Для каждой из трёх функций потерь из Примера 1.18 сравните риск MRE-оценки с риском UMVU-оценки.

Если $T$ — достаточная статистика для семейства (1.9), покажите, что оценка (1.28) является функцией только от $T$. [Указание: Используйте теорему факторизации.]

Пусть $X_{i}(i=1,2,3)$ независимо распределены с плотностью $f\left(x_{i}-\xi \right)$, и пусть $\delta =X_{1}$, если $X_{3}>0$, и $\delta =X_{2}$, если $X_{3} \leq 0$. Покажите, что оценка $\delta$ параметра $\xi$ имеет постоянный риск для любой инвариантной функции потерь, но $\delta$ не является эквивариантной относительно сдвига.

Рассмотрим семейство сдвига: $X$ имеет плотность $f(x-\xi )$, где $\xi$ — параметр сдвига, подлежащий оцениванию, а функция потерь равна $\rho (d-\xi )$ для общей неотрицательной функции потерь $\rho$, не предполагаемой выпуклой. MRE-оценка (эквивариантная оценка минимального риска) — это оценка, минимизирующая риск среди всех оценок, эквивариантных относительно сдвигов; это соответствует постановке Примера 1.13, которая показывает, что когда $X$ симметрична относительно $\xi$, а $\rho$ выпукла и чётна, сама $X$ является MRE-оценкой.

Следствие 1.14 утверждает: предположим, что $0 \leq \rho (t) \leq M$ при всех значениях $t$, что $\rho (t) \rightarrow M$ при $t \rightarrow \pm \infty$, и что плотность $f$ величины $X$ непрерывна п.в. Тогда MRE-оценка $\xi$ существует.

Докажите Следствие 1.14.

Пусть $X_{1}, \ldots , X_{n}$ распределены так же, как в Примере 1.19, и пусть функция потерь такая же, как в Примере 1.15. Найдите совокупность всех MRE-оценок и покажите, что полусумма крайних членов (midrange) является одной из них.

Рассмотрим функцию потерь

Если $X$ — случайная величина с плотностью $f$ и функцией распределения $F$, покажите, что $E \rho (X-v)$ минимизируется при любом $v$, удовлетворяющем $F(v)=B /(A+B)$.

В Примере 1.16 найдите MRE-оценку $\xi$, когда функция потерь задана в Задаче 1.10.

Покажите, что оценка $\delta (X)$ величины $g(\theta )$ риск-несмещённа относительно функции потерь из Задачи 1.10, если $F_{\theta }[g(\theta )]=B /(A+B)$, где $F_{\theta }$ — функция распределения $\delta (X)$ при параметре $\theta$.

Предположим, что $X_{1}, \ldots , X_{m}$ и $Y_{1}, \ldots , Y_{n}$ имеют совместную плотность $f\left(x_{1}-\xi , \ldots , x_{m}-\xi ; y_{1}-\eta , \ldots , y_{n}-\eta \right)$, и рассмотрим задачу оценивания $\Delta =\eta -\xi$. Объясните, почему желательно, чтобы функция потерь $L(\xi , \eta ; d)$ имела вид $\rho (d-\Delta )$, а оценка $\delta$ величины $\Delta$ удовлетворяла $\delta (\mathbf{x}+a, \mathbf{y}+b)=\delta (\mathbf{x}, \mathbf{y})+(b-a)$.

При условиях предыдущей задачи докажите аналоги Теорем 1.4–1.17 и Следствий 1.11–1.14 для оценок, удовлетворяющих этому ограничению.

В Задаче 1.13 найдите совокупность всех оценок, удовлетворяющих ограничению, при $m=n=1$.

В Задаче 1.13 предположим, что $X$ и $Y$ независимо нормально распределены с известными дисперсиями $\sigma^{2}$ и $\tau^{2}$. Найдите условия на $\rho$, при которых MRE-оценкой является $\bar{Y}-\bar{X}$.

В Задаче 1.13 предположим, что $X$ и $Y$ независимо распределены как $E(\xi , 1)$ и $E(\eta , t)$ соответственно, и что $m=n$. Найдите условия на $\rho$, при которых MRE-оценкой $\Delta$ является $Y_{(1)}-X_{(1)}$.

В Задаче 1.13 предположим, что X и Y независимы и что функция потерь квадратична. Если $\hat{\xi }$ и $\hat{\eta }$ — MRE-оценки $\xi$ и $\eta$ соответственно, то MRE-оценкой $\Delta$ является $\hat{\eta }-\hat{\xi }$.

Предположим, что $X$ и $Y$ распределены так же, как в Задаче 1.17, но с $m \neq n$. Найдите MRE-оценку $\Delta$, когда функция потерь квадратична.

Для произвольной плотности $f$ величины $\mathbf{X}=\left(X_{1}, \ldots , X_{n}\right)$ вероятность множества $A=\left\{ \mathbf{x}: 0< \int_{-\infty }^{\infty } f(\mathbf{x}-u) d u<\infty \right\}$ равна 1. [Указание: С вероятностью 1 рассматриваемый интеграл равен маргинальной плотности $\mathbf{Y}=\left(Y_{1}, \ldots , Y_{n-1}\right)$, где $Y_{i}=X_{i}-X_{n}$, а $P[0<g(\mathbf{Y})< \infty ]=1$ выполняется для любой плотности вероятности $g$.]

При условиях Теоремы 1.10, если существует эквивариантная оценка $\delta_{0}$ параметра $\xi$ с конечной средней квадратичной ошибкой, покажите, что

Пусть $\delta_{0}$ эквивариантна относительно сдвига, и пусть $\mathcal{U}$ — класс всех функций $u$, удовлетворяющих (1.20) и таких, что $u(X)$ является несмещённой оценкой нуля. Тогда $\delta_{0}$ является MRE тогда и только тогда, когда $\operatorname {cov}\left[\delta_{0}, u(X)\right]=0$ для всех $u \in \mathcal{U}.^{2}$ (Заметим аналогию с Теоремой 2.1.7.)

Покажите, что класс $G(\mathcal{C})$ является группой.

В Примере 2.2(ii) покажите, что преобразования $\mathbf{x}^{\prime }=-\mathbf{x}$ вместе с тождественным преобразованием образуют группу.

Пусть $\left\{ g X, g \in G\right\}$ — группа преобразований, оставляющих модель (2.1) инвариантной. Если распределения $P_{\theta }, \theta \in \Omega$ различны, покажите, что индуцированные преобразования $\bar{g}$ являются взаимно однозначными преобразованиями $\Omega$. [Указание: Чтобы показать, что из $\bar{g} \theta_{1}=\bar{g} \theta_{2}$ следует $\theta_{1}=\theta_{2}$, используйте тот факт, что из $P_{\theta_{1}}(A)=P_{\theta_{2}}(A)$ для всех $A$ следует $\theta_{1}=\theta_{2}$.]

${ }^{2}$ Сообщено P. Bickel.

При условиях Задачи 2.3 покажите, что

Покажите, что функция потерь удовлетворяет (2.9) тогда и только тогда, когда она имеет вид (2.10).

Пусть $X$ имеет распределение $N\left(\xi , \sigma^{2}\right),-\infty <\xi <\infty , 0<\sigma$, и пусть $h(\xi , \sigma )=\sigma^{2}$. Задача инвариантна относительно преобразований $x^{\prime }=a x+c ; 0<a,-\infty <c<\infty$. Покажите, что единственной эквивариантной оценкой является $\delta (X) \equiv 0$.

Покажите, что:

Если $\theta$ — истинная температура в градусах Цельсия, то $\theta^{\prime }=\bar{g} \theta =\theta +273$ — истинная температура в градусах Кельвина. Пусть дано наблюдение $X$ в градусах Цельсия:

Чтобы проиллюстрировать различие между функциональной эквивариантностью и формальной инвариантностью, рассмотрим следующий пример. Для оценки количества электроэнергии, которое можно получить от реки, можно использовать оценку

где $x=$ расход воды в потоке в $\mathrm{m}^{3} / \mathrm{sec}, 100 \mathrm{~ m}^{3} / \mathrm{sec}$ — пропускная способность трубы, ведущей к турбине, а $20 \mathrm{~ m}^{3} / \mathrm{sec}$ — уменьшение расхода, необходимое, чтобы не нанести вред форели. Константа $c$, измеряемая в киловаттах $/ \mathrm{m}^{3} / \mathrm{sec}$, переводит расход в оценку мощности в киловаттах.

В инвариантной вероятностной модели запишем $X=(T, W)$, где $T$ достаточна для $\theta$, а $W$ — вспомогательная статистика.

В инвариантной задаче оценивания запишем $X=(T, W)$, где $T$ достаточна для $\theta$, а $W$ — вспомогательная статистика. Если группа преобразований транзитивна, покажите:

Для ситуации из Примера 2.11:

Для ситуации из Примера 2.12:

Теорема 2.7 утверждает: если $\delta$ — эквивариантная оценка в задаче, инвариантной относительно группы преобразований $G$, то функция риска $\delta$ удовлетворяет $R(\bar{g}\theta ,\delta )=R(\theta ,\delta )$ для всех $\theta$ и всех $g\in G$.

Следствие 2.13 утверждает: при условиях Теоремы 2.7 функция риска любой эквивариантной оценки постоянна на орбитах $G$.

Докажите Следствие 2.13.

Если $\delta (X)$ — эквивариантная оценка $h(\theta )$ относительно группы $G$, то таковой же является и $g^{*} \delta (X)$, где $g^{*}$ определено формулами (2.12) и (2.13), при условии, что $G^{*}$ коммутативна.

Покажите, что:

В Примере 2.14 найдите совокупность всех эквивариантных оценок $\Delta$ относительно наименьшей группы $G$, содержащей $G_{1}$ и $G_{2}$.

Пусть $\theta$ вещественнозначен, а $h$ строго возрастает, так что (2.11) выполняется тривиально. Пусть $L(\theta , d)$ — потери от оценивания $\theta$ величиной $d$, и предположим, что потери от оценивания $\theta^{\prime }=h(\theta )$ величиной $d^{\prime }=h(d)$ равны $M\left(\theta^{\prime }, d^{\prime }\right)=L\left[\theta , h^{-1}\left(d^{\prime }\right)\right]$. Покажите, что:

Если $\delta (\mathbf{X})$ является MRE для оценивания $\xi$ в Примере 2.2(i) с функцией потерь $\rho (d-\xi )$, сформулируйте свойство оптимальности $e^{\delta (\mathbf{X})}$ как оценки $e^{\xi }$.

Пусть $X_{i j}, j=1, \ldots , n_{i}, i=1, \ldots , s$, и $W$ распределены с плотностью вида

где $\mathbf{x}_{i}-\xi_{i}=\left(x_{i 1}-\xi_{i}, \ldots , x_{i n_{i}}-\xi_{i}\right)$, и рассмотрим задачу оценивания $\theta =\Sigma c_{i} \xi_{i}$ с функцией потерь $L\left(\xi_{i}, \ldots , \xi_{s} ; d\right)=\rho (d-\theta )$. Покажите, что:

Теорема 1.4 утверждает: пусть $X$ имеет распределение с плотностью (1.9), и пусть $\delta$ — эквивариантная оценка $\xi$ относительно функции потерь (1.15). Тогда смещение, риск и дисперсия $\delta$ являются постоянными (т.е. не зависят от $\xi$).

Обобщите Теорему 1.4 на ситуацию Задачи 2.23.

Если $\delta_{0}$ — произвольная эквивариантная оценка $\theta$ в Задаче 2.23, и если $\mathbf{y}_{i}=\left(x_{i 1}-x_{i n_{i}}, x_{i 2}-x_{i n_{i}}, \ldots , x_{i n_{i}-1}-x_{i n_{i}}\right)$, покажите, что наиболее общая эквивариантная оценка $\theta$ имеет вид

Теорема 1.10 утверждает: пусть $X=(X_{1}, \ldots , X_{n})$ имеет распределение согласно (1.9), пусть $Y_{i}=X_{i}-X_{n}$ $(i=1, \ldots , n-1)$ и $Y=(Y_{1}, \ldots , Y_{n-1})$. Предположим, что функция потерь задаётся (1.15) и что существует эквивариантная оценка $\delta_{0}$ параметра $\xi$ с конечным риском. Предположим, что для каждого $y$ существует число $v(y)=v^{*}(y)$, минимизирующее $E_{0}\left\{ \rho [\delta_{0}(X)-v(y)] \mid y\right\}$. Тогда существует эквивариантная относительно сдвига оценка $\delta$ параметра $\xi$ с минимальным риском, задаваемая формулой $\delta^{*}(X)=\delta_{0}(X)-v^{*}(Y)$.

Следствие 1.12 утверждает: в условиях Теоремы 1.10: (i) если $\rho (d-\xi )=(d-\xi )^{2}$, то $v^{*}(y)=E_{0}[\delta_{0}(X) \mid y]$; (ii) если $\rho (d-\xi )=\left|d-\xi \right|$, то $v^{*}(y)$ — произвольная медиана $\delta_{0}(X)$ относительно условного распределения $X$ при заданном $y$.

Предположим, что переменные $X_{i j}$ в Задаче 2.23 независимо распределены как $N\left(\xi_{i}, \sigma^{2}\right)$, $\sigma$ известно. Покажите, что:

Покажите, что преобразование из Примера 2.11 и тождественное преобразование являются единственными преобразованиями, оставляющими семейство биномиальных распределений инвариантным.

Покажите, что если $\delta (\mathbf{X})$ масштабно-инвариантна, то и $\delta^{*}(\mathbf{X})$, определённая как $\delta (\mathbf{X})$, если $\delta (\mathbf{X}) \geq 0$, и $=0$ в противном случае, также масштабно-инвариантна, и что риск $\delta^{*}$ не превосходит риска $\delta$ для любой функции потерь (3.5), для которой $\gamma (v)$ является невозрастающей при $v \leq 0$.

Покажите, что смещение любой эквивариантной оценки $\tau^{r}$ в (3.1) пропорционально $\tau^{r}$.

Необходимым и достаточным условием того, что $\delta$ удовлетворяет (3.7), является то, что она имеет вид $\delta =\delta_{0} / u$, где $\delta_{0}$ и $u$ удовлетворяют (3.7) и (3.9) соответственно.

Функция $\rho$ из Следствия 3.4 с $\gamma$, определённой в Примере 3.5, строго выпукла при $p \geq 1$.

Пусть $X$ — положительная случайная величина. Покажите, что:

Пусть $X$ — положительная случайная величина.

В условиях Задачи 3.7(a) множество масштабных медиан $X$ является интервалом. Если $f(x)>0$ для всех $x>0$, то масштабная медиана $X$ единственна.

Определите масштабную медиану $X$, если распределение $X$ —

В условиях Теоремы 3.3:

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые согласно равномерному распределению $u(0, \theta )$.

Покажите, что MRE-оценки из Задачи 3.11, пункты (b) и (c), являются несмещёнными по риску, но не несмещёнными по среднему.

В Примере 3.7 найдите MRE-оценку $\operatorname {var}\left(X_{1}\right)$, если функция потерь

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые согласно показательному распределению $E(0, \tau )$. Определите MRE-оценку $\tau$ для функций потерь

В предыдущей задаче найдите MRE-оценку $\operatorname {var}\left(X_{1}\right)$, если функция потерь — (3.13) при $r=2$.

Докажите формулу (3.19).

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые, каждая с плотностью $(2 / \tau )[1-(x / \tau )], 0<x<\tau$. Определите MRE-оценку (3.19) параметра $\tau^{r}$, если

В предыдущей задаче найдите $\operatorname {var}\left(X_{1}\right)$ и её MRE-оценку для $n=2,3,4$, если функция потерь — (3.13) при $r=2$.

Следствие 3.8 утверждает: в условиях Теоремы 3.3, если функция потерь задаётся $L_s$ из (3.20), то MRE-оценка $\delta^{*}$ параметра $\tau^{r}$ однозначно определяется формулой $\delta_{s}^{*}=\delta_{0}(X)/E_{1}(\delta_{0}(X) \mid Z)$.

Пусть $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые с распределением $N\left(\theta , \theta^{2}\right)$.

Проверьте оценку $\delta^{*}$ из Примера 3.12.

Если $G$ — группа, то подмножество $G_{0}$ группы $G$ является подгруппой $G$, если $G_{0}$ является группой относительно групповой операции $G$.

Для ситуации Примера 3.13:

Если $X_{1}, \ldots , X_{n}$ — независимые одинаково распределённые согласно $E(\xi , \tau )$, определите MRE-оценку $\tau$ для функций потерь

Покажите, что $\delta$ удовлетворяет (3.35) тогда и только тогда, когда она удовлетворяет (3.40) и (3.41).

Определите смещение оценки $\delta^{*}(\mathbf{X})$ из Примера 3.18.

Lele (1993) использует инвариантность при изучении морфометрии, количественного анализа биологических форм. При анализе биологического объекта измеряются данные X в $k$ определённых точках, называемых ориентирами, причём каждый ориентир обычно двух- или трёхмерен. Здесь мы будем предполагать, что ориентир двумерен (как на изображении), так что $\mathbf{X}$ — матрица размера $k \times 2$. Модель для X имеет вид

где $M_{k \times 2}$ — средняя форма объекта, $\mathbf{t}$ — фиксированный вектор сдвига, а $\Gamma$ — матрица $2 \times 2$, осуществляющая поворот вектора $\mathbf{X}$. Случайная величина $\mathbf{Y}_{k \times 2}$ является матричной нормальной случайной величиной, то есть каждый столбец $\mathbf{Y}$ распределён как $N\left(0, \Sigma_{k}\right)$ — $k$-мерная нормальная случайная величина, а каждая строка распределена как $N\left(0, \Sigma_{d}\right)$ — двумерная нормальная случайная величина.

В (9.1) покажите, что группа $\mathbf{X}^{\prime }=A \mathbf{X}+b$ индуцирует группу $\mu^{\prime }=A \mu +b, \Sigma^{\prime }=A \Sigma A^{\prime }$.

Для ситуации Замечания 9.3 рассмотрите эквивариантное оценивание $\mu$.

Для $\mathbf{X}_{1}, \ldots , \mathbf{X}_{n}$, независимых одинаково распределённых как $N_{p}(\mu , \Sigma )$, матрица перекрёстных произведений $S$ определяется как