3.4

Нормальные линейные модели

[21/0%]
Показать
LaTeX
Задача 3.4.1
?
(a)

Предположим, что Xi:N(ξi,σ2)X_{i}: N\left(\xi_{i}, \sigma^{2}\right) с ξi=α+βti\xi_{i}=\alpha +\beta t_{i}. Если первый столбец матрицы CC, приводящей к каноническому виду (4.7), равен (1/n,…,1/n)′(1 / \sqrt{n}, \ldots , 1 / \sqrt{n})^{\prime }, найдите второй столбец CC.

(b)

Если Xi:N(ξi,σ2)X_{i}: N\left(\xi_{i}, \sigma^{2}\right) с ξi,=α+βti+γti2\xi_{i},=\alpha +\beta t_{i}+\gamma t_{i}^{2}, а первые два столбца CC те же, что и в (a), найдите третий столбец при упрощающих предположениях Σti=0,Σti2=1\Sigma t_{i}=0, \Sigma t_{i}^{2}=1. [Замечание: Ортогональные многочлены, последовательно строящиеся таким образом, часто используются для упрощения регрессионного анализа.]

Задача 3.4.2

Выпишите явные выражения для преобразований (4.10), когда ΠΩ\Pi_{\Omega } задаётся

(a) ξi=α+βti\xi_{i}=\alpha +\beta t_{i}, и (b) ξi=α+βti+γti2\xi_{i}=\alpha +\beta t_{i}+\gamma t_{i}^{2}.

?
Задача 3.4.3

Используя Задачу 3.10, докажите пункт (iii) Теоремы 4.3.

?
Задача 3.4.4
?
(a)

В Примере 4.7 определите α^,β^\hat{\alpha }, \hat{\beta }, а следовательно, и ξ^i\hat{\xi }_{i}, минимизируя Σ(Xi−α−βti)2\Sigma \left(X_{i}-\alpha -\beta t_{i}\right)^{2}.

(b)

Проверьте выражения (4.12) для α\alpha и β\beta, а также соответствующие выражения для α^\hat{\alpha } и β^\hat{\beta }.

Задача 3.4.5

В Примере 4.2 найдите UMVU-оценки α,β,γ\alpha , \beta , \gamma и σ2\sigma^{2}, когда Σti=0\Sigma t_{i}=0 и Σti2=1\Sigma t_{i}^{2}=1.

?
Задача 3.4.6

Пусть XijX_{i j} независимы и распределены как N(ξij,σ2)N\left(\xi_{i j}, \sigma^{2}\right) с ξij=αi+βtij\xi_{i j}=\alpha_{i}+\beta t_{i j}. Найдите UMVU-оценки αi\alpha_{i} и β\beta.

?
Задача 3.4.7
?
(a)

В Примере 4.9 покажите, что векторы коэффициентов в α^i\hat{\alpha }_{i} не ортогональны вектору коэффициентов μ^\hat{\mu }.

(b)

Покажите, что вывод пункта (a) меняется на противоположный, если α^i\hat{\alpha }_{i} и μ^\hat{\mu } заменить на α^^i\hat{\hat{\alpha }}_{i} и μ^^\hat{\hat{\mu }}.

Задача 3.4.8

В Примере 4.9 найдите UMVU-оценку μ\mu, когда известно, что αi\alpha_{i} равны нулю, и сравните её с μ^\hat{\mu }.

?
Задача 3.4.9

Векторы коэффициентов при XijkX_{i j k}, задаваемые (4.32) для μ^,α^i\hat{\mu }, \hat{\alpha }_{i} и β^j\hat{\beta }_{j}, ортогональны векторам коэффициентов для γ^ij\hat{\gamma }_{i j}, задаваемым (4.33).

?
Задача 3.4.10

В модели, определяемой (4.26) и (4.27), определите UMVU-оценки αi\alpha_{i}, βj\beta_{j} и σ2\sigma^{2} в предположении, что γij\gamma_{i j} известны и равны нулю.

?
Задача 3.4.11
?
(a)

В Примере 4.11 покажите, что

ΣΣΣ(Xijk−μ−αi−βj−γij)2=S2+Sμ2+Sα2+Sβ2+Sγ2 \Sigma \Sigma \Sigma \left(X_{i j k}-\mu -\alpha _{i}-\beta _{j}-\gamma _{i j}\right)^{2}=S^{2}+S_{\mu }^{2}+S_{\alpha }^{2}+S_{\beta }^{2}+S_{\gamma }^{2}

где S2=ΣΣΣ(Xijk−Xij.)2,Sμ2=IJm⁡(X…−μ)2,Sα2=Jm⁡Σ(X1..−X…−αi)2S^{2}=\Sigma \Sigma \Sigma \left(X_{i j k}-X_{i j.}\right)^{2}, S_{\mu }^{2}=\operatorname {IJm}\left(X_{\ldots }-\mu \right)^{2}, S_{\alpha }^{2}=\operatorname {Jm} \Sigma \left(X_{1. .}-X_{\ldots }-\alpha_{i}\right)^{2}, а Sβ2,S2γS_{\beta }^{2}, S^{2} \gamma определяются аналогично.

(b)

Используя разложение из (a), покажите, что оценки наименьших квадратов μ,αi,…\mu , \alpha_{i}, \ldots задаются (4.32) и (4.33).

(c)

Покажите, что сумма квадратов ошибок S2S^{2} равна ΣΣΣ(Xijk−ξ^ij)2\Sigma \Sigma \Sigma \left(X_{i j k}-\hat{\xi }_{i j}\right)^{2} и, следовательно, в каноническом виде равна Σj=s+1nYj2\Sigma_{j=s+1}^{n} Y_{j}^{2}.

Задача 3.4.12
?
(a)

Покажите, как должно быть изменено разложение из Задачи 4.11(a), когда известно, что γij\gamma_{i j} равны нулю.

(b)

Используя разложение из (a), решите Задачу 4.10.

Задача 3.4.13

Пусть Xijk(i=1,…,I,j=1,…,J,k=1,…,K)X_{i j k}(i=1, \ldots , I, j=1, \ldots , J, k=1, \ldots , K) распределены как N(ξijk,σ2)N\left(\xi_{i j k}, \sigma^{2}\right) с

ξijk=μ+αi+βj+γk \xi _{i j k}=\mu +\alpha _{i}+\beta _{j}+\gamma _{k}

где Σαi=Σβj=Σγk=0\Sigma \alpha_{i}=\Sigma \beta_{j}=\Sigma \gamma_{k}=0. Выразите μ,αi,βj\mu , \alpha_{i}, \beta_{j} и γk\gamma_{k} через ξ\xi и найдите их UMVU-оценки. Рассматривая это как частный случай (4.4), чему равно ss?

?
Задача 3.4.14

Распространите результаты предыдущей задачи на модель

ξijk=μ+αi+βj+γk+δij+εik+λjk \xi _{i j k}=\mu +\alpha _{i}+\beta _{j}+\gamma _{k}+\delta _{i j}+\varepsilon _{i k}+\lambda _{j k}

где

∑iδij=∑jδij=∑iεik=∑kεik=∑jλjk=∑kλjk=0. \sum _{i} \delta _{i j}=\sum _{j} \delta _{i j}=\sum _{i} \varepsilon _{i k}=\sum _{k} \varepsilon _{i k}=\sum _{j} \lambda _{j k}=\sum _{k} \lambda _{j k}=0.
?
Задача 3.4.15

В предыдущей задаче, если известно, что λ\lambda равны нулю, определите, остаются ли UMVU-оценки оставшихся параметров неизменными.

?
Задача 3.4.16
?
(a)

Покажите, что при предположениях (4.35), если ξ=θA\xi =\theta A, то оценка наименьших квадратов θ\theta равна xA(AA′)−1\mathbf{x} A\left(A A^{\prime }\right)^{-1}.

(b)

Если (X,A)(X, A) имеет многомерное нормальное распределение со всеми неизвестными параметрами, покажите, что оценка наименьших квадратов из пункта (a) является функцией полной достаточной статистики, и, следовательно, докажите пункт (a) Теоремы 4.14.

Задача 3.4.17

Обобщение порядковых статистик на случай векторов даётся следующим определением.

Определение 8.1 cjc_{j}-порядковые статистики выборки векторов — это векторы, упорядоченные по возрастанию их jj-х компонент.

Пусть Xi,i=1,…,n\mathbf{X}_{i}, i=1, \ldots , n, — независимая одинаково распределённая выборка векторов размера p×1p \times 1, и пусть X=(X1,…,Xn)X=\left(X_{1}, \ldots , X_{n}\right) — матрица размера p×np \times n.

Теорема 4.14 утверждает: при предположениях (4.35), с ξ=θA\xi =\theta A, справедливо следующее.

?
(a)

Если (X,A)(X, A) совместно имеют многомерное нормальное распределение со всеми неизвестными параметрами, то оценка наименьших квадратов γiξ^i\gamma_{i}\hat{\xi }_{i} является UMVU-оценкой γiξi\gamma_{i}\xi_{i}.

(b)

Если распределение AA неизвестно, то оценка наименьших квадратов γiξ^i\gamma_{i}\hat{\xi }_{i} является UMVU среди всех линейных оценок γiξi\gamma_{i}\xi_{i}.

(c)

Если E(AA′)E(AA') известно, то не существует наилучшей линейной несмещённой оценки γiξi\gamma_{i}\xi_{i}.

  1. Если распределение Xi\mathbf{X}_{i} полностью неизвестно, покажите, что для любого j,j=1,…,pj, j=1, \ldots , p, cjc_{j}-порядковые статистики (X1,…,Xn)(X_{1}, \ldots , X_{n}) являются полными достаточными. (То есть векторы X1,…,XnX_{1}, \ldots , X_{n} упорядочены по их jj-й координате.)

  2. Пусть Y1×nY_{1 \times n} — случайная величина с неизвестным распределением (возможно, отличным от Xi\mathbf{X}_{i}). Образуем матрицу (p−1)×n(xy)(p-1) \times n \binom {\mathbf{x}}{\mathbf{y}}, и для любого j=1,…,pj=1, \ldots , p вычислим cjc_{j}-порядковые статистики, основанные на столбцах (xy)\binom {\mathbf{x}}{\mathbf{y}}. Покажите, что эти cjc_{j}-порядковые статистики являются достаточными. [Указание: См. Задачу 1.6.33, а также TSH2, Глава 4, Задача 12.]

  3. Используя пункты (a) и (b), докажите Теорему 4.14(b).

Задача 3.4.18

Доказательство Теоремы 4.14(c) основано на двух результатах. Установите, что:

?
(a)

Для больших значений θ\theta безусловная дисперсия линейной несмещённой оценки будет больше, чем дисперсия оценки наименьших квадратов.

(b)

Для θ=0\theta =0 дисперсия XA(AA′)−1X A\left(A A^{\prime }\right)^{-1} больше, чем дисперсия XA[E(AA′)]−1X A\left[E\left(A A^{\prime }\right)\right]^{-1}. [Вы можете воспользоваться тем фактом, что E(AA′)−1−[E(AA′)]−1E\left(A A^{\prime }\right)^{-1}-\left[E\left(A A^{\prime }\right)\right]^{-1} является положительно определённой матрицей (Marshall и Olkin 1979; Shaffer 1991). Это многомерное обобщение неравенства Йенсена.]

(c)

Пункты (a) и (b) означают, что не существует наилучшей линейной несмещённой оценки Σγiξi\Sigma \gamma_{i} \xi_{i}, если EAA′E A A^{\prime } известно.

Задача 3.4.19
?
(a)

В условиях Примера 4.15 найдите дисперсию ΣλiSi2\Sigma \lambda_{i} S_{i}^{2}.

(b)

Покажите, что дисперсия из пункта (a) минимизируется значениями, указанными в примере.

Задача 3.4.20

В линейной модели (4.4) функция Σciξi\Sigma c_{i} \xi_{i} с Σci=0\Sigma c_{i}=0 называется контрастом. Покажите, что линейная функция Σdiξi\Sigma d_{i} \xi_{i} является контрастом тогда и только тогда, когда она инвариантна относительно сдвига, то есть удовлетворяет Σdi(ξi+a)=Σdiξi\Sigma d_{i}\left(\xi_{i}+a\right)=\Sigma d_{i} \xi_{i} для всех aa, и, следовательно, тогда и только тогда, когда она является функцией разностей ξi−ξj\xi_{i}-\xi_{j}.

?
Задача 3.4.21

Определите, какие из следующих являются контрастами:

?
(a)

Регрессионные коэффициенты α,β\alpha , \beta или γ\gamma из (4.2).

(b)

Параметры μ,αi,βj\mu , \alpha_{i}, \beta_{j} или γij\gamma_{i j} из (4.27).

(c)

Параметры μ\mu или αi\alpha_{i} из (4.23) и (4.24).