Марковские цепи и MCMC

Покажите, используя определение 14.1.1, что когда пространство состояний $\mathbb {S}$ счётно, для любого $n$, при условии $\left\{ X_{n} = a_{n}\right\}$, события $\left\{ X_{n+j} = a_{n+j}, 1 \leq j \leq k\right\}$ и $\left\{ X_{j} = a_{j}: 0 \leq j \leq n-1\right\}$ независимы для всех выборов $k$ и $\left\{ a_{j}\right\}_{j = 0}^{n+k}$. Таким образом, при условии "настоящего" $\left\{ X_{n} = a_{n}\right\}$, "прошлое" $\left\{ X_{j}: j \leq n-1\right\}$ и "будущее" $\left\{ X_{j}: j \geq n+1\right\}$ являются двумя семействами независимых случайных величин относительно условной вероятностной меры $P\left(\cdot \mid X_{n} = a_{n}\right)$, при условии $P\left(X_{n} = a_{n}\right) > 0$.

Докажите предложение 14.2.2, используя индукцию по $n$ (ср. главу 6).

если $\alpha_{i} \equiv 1-\frac{1}{c i}, c > 1, i \geq 1$, то состояние 1 нуль-возвратно,

если $\alpha_{i} \equiv \alpha , 0 < \alpha < 1$, то состояние 1 положительно возвратно, и

если $\alpha_{i} \equiv 1-\frac{1}{2 i^{2}}$, то состояние 1 невозвратно.

Пусть $i$ возвратно и $i \rightarrow j$. Покажите, что $j$ возвратно, используя следствие 14.1.5. (Указание: покажите, что существуют $n_{0}$ и $m_{0}$ такие, что для всех $n$, $p_{j j}^{\left(n_{0}+n+m_{0}\right)} \geq p_{j i}^{\left(n_{0}\right)} p_{i i}^{(n)}, p_{i j}^{\left(m_{0}\right)}$ с $p_{j i}^{\left(n_{0}\right)} > 0$ и $p_{i j}^{\left(m_{0}\right)} > 0$.)

Пусть $i$ и $j$ сообщаются. Покажите, что $d_{i} = d_{j}$.

что для любых $i, j$ в $\mathbb {S}$ существует $r, r \leq K$, такое, что $p_{i j}^{(r)} > 0$, где $K$ — число состояний в $\mathbb {S}$,

для любого $i$ в $\mathbb {S}$ существует $0 < \alpha < 1$ и $c < \infty$ такие, что $P_{i}\left(T_{i} > n\right) \leq c \alpha^{n}$.

Дайте альтернативное доказательство, показав, что если $\mathbb {S}$ конечно, то для любого начального распределения $\mu$ меры пребывания

имеют подпоследовательность, сходящуюся к вероятностному распределению $\pi$, стационарному для $(\mathbb {S}, \vect {P})$.

Пусть $h: \mathbb {S} \rightarrow \mathbb {R}$ такова, что $\sum_{j \in \mathbb {S}}\left|h(j)\right| \pi_{j} < \infty$. Тогда для любого начального распределения $\mu$,

сначала проверив, что

Пусть $g: \mathbb {S} \times \mathbb {S} \rightarrow R$ такова, что $\sum_{i, j \in \mathbb {S}}\left|g(i, j)\right| \pi_{i} p_{i j} < \infty$. Тогда для любого начального распределения $\mu$,

Зафиксируйте два непересекающихся подмножества $A$ и $B$ в $\mathbb {S}$. Вычислите долгосрочную долю переходов из $A$ в $B$.

Распространите (b), чтобы заключить, что хвостовая последовательность $Z_{n} \equiv \left\{ X_{n+j} : j \geq 0\right\}$ цепи Маркова $\left\{ X_{n}\right\}_{n \geq 0}$ сходится при $n \rightarrow \infty$ в смысле конечномерных распределений к строго стационарной последовательности $\left\{ X_{n}\right\}_{n \geq 0}$, являющейся цепью Маркова $(\mathbb {S}, \vect {P})$ с начальным распределением $\pi$.

Покажите, что такая $\pi$ обязательно является стационарным распределением.

Для цепи рождения и гибели (пример 14.1.4) найдите условие в терминах интенсивностей рождения и гибели $\left\{ \alpha_{i}, \beta_{i}\right\}_{i \geq 0}$ для существования вероятностного распределения $\pi$, удовлетворяющего условию детального баланса.

Покажите, что $\left\{ A_{n}\right\}_{n \geq 0}$ является цепью Маркова, и найдите её пространство состояний $\mathbb {S}$ и переходные вероятности.

Предполагая, что $\mathbb {E}\left[X_{1} \right] < \infty$, проверьте, что

является единственным стационарным распределением.

Предполагая, что $X_{1}$ имеет апериодическое распределение и что выполняется теорема 14.1.18, покажите, что справедлива дискретная теорема восстановления.

Пусть $\left\{ X_{n}\right\}_{n \geq 0}$ — случайное блуждание, определённое схемой итерации $X_{n+1} = X_{n}^{-}+\eta_{n+1}$, где $\left\{ \eta_{n}\right\}_{n \geq 1}$ н.о.р. случайные величины, независимые от $X_{0}$. Предположим, что $\nu (\cdot ) = P\left(\eta_{1} \in \cdot \right)$ имеет абсолютно непрерывную компоненту с плотностью, строго положительной п.в. на открытом интервале вокруг 0. Покажите, что $\left\{ X_{n}\right\}_{n \geq 0}$ неприводима по Харрису относительно меры Лебега на $\mathbb {R}$. Покажите, что если, кроме того, $\mathbb {E}\left[\eta_{1}\right] = 0$, то $\left\{ X_{n}\right\}$ также возвратна по Харрису.

Используйте теорему 14.2.11, чтобы установить второе утверждение в примере 14.2.10.

Пусть $\left\{ X_{n}\right\}_{n \geq 0}$ — неприводимая цепь Маркова с пространством состояний $\mathbb {S} \equiv \left\{ 0,1,2, \ldots \right\}$. Предположим, что $V: \mathbb {S} \rightarrow [0, \infty )$ такова, что для некоторого $K < \infty , E_{x} V\left(X_{1}\right) \leq V(x)$ для всех $x > K$ и что $\lim_{x \rightarrow \infty } V(x) = \infty$. Покажите, что $\left\{ X_{n}\right\}_{n \geq 0}$ возвратна. (Указание: пусть $\left\{ \tilde{X}_{n}\right\}_{n \geq 0}$ — цепь Маркова с пространством состояний $\mathbb {S} \equiv \left\{ 0,1,2, \ldots \right\}$ и переходными вероятностями, такими же, как у $\left\{ X_{n}\right\}_{n \geq 0}$, за исключением того, что состояния $\left\{ 0,1,2, \ldots , K\right\}$ являются поглощающими. Проверьте, что $\left\{ V\left(\tilde{X}_{n}\right)\right\}_{n \geq 0}$ — неотрицательный супермартингал, и, следовательно, что $\left\{ \tilde{X}_{n}\right\}_{n \geq 0}$ ограничена п.н. Теперь заключите, что должно существовать состояние $x$, посещаемое бесконечно часто $\left\{ X_{n}\right\}_{n \geq 0}$.)

Рассмотрим отражающееся неоднородное случайное блуждание на $\mathbb {S} \equiv \left\{ 0,1,2, \ldots \right\}$ такое, что

с $p_{0} = 1,0 < p_{i} \leq q_{i}$ для всех $i \geq k_{0}$ и некоторого $1 \leq k_{0} < \infty$ и $0 < p_{i} < 1$ для всех $i \geq 1$. Покажите, что $\left\{ X_{n}\right\}_{n \geq 0}$ неприводима и возвратна.

Покажите, что если $E \log C_{1} < 0$, то $X_{n} = O\left(\lambda^{n}\right)$ п.н. для некоторого $0 < \lambda < 1$.

Покажите также, что если $E \log C_{1} < 0$ и $0 < V\left(\log C_{1}\right) < \infty$, то существуют последовательности $\left\{ a_{n}\right\}_{n \geq 1}$ и $\left\{ b_{n}\right\}_{n \geq 1}$ такие, что