Обратимость

Случайное блуждание на множестве $\left\{ 0,1,2, \ldots , b\right\}$ имеет матрицу переходных вероятностей, заданную как $p_{00} = 1-\lambda_{0}, p_{b b} = 1-\mu_{b}, p_{i, i+1} = \lambda_{i}$ и $p_{i+1, i} = \mu_{i+1}$ для $0 \leq i < b$, где $0 < \lambda_{i}, \mu_{i} < 1$ для всех $i$, и $\lambda_{i}+\mu_{i} = 1$ для $1 \leq i < b$. Покажите, что этот процесс обратим в равновесии.

Пусть $X$ — неприводимая, положительно возвратная, апериодическая марковская цепь на пространстве состояний $S$.

Пусть $X$ — обратимая марковская цепь, и пусть $C$ — непустое подмножество пространства состояний $S$. Определим марковскую цепь $Y$ на $S$ матрицей переходных вероятностей $\mathbf{Q} = \left(q_{i j}\right)$, где

для $i \neq j$, и где $\beta$ — постоянная, удовлетворяющая $0 < \beta < 1$. Диагональные элементы $q_{i i}$ подобраны так, что $\mathbf{Q}$ является стохастической матрицей. Покажите, что $Y$ обратима в равновесии, и найдите её стационарное распределение. Опишите ситуацию в пределе при $\beta \downarrow 0$.

Может ли обратимая цепь быть периодической?

Модель «собака и блохи» из примера (6.5.5) — это марковская цепь $X$ на пространстве состояний $\left\{ 0,1, \ldots , m\right\}$ с переходными вероятностями

Покажите, что если $X_{0} = i$, то

Какие из следующих (стационарных) цепей являются обратимыми марковскими цепями?

Пусть $X_{n}, Y_{n}$ — независимые простые случайные блуждания. Пусть $Z_{n}$ — пара $(X_{n}, Y_{n})$, урезанная так, чтобы лежать в области $X_{n} \geq 0, Y_{n} \geq 0, X_{n}+Y_{n} \leq a$, где $a$ — целое число. Найдите стационарное распределение $Z_{n}$.

Покажите, что неприводимая марковская цепь с конечным пространством состояний и матрицей переходных вероятностей $\mathbf{P}$ обратима в равновесии тогда и только тогда, когда $\mathbf{P} = \mathbf{D S}$ для некоторой симметричной матрицы $\mathbf{S}$ и диагональной матрицы $\mathbf{D}$ со строго положительными диагональными элементами. Покажите далее, что для обратимости в равновесии необходимо, но не достаточно, чтобы $\mathbf{P}$ имела вещественные собственные значения.

Случайное блуждание на графе. Пусть $G$ — конечный связный граф без петель и кратных рёбер, и пусть $X$ — случайное блуждание на $G$, как в упражнении (6.4.6). Покажите, что $X$ обратимо в равновесии.

Рассмотрим случайное блуждание по строго положительным целым числам с переходными вероятностями

и $p_{11} = \frac{3}{4}, p_{12} = \frac{1}{4}$. Покажите, что это блуждание положительно возвратно, и найдите среднее время возврата состояния $i$.

Случайный жук совершает случайное блуждание по пяти вершинам, состоящим из главных точек компаса (обозначенных $n, e, s, w$) и центра (обозначенного $c$), с переходными вероятностями

Прочие переходы имеют вероятность 0. Покажите, что среднее время возврата центра равно $\mu_{c} = \frac{11}{2}$.

Пусть $X$ — неприводимая (но не обязательно апериодическая) марковская цепь на счётном пространстве состояний $S$ с матрицей переходных вероятностей $\mathbf{P}$ и инвариантным распределением $\pi$. Пусть $a \in (0,1)$, и пусть $\mathbf{L} = a \mathbf{P}+(1-a) \mathbf{I}$, где $\mathbf{I}$ — единичная матрица.