Процессы Маркова

Покажите, что любая последовательность независимых случайных величин, принимающих значения в счётном множестве $S$, является марковской цепью. При каком условии эта цепь однородна?

Игральная кость подбрасывается многократно. Какие из следующих последовательностей являются марковскими цепями? Для тех, которые являются, укажите матрицу переходных вероятностей.

Пусть $\left\{ S_{n}: n \geq 0\right\}$ — простое случайное блуждание с $S_{0} = 0$; покажите, что $X_{n} = \left|S_{n}\right|$ определяет марковскую цепь, и найдите переходные вероятности этой цепи. Пусть $M_{n} = \max \left\{ S_{k}: 0 \leq k \leq n\right\}$; покажите, что $Y_{n} = M_{n}-S_{n}$ определяет марковскую цепь. Что произойдёт, если $S_{0} \neq 0$?

Пусть $X$ — марковская цепь, и пусть $\left\{ n_{r}: r \geq 0\right\}$ — неограниченная возрастающая последовательность натуральных чисел. Покажите, что $Y_{r} = X_{n_{r}}$ образует (возможно, неоднородную) марковскую цепь. Найдите матрицу переходных вероятностей $Y$, когда $n_{r} = 2 r$, а $X$ является:

Пусть $X$ — марковская цепь на $S$, и пусть $I: S^{n} \rightarrow \left\{ 0,1\right\}$. Покажите, что распределение $X_{n}, X_{n+1}, \ldots$ при условии $\left\{ I\left(X_{1}, \ldots , X_{n}\right) = 1\right\} \cap \left\{ X_{n} = i\right\}$ совпадает с распределением $X_{n}, X_{n+1}, \ldots$ при условии $\left\{ X_{n} = i\right\}$.

Пусть $X$ — марковская цепь на $S$, и пусть $T$ — случайная величина, принимающая значения в $\left\{ 0,1,2, \ldots \right\}$, обладающая тем свойством, что индикаторная функция $I_{\left\{ T = n\right\} }$ события $T = n$ является функцией величин $X_{1}, X_{2}, \ldots , X_{n}$. Такая случайная величина $T$ называется моментом остановки, и приведённое выше определение требует, чтобы вопрос о том, выполняется ли $T = n$, был разрешим при знании лишь прошлого и настоящего, $X_{0}, X_{1}, \ldots , X_{n}$, без какой-либо дополнительной информации о будущем.

Покажите, что

при $m \geq 0, i, j \in S$ и любых последовательностях состояний $\left(x_{k}\right)$.

Пусть $X$ — марковская цепь с пространством состояний $S$, и предположим, что $h: S \rightarrow T$ — взаимно однозначное отображение. Покажите, что $Y_{n} = h\left(X_{n}\right)$ определяет марковскую цепь на $T$. Обязано ли это быть так, если $h$ не является взаимно однозначным?

Пусть $X$ и $Y$ — марковские цепи на множестве $\mathbb {Z}$ целых чисел.

Пусть $X$ — марковская цепь. Какие из следующих последовательностей являются марковскими цепями?

Пусть $X$ — марковская цепь. Покажите, что при $1 < r < n$

Пусть $\left\{ X_{n}: n \geq 1\right\}$ — независимые одинаково распределённые целочисленные случайные величины. Пусть $S_{n} = \sum_{r = 1}^{n} X_{r}$, причём $S_{0} = 0$, $Y_{n} = X_{n}+X_{n-1}$ с $X_{0} = 0$, и $Z_{n} = \sum_{r = 0}^{n} S_{r}$. Какие из следующих последовательностей образуют марковские цепи:

Стохастическая матрица $\mathbf{P}$ называется дважды стохастической, если $\sum_{i} p_{i j} = 1$ для всех $j$. Она называется субстохастической, если $\sum_{i} p_{i j} \leq 1$ для всех $j$. Покажите, что если $\mathbf{P}$ стохастична (соответственно, дважды стохастична, субстохастична), то $\mathbf{P}^{n}$ стохастична (соответственно, дважды стохастична, субстохастична) при всех $n$.

Пусть $X$ — марковская цепь на конечном пространстве состояний $S$ с матрицей переходных вероятностей $\mathbf{P}$, и пусть $\mathcal{C} = \left\{ C_{j}: j \in J\right\}$ — разбиение $S$. Положим $Y_{n} = j$, если $X_{n} \in C_{j}$. Цепь $X$ называется $\mathcal{C}$-укрупняемой, если $Y$ является марковской цепью.

Покажите, что $X$ является $\mathcal{C}$-укрупняемой тогда и только тогда, когда при $a, b \in J$ величина $\mathbb {P}\left(X_{n+1} \in C_{b} \mid X_{n} = i\right)$ постоянна для $i \in C_{a}$.