Cadeia de Markov

---

Summary

Uma cadeia de Markov é um processo estocástico que modela sistemas que evoluem de um estado para outro, de maneira probabilística, dependendo apenas do estado atual e não do caminho percorrido até ele. Esse conceito tem várias aplicações em diversas áreas, como modelagem de sistemas dinâmicos, economia e teoria de filas.

Introdução

Uma cadeia de Markov é um modelo matemático utilizado para descrever sistemas que transitam entre estados de forma probabilística.

A principal característica das cadeias de Markov é que a transição de um estado para outro depende apenas do estado atual, e não dos estados anteriores. Isso significa que o futuro de um processo é independente do passado, dado o presente, o que é conhecido como a propriedade de Markov.

Esse tipo de processo é amplamente utilizado em áreas como economia, biologia, física e ciência da computação, especialmente em algoritmos de aprendizado de máquina.

Definição

Formalmente, uma cadeia de Markov é um processo estocástico que é descrito por um conjunto de estados e uma matriz de probabilidades de transição. Uma cadeia de Markov pode ser definida como:

1. Um conjunto de estados $S=\{s_1,s_2,...,s_n\}$, que representam as possíveis condições do sistema.
2. Uma probabilidade de transição $P$ entre os estados, que é dada por uma matriz de probabilidades, onde cada entrada $P_{ij}$ representa a probabilidade de transição do estado $s_i$ para o estado $s_j$.

A principal propriedade de uma cadeia de Markov é a propriedade de Markov, que pode ser expressa da seguinte forma:
$P(X_{n+1}=s_j|X_n=s_i,X_{n-1}=s_k,...,X_1=s_1)=P(X_{n+1}=s_j|X_n=s_i)$
Ou seja, a probabilidade de transitar para o estado $s_j$ no próximo passo depende apenas do estado atual $s_i$ e não de como o sistema chegou até esse estado.

Outra forma de representar a a propriedade da Cadeia de Markov é:

$$p_{x,y}(n,n+1)$$

O qual representar a probabilidade de transição do estado $x$ no tempo $n$ ao estado $y$ no tempo $n+1$.

Propriedades

1. Matriz de Transição

A matriz de transição é um componente fundamental da cadeia de Markov. Ela é uma matriz quadrada $P$ cujas entradas são as probabilidades de transição entre os estados. Cada elemento $P_{ij}$ representa a probabilidade de transição do estado $s_i$ para o estado $s_j$.

As probabilidades em cada linha da matriz somam 1:
${\sum }_{j=1}^n{P}_{ij}=1\text{para todo }i$
Isso garante que, a partir de qualquer estado, o sistema deve transitar para algum outro estado (ou o mesmo), com probabilidade total de 1.

2. Propriedade de Markov

A propriedade de Markov é a condição de memória curta do processo. Isto é, o futuro é independente do passado, dado o estado atual.

Isso é útil, pois simplifica o modelo, pois não é necessário levar em conta toda a história do processo, apenas o estado atual.

3. Estados Absorventes e Transientes

• Um estado absorvente é um estado que, uma vez alcançado, o sistema nunca deixa. Ou seja, a probabilidade de transitar para qualquer outro estado a partir de um estado absorvente é zero.
• Um estado transiente é um estado que o sistema pode deixar eventualmente.

Exemplo

Exemplo 1: Cadeia de Markov com 2 estados

Vamos considerar um sistema com dois estados, $S=\{s_1,s_2\}$, onde as transições entre os estados são governadas pela seguinte matriz de transição $P$:

undefined