Função de transição - Cadeia de Markov §
A função de transição de uma cadeia de Markov determina as probabilidades de transitar de um estado para outro ao longo do tempo. Calcular essas probabilidades é essencial para entender o comportamento do sistema e suas previsões a longo prazo.
Introdução §
Quando lidamos com cadeias de Markov , uma das principais ferramentas para entender o comportamento do sistema ao longo do tempo são os cálculos com a função de transição .
Essa função, que pode ser representada por uma matriz de transição , descreve as probabilidades de transição entre os diferentes estados do sistema. Com ela, podemos determinar como o sistema evolui ao longo de várias etapas e calcular a distribuição de probabilidades em momentos futuros.
Neste contexto, o objetivo é calcular as probabilidades de estar em determinado estado após múltiplas transições, o que nos permite entender o comportamento da cadeia em prazos mais longos.
Definição §
A função de transição de uma cadeia de Markov é descrita pela matriz de probabilidades de transição .
Suponhamos que uma cadeia de Markov tenha
Cada entrada
Misplaced & P_{11} & P_{12} & \cdots & P_{1n} \\ P_{21} & P_{22} & \cdots & P_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ P_{n1} & P_{n2} & \cdots & P_{nn} \end{bmatrix} $$ A matriz $P$ é **estocástica**, ou seja, cada linha soma 1, ou seja: $$ \sum_{j=1}^{n} P_{ij} = 1 \quad \text{para todo } i $$ A função de transição descreve como o sistema se comporta após uma única iteração (um único passo de tempo). ### Propriedades #### 1. Potência da Matriz de Transição Quando queremos calcular as probabilidades de transição após $k$ passos (onde $k \geq 1$), podemos usar as **potências** da matriz de transição. A matriz $P^k$ representa a probabilidade de transitar do estado $s_i$ para o estado $s_j$ em $k$ passos, ou seja: $$ P^k_{ij} = P(X_{n+k} = s_j | X_n = s_i) $$ Isso significa que, para calcular a probabilidade de transição entre os estados após várias iterações, basta elevar a matriz de transição $P$ à potência $k$. O valor $P^k_{ij}$ nos dá a probabilidade de, partindo do estado $s_i$ no passo $n$, chegar ao estado $s_j$ no passo $n+k$. #### 2. Distribuição Estacionária Se $k \to \infty$, o sistema pode atingir um estado de equilíbrio, chamado de **distribuição estacionária**. Este é o vetor de probabilidades que não muda após transições adicionais. A distribuição estacionária $\pi$ é um vetor tal que: $$ \pi P = \pi $$ Ou seja, a distribuição estacionária é o vetor que permanece inalterado ao ser multiplicado pela matriz de transição. Para calcular a distribuição estacionária, é necessário resolver o sistema de equações lineares: $$ \pi_j = \sum_{i=1}^{n} \pi_i P_{ij} \quad \text{para todo } j $$ Além disso, a soma das probabilidades deve ser igual a 1: $$ \sum_{i=1}^{n} \pi_i = 1 $$ ### Exemplo #### Exemplo 1: Cálculos com a função de transição Suponha que temos um sistema com dois estados $S = \{s_1, s_2\}$ e a seguinte matriz de transição: $$ P = \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix} $$ Queremos calcular a probabilidade de estar no estado $s_2$ após 3 passos, começando no estado $s_1$. Para isso, devemos calcular $P^3$ e verificar a probabilidade de transitar para $s_2$ a partir de $s_1$. Primeiro, calculamos as potências da matriz $P$. - **Matriz $P^2$:** $$ P^2 = P \times P = \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix} \times \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.33 & 0.67 \\ 0.38 & 0.62 \end{bmatrix} $$ - **Matriz $P^3$:** $$ P^3 = P^2 \times P = \begin{bmatrix} 0.33 & 0.67 \\ 0.38 & 0.62 \end{bmatrix} \times \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} 0.35 & 0.65 \\ 0.37 & 0.63 \end{bmatrix} $$ Agora, a probabilidade de, partindo do estado $s_1$, estar no estado $s_2$ após 3 passos é dada por $P^3_{12}$, que é igual a 0.65. Portanto, a probabilidade de transitar para $s_2$ após 3 passos, começando em $s_1$, é 65%. #### Exemplo 2: Distribuição Estacionária Agora, considere uma cadeia de Markov com a seguinte matriz de transição: $$ P = \begin{bmatrix} 0.6 & 0.4 \\ 0.2 & 0.8 \end{bmatrix} $$ Queremos encontrar a distribuição estacionária $\pi = [\pi_1, \pi_2]$. Para isso, resolvemos o sistema de equações: $$ \pi_1 = 0.6 \pi_1 + 0.2 \pi_2 $$ $$ \pi_2 = 0.4 \pi_1 + 0.8 \pi_2 $$ $$ \pi_1 + \pi_2 = 1 $$ Resolvendo, obtemos: $$ \pi_1 = 0.3333, \quad \pi_2 = 0.6667 $$ Assim, a distribuição estacionária é: $$ \pi = [0.3333, 0.6667] $$ Ou seja, a probabilidade de estar no estado $s_1$ a longo prazo é 33,33%, e a probabilidade de estar no estado $s_2$ é 66,67%. # Referências --- [[Aula 11 - Cadeia de Markov]]