Teorema de Bayes
# Teorema de Bayes

Em teoria das probabilidades e estatística, o teorema de Bayes (alternativamente, a lei de Bayes ou a regra de Bayes) descreve a probabilidade de um evento, baseado em um conhecimento a priori que pode estar relacionado ao evento. O teorema mostra como alterar as probabilidades a priori tendo em vista novas evidências para obter probabilidades a posteriori. Por exemplo, o teorema de Bayes pode ser aplicado ao jogo das três portas (também conhecido como problema de Monty Hall).
Uma das muitas aplicações do teorema de Bayes é a inferência bayesiana, uma abordagem particular da inferência estatística. Quando aplicado, as probabilidades envolvidas no teorema de Bayes podem ter diferentes interpretações de probabilidade. Com a interpretação bayesiana de probabilidade, o teorema expressa como a probabilidade de um evento (ou o grau de crença na ocorrência de um evento) deve ser alterada após considerar evidências sobre a ocorrência deste evento. A inferência bayesiana é fundamental para a estatística bayesiana.
O teorema de Bayes recebe este nome devido ao pastor e matemático inglês Thomas Bayes (1701 – 1761), que foi o primeiro a fornecer uma equação que permitiria que novas evidências atualizassem a probabilidade de um evento a partir do conhecimento a priori (ou a crença inicial na ocorrência de um evento). O teorema de Bayes foi mais tarde desenvolvido por Pierre-Simon Laplace, que foi o primeiro a publicar uma formulação moderna em 1812 em seu livro Teoria Analítica de Probabilidade, na tradução do francês. Harold Jeffreys colocou o algoritmo de Bayes e a formulação de Laplace em uma base axiomática. Jeffreys escreveu que "o teorema de Bayes é para a teoria da probabilidade o que o teorema de Pitágoras é para a geometria".

## História

O teorema de Bayes recebe este nome devido ao pastor e matemático inglês Thomas Bayes (1701 – 1761), que estudou como calcular a distribuição para o parâmetro de probabilidade de uma distribuição binomial (terminologia moderna). O manuscrito não publicado de Bayes foi editado significativamente por Richard Price antes de ser lido postumamente na Royal Society. Price editou o principal trabalho de Bayes An Essay towards Solving a Problem in the Doctrine of Chances (1763), que aparece em Philosophical Transactions e contém o teorema de Bayes. Price escreveu uma introdução para o artigo, que fornece algumas das bases filosóficas da estatística bayesiana. Em 1765, Price foi eleito membro da Royal Society em reconhecimento ao seu trabalho sobre o legado de Bayes.
O matemático francês Pierre-Simon Laplace reproduziu e estendeu os resultados de Bayes em 1774, aparentemente sem ter conhecimento do trabalho de Bayes. A interpretação bayesiana da probabilidade foi desenvolvida principalmente por Laplace. Stephen Stigler sugeriu em 1983 que o teorema de Bayes foi descoberto pelo matemático inglês cego Nicholas Saunderson pouco antes de Bayes. Entretanto, esta interpretação tem sido contestada. Martyn Hooper e Sharon McGrayne argumentaram que a contribuição de Richard Price foi substancial:

## Definição formal

O teorema de Bayes é um corolário da lei da probabilidade total, expresso matematicamente na forma da seguinte equação:
$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$,
em que $A$ e $B$ são eventos e $P(B)\neq 0$.
O teorema de Bayes também pode ser escrito da seguinte maneira:
$P(A\mid B)\,P(B)=P(A\cap B)=P(B\cap A)=P(B\mid A)\,P(A)=P(A\mid B)\,P(B)$
* $P(A)$ e $P(B)$ são as probabilidades a priori de $A$ e $B$;
* $P(A\mid B)$ é a probabilidade a posteriori (probabilidade condicionada) de $A$ condicional a $B$;
* $P(B\mid A)$ é a probabilidade a posteriori (probabilidade condicionada) de $B$ condicional a $A$.

## Exemplo
### Teste de drogas

Seja um teste de drogas 99% sensível e 99% específico. Isto é, o teste produzirá 99% de resultados verdadeiros positivos para usuários de drogas e 99% de resultados verdadeiros negativos para não-usuários de drogas. Suponha que 0,5% das pessoas são usuárias de drogas. Se um indivíduo selecionado aleatoriamente testar positivo, qual a probabilidade de ele ser usuário de drogas? Isto é, qual a probabilidade de não se cometer um falso positivo?
${\begin{aligned}P({\text{usuário}}\mid {\text{+}})&={\frac {P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})}{P(+)}}\\&={\frac {P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})}{P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})+P({\text{+}}\mid {\text{não usuário}})P({\text{não usuário}})}}\\[8pt]&={\frac {0,99\times 0,005}{0,99\times 0,005+0,01\times 0,995}}\\[8pt]&\approx 33,2\%\end{aligned}}$
Mesmo com a aparente precisão do teste, se um indivíduo testar positivo, é mais provável que ele não seja do que ele seja usuário de drogas. Isto porque o número de não-usuários é muito maior que o número de usuários de drogas. Então, o número de falsos positivos supera o número de positivos verdadeiros. Para usar números concretos, se 1000 indivíduos forem testados, espera–se que 995 não sejam usuários e 5 sejam usuários de drogas. Para os 995 não-usuários de drogas, são esperados $0,01\times 995\approx 10$ falsos positivos. Para os 5 usuários de drogas, são esperados $0,99\times 5\approx 5$ positivos verdadeiros. Isto é, dos 15 resultados positivos, apenas 5 (ou 33%) são genuínos. Isto ilustra a importância da probabilidade condicional e como políticas podem ser equivocadas se as probabilidades condicionais forem negligenciadas.
A importância da especificidade pode ser observada calculando–se que, mesmo se a sensibilidade for aumentada para 100% e a especificidade permanecer em 99%, a probabilidade do indivíduo ser um usuário de drogas subirá apenas de 33,2% para 33,4%. Entretanto, se a sensibilidade for mantida em 99% e a especificidade for aumentada para 99,5%, então a probabilidade do indivíduo ser um usuário de droga sobe para cerca de 49,9%.

## Interpretações

A interpretação do teorema de Bayes depende da interpretação da probabilidade atribuída aos termos. As duas interpretações principais são descritas abaixo.

### Interpretação bayesiana

Na interpretação bayesiana (ou epistemológica), a probabilidade mede o grau de crença. O teorema de Bayes liga o grau de crença em uma posição antes e depois de se considerar as evidências. Por exemplo, acredita–se com 50% de certeza que uma moeda tem o dobro de probabilidade de cair cara. Se a moeda for jogada várias vezes, o grau de crença pode aumentar, diminuir ou se manter igual dependendo dos resultados observados (ver inferência bayesiana).
Para proposição $A$ e evidência $B$:
* $P(A)$ (probabilidade a priori) é o grau de crença inicial em $A$;
* $P(A\mid B)$ (probabilidade a posteriori) é o grau de crença que representa $B$;
* O quociente ${\frac {P(B\mid A)}{P(B)}}$ é o suporte que $B$ fornece para $A$.

### Interpretação frequencista

Na interpretação frequencista, a probabilidade mede uma proporção de resultados. Por exemplo, suponha-se que uma experiência seja realizada muitas vezes. $P(A)$ é a proporção de resultados com propriedade $A$ e $P(B)$ é a proporção de resultados com propriedade $B$. $P(B\mid A)$ é a proporção de resultados com propriedade $B$, excluindo os resultados sem propriedade $A$, e $P(A\mid B)$ é a proporção de resultados com propriedade $A$, excluindo os resultados sem propriedade $B$.

## Probabilidades condicionais

O papel do teorema de Bayes é melhor visualizado com o diagrama de árvore. Os dois diagramas dividem os mesmos resultados em $A$ e em $B$ em ordens opostas, para obter as probabilidades inversas. O teorema de Bayes serve como ligação entre estas diferentes partições.
Por exemplo, um entomologista vê o que poderia ser uma rara subespécie de besouro devido a um padrão em suas costas. Nas subespécies raras, 98% dos indivíduos tem o padrão. Isto é, $P({\text{padrão}}\mid {\text{raro}})=98\%$. Nas subespécies comuns, 5% dos indivíduos tem o padrão. Estas subespécies raras correspondem a apenas 0,1% da população. Então, qual a probabilidade do besouro com padrão ser raro? Em outras palavras, qual o valor de $P({\text{raro}}\mid {\text{padrão}})$?
Da expressão estendida do teorema de Bayes (uma vez que qualquer besouro pode ser apenas raro ou comum), tem–se:
${\begin{aligned}P({\text{raro}}\mid {\text{padrão}})&={\frac {P({\text{padrão}}\mid {\text{raro}})P({\text{raro}})}{P({\text{padrão}}\mid {\text{raro}})P({\text{raro}})+P({\text{padrão}}\mid {\text{comum}})P({\text{comum}})}}\\[8pt]&={\frac {0,98\times 0,001}{0,98\times 0,001+0,05\times 0,999}}\\[8pt]&\approx 1,9\%\end{aligned}}$
Isto é, o besouro com um padrão nas costas encontrado pelo entomologista tem probabilidade de 1,9% de ser raro.

## Formas
### Eventos
#### Forma simples

Para eventos $A$ e $B$, dado $P(B)\neq 0$:
$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$.
Na inferência bayesiana, deseja-se saber o grau de crença em um evento (ou conjunto de eventos) $A$, condicionalmente à ocorrência de um evento (ou conjunto de eventos) $B$ fixado (quantidade que é conhecida como distribuição a posteriori). O teorema de Bayes mostra que a distribuição a posteriori é proporcional à probabilidade de $B$ dado $A$ (que corresponde à função de verossimilhança da amostra) vezes a probabilidade de A (chamada de probabilidade a priori ou grau de crença antes da coleta de evidências):
$P(A\mid B)\propto P(A)\times P(B\mid A)\$ (proporcionalmente sobre $A$ para dado $B$).

#### Forma alternativa

Outra forma do teorema de Bayes que é geralmente encontrada quando são consideradas duas afirmações ou hipóteses concorrentes é:
$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid A^{c})P(A^{c})}}$.
Para proposição $A$ e evidência $B$:
* $P(A)$ (probabilidade a priori) é o grau de crença inicial em $A$;
* $P(A^{c})$ é a probabilidade correspondente do grau de crença inicial contra $A$. $P(A^{c})=1-P(A)$;
* $P(B\mid A)$ (probabilidade condicional ou verossimilhança) é o grau de crença em $B$, dado que a proposição $A$ é verdadeira;
* $P(B\mid A^{c})$(probabilidade condicional ou verossimilhança) é o grau de crença em $B$, dado que a proposição $A$ é falsa;
* $P(A\mid B)$ (probabilidade a posteriori) é a probabilidade para $A$, após considerar $B$ para e contra $A$.

#### Forma estendida

Para alguma partição $\{A_{j}\}$ do espaço amostral, muitas vezes o espaço do evento é dado em termos de $P(A_{j})$ e $P(B\mid A_{j})$. Isto é útil para calcular $P(B)$, usando a lei de probabilidade total:
$P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})}\Rightarrow P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})\,P(A_{j})}}$.

### Variáveis aleatórias

Seja o espaço amostral $\Omega$ gerado por duas variáveis aleatórias $X$ e $Y$. Em princípio, o teorema de Bayes aplica–se aos eventos $A=\{X=x\}$ e $B=\{Y=y\}$. Entretanto, os termos se tornam 0 nos pontos em que qualquer variável tem densidade de probabilidade finita. Para continuar útil, o teorema de Bayes pode ser formulado em termos de densidades relevantes.

#### Forma simples

Se $X$ é contínua e $Y$ é discreta,
$f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}.$
Se $X$ é discreta e $Y$ é contínua,
$P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}.$
Se $X$ e $Y$ são contínuas,
$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}},$
em $f_{X}$ e $f_{Y}$ representam as funções de distribuição de probabilidade de $X$ e $Y$, respectivamente.

#### Forma estendida

Um espaço de evento contínuo muitas vezes é dado em termos dos termos do numerador. Então, é útil eliminar o denominador usando a lei de probabilidade total. Para $f_{Y}(y)$, isto se torna uma integral:
$f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi .$

### Regra de Bayes

A regra da Bayes é o teorema de Bayes na forma de chances:
$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)$,
em que
$\Lambda (A_{1}:A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}$
é chamado de fator Bayes ou razão de verossimilhança. As chances entre os dois eventos é simplesmente a razão entre as probabilidades dos dois eventos.
Então,
$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}},$
$O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}.$
Portanto, a regra de Bayes afirma que as chances posteriores são as chances iniciais multiplicadas pelo fator de Bayes. Em outras palavras, as probabilidades a posteriori são proporcionais às probabilidades a priori.

## Derivação
### Para eventos

O teorema de Bayes pode ser derivado a partir da definição de probabilidade condicional:
$P(A\mid B)={\frac {P(A\cap B)}{P(B)}},{\text{ se }}P(B)\neq 0,\!$
$P(B\mid A)={\frac {P(B\cap A)}{P(A)}},{\text{ se }}P(A)\neq 0,\!$
pois $P(B\cap A)=P(A\cap B)$.
Então,
$P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A)\!$
Logo, ajustando-se os termos, tem-se:
$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}},{\text{ se }}P(B)\neq 0.$

### Para variáveis aleatórias

Para duas variáveis aleatórias contínuas $X$ e $Y$, o teorema de Bayes pode ser analogamente derivado da definição de probabilidade condicional:$f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$
$f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$
$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}.$