segunda-feira, abril 26, 2010

Probabilidades.

Um saco tem 100 berlindes, 20 dos quais azuis. Dizemos que há 20% de probabilidade de retirar um berlinde azul do saco por duas razões. Primeiro, assumimos que o berlinde é retirado ao acaso, num processo que se fosse repetido podia dar um resultado diferente. Ou seja, a cor do berlinde que sai é uma variável aleatória. E 20% pela frequência dos berlindes azuis na população. É isso que queremos dizer com probabilidade neste caso: a frequência na população de um valor que uma variável aleatória pode tomar.

A população pode não ser o conjunto dos berlindes. Se retirarmos um berlinde ao acaso, anotarmos a cor e o repusermos no saco, a população que estamos a considerar é o conjunto infinito de vezes que podemos tirar e repor berlindes no saco, e a probabilidade de 20% quer dizer que conforme nos aproximarmos de infinitas amostragens mais próximo de 20% será a fracção de vezes que saiu um berlinde azul. Em dez vezes pode sair um, nenhum ou cinco, mas em dez milhões de vezes a proporção vai andar muito perto dos 20%. Em infinitas é 20% certos.

E se tirarmos cada berlinde sem o repor no saco a probabilidade de sair azul vai depender das cores que saíram antes. Se o primeiro era azul a frequência de azuis no saco diminui e é menos provável sair outro azul a seguir. Eventualmente, se saem todos os azuis deixa de ser possível que saia azul novamente. Sair azul deixa de ser uma variável aleatória.

Imaginemos agora que nos dão um saco com um berlinde e nos perguntam qual a probabilidade de, retirando esse berlinde ao acaso, sair um berlinde azul. Se a pergunta fosse a probabilidade de sobrar um berlinde azul depois de retirar 99 dos 100 berlindes era fácil. Se vinte são azuis a probabilidade do último ser azul é 20%. Porque se enchermos o saco, retirarmos 99 ao acaso, anotarmos a cor do último e repetirmos isto infinitas vezes, veremos que em 20% dos casos o último berlinde é azul. Neste caso a cor do último é uma variável aleatória e as probabilidades são dadas pela fracção de vezes em que calha cada cor na população de infinitas repetições desta experiência.

Mas se a experiência que nos propõem começa logo com um berlinde no saco, aquele berlinde em particular, por muitas vezes que se repita o resultado será sempre o mesmo. Se esse berlinde for azul sai sempre azul. E se não for azul nunca vai sair azul. A cor desse berlinde não é uma variável aleatória e não faz sentido atribuir-lhe uma probabilidade neste caso em que é sempre o mesmo berlinde em todas as repetições da experiência.

Esta seca de post vem a propósito da contestação do João e do João Vasco à minha tese que não se pode falar da probabilidade de uma moeda ser equilibrada quando testamos essa moeda em particular (1). A hipótese da moeda ser equilibrada permite calcular a probabilidade de obter certos resultados. Por exemplo, 0.1% de probabilidade de sair dez caras em dez lançamentos. O que quer dizer que se repetirmos infinitas vezes a experiência de lançar dez vezes a moeda esperamos que só em 0.1% das vezes saiam dez caras.

Mas a moeda ser ou não equilibrada é como o saco com um berlinde. Ou é, e será em todas as repetições da experiência, ou não é e não será em nenhuma. Neste sentido de probabilidade só se pode calcular a probabilidade dos resultados assumindo a hipótese, não a probabilidade da hipótese. A hipótese não é uma variável aleatória; é sempre a mesma. Assim, para testar uma hipótese escolhe-se um limite (a confiança) para a probabilidade dos resultados abaixo do qual rejeitamos a hipótese. Mais correctamente, rejeitamos todas as hipóteses que atribuam aos resultados uma probabilidade inferior à confiança e aceitamos todas as outras. É daqui que vem a margem de erro. No entanto, esse nível de confiança é subjectivo e arbitrário. Se é 5%, 1% ou 10% temos de ser nós a escolher.

Uma alternativa é a probabilidade no sentido bayesiano. Numa análise bayesiana começa-se por atribuir uma probabilidade inicial à hipótese e depois calcular a probabilidade posterior dessa hipótese considerando os dados*. Mas o sentido de “probabilidade” aqui é diferente. A probabilidade de sair um berlinde azul ou da moeda calhar coroa é a frequência com que a variável aleatória toma esses valores na população. Em contraste, a probabilidade bayesiana é uma medida da confiança subjectiva** que, à partida, depositamos numa hipótese. A parte objectiva da análise bayesiana vem depois, na forma como alteramos essa estimativa à luz dos dados.

Ao João e ao João Vasco, possivelmente os únicos a chegar a este parágrafo, reitero que não podem dizer que a probabilidade de ser equilibrada a moeda que calhou dez vezes cara é a probabilidade de sair dez vezes cara se a moeda for equilibrada. O sentido frequentista da probabilidade dos lançamentos não se aplica à hipótese da moeda ser equilibrada. E a probabilidade “da hipótese”, no sentido bayesiano, não é da hipótese em si mas da confiança que inicialmente depositamos nela, e essa pode ser qualquer coisa***.

*Podem ver como na wikipedia, senão isto fica um testamento em vez de um post.
**Há muita gente a tentar encontrar uma forma objectiva de calcular as probabilidades iniciais. Se um dia conseguirem e se eu perceber como o fizeram, prometo que escrevo um post a corrigir isto.
***Excepto 0 e 1, senão fica tudo engatado e não há Bayes que nos valha. É o tal problema das certezas absolutas...

1- Comentários em A hipótese nula.

10 comentários:

  1. Ludwig,

    Ainda não tive tempo de pensar sobre este post. Por exemplo, não mencionas que enquanto na probabilidade frequencista existem variáveis aleatórias cujas distribuições têm parâmetros desconhecidos mas fixos, na estatística bayesiana os próprios parâmetros da distribuição são eles próprios variáveis aleatórias. Não sei em que medida isto influencia o texto, pois no caso da moeda, o parâmetro desconhecido é "moeda é equilibrada". Não te esqueças que esse parâmetro é aleatório logo não saberás se ela é ou não é equilibrada. Saberás sim que "moeda equilibrada" é uma variável aleatória com uma certa distribuição de probabilidade e portanto poderás falar na probabilidade dessa moeda em específico ser equilibrada. Acho que estás a argumentar o contrário.

    Quando tiver mais tempo vou tentar formular melhor o meu comentário.

    Quero no entanto dizer uma pequena curiosidade. Tive um summer course sobre estatística bayesiana onde a definição dada para a probabilidade a priori era "fézada". Assim, nós partimos da "fé" para fazer inferências.

    Antes que venham os suspeitos do costume dizer "ah, e tal, afinal também há fé na ciência", quero lembrar que essa "fézada" vai mudando à medida que reunimos mais informação sobre o fenómeno. O que é exactamente o contrário do que se faz perante a fé (no sentido mais vulgar do termo).

    ResponderEliminar
  2. Pedro,

    «Não te esqueças que esse parâmetro é aleatório logo não saberás se ela é ou não é equilibrada.»

    Discordo que esse parâmetro seja aleatório. É desconhecido mas constante para todos os lançamentos da moeda. Logo não é aleatório nesse contexto. Certo?

    «Saberás sim que "moeda equilibrada" é uma variável aleatória com uma certa distribuição de probabilidade e portanto poderás falar na probabilidade dessa moeda em específico ser equilibrada.»

    Se há uma distribuição para a probabilidade de uma moeda escolhida ao acaso ser equilibrada e se escolhes uma moeda ao acaso podes dizer que essa moeda tem uma probabilidade de ser equilibrada no sentido de que, se repetisses a escolha aleatória infinitas vezes, iria calhar-te essa proporção de moedas equilibradas.

    Mas quando pegas numa moeda e queres testar se ela é equilibrada isso não é uma variável aleatória. É o equivalente a ter só um berlinde no saco. Podes não saber a cor, mas não faz sentido dizer que em infinitas amostragens desse berlinde 20% vai sair azul e 80% de outra cor -- e probabilidade é isso.

    «quero lembrar que essa "fézada" vai mudando à medida que reunimos mais informação sobre o fenómeno.»

    A fé é atribuir probabilidades iniciais de 0 ou 1. É esse arredondamento que estraga a inferência bayesiana :)

    ResponderEliminar
  3. «Ao João e ao João Vasco, possivelmente os únicos a chegar a este parágrafo, reitero que não podem dizer que a probabilidade de ser equilibrada a moeda que calhou dez vezes cara é a probabilidade de sair dez vezes cara se a moeda for equilibrada.»

    Não precisas de reiterar. Isso é evidente.


    «Uma alternativa é a probabilidade no sentido bayesiano. Numa análise bayesiana começa-se por atribuir uma probabilidade inicial à hipótese e depois calcular a probabilidade posterior dessa hipótese considerando os dados*»

    Exacto.

    Como por exemplo, assumires que o "desequilíbrio" da moeda é uma normal com um desvio padrão muito reduzido centrado em zero. (Negativos, mais caras; positivos, mais coroas, por exemplo).

    Depois, face aos dados, corriges esta assunção inicial.


    «Em contraste, a probabilidade bayesiana é uma medida da confiança subjectiva** que, à partida, depositamos numa hipótese.»

    Essa é precisamente a que interessa. Se tu tens as várias hipóteses e as "confianças" de cada uma delas, queres escolher a hipótese com maior confiança.


    Podes dizer que existe arbitrariedade na escolha inicial - por exemplo porque não assumir que a distribuição dos desquelíbrios não é uma função nula em quase todo o lado com dois picos estreitos em -0.25 e 0.25?

    Sim, mas a arbitrariedade envolvida no aparecimento de uma hipótese razoável (por exemplo, o desequilíbrio é uma normal estreita centrada em zero) é bem menor do que a envolvida na hipótese da moeda perfeitamente equilibrada, pois a primeira considera muito mais possibilidades. Há sempre subjectividade na medida em que é impossível considerar TUDO. Mas a segunda considera muito menos.

    Outra forma de ver isto, é a questão de qual é falsificável.
    Para uma moeda ligeiramente desequilibrada (mas muito pouco), por muitos lançamentos que faças é praticamente impossível rejeitar a hipótese de que ela é perfeitamente equilibrada.
    Considerando as várias hipóteses, que ela pode ter desequilíbrios diferentes, no fim dos vários lançamentos chegas a um valor de desequilíbrio.
    Falsificar esta hipótese? É fácil: fazer mais lançamentos. E mais, e mais. E quantos mais fizeres, mais precisa vai ser a tua estimativa do desequilíbrio.

    ResponderEliminar
  4. João Vasco,

    «Essa é precisamente a que interessa. Se tu tens as várias hipóteses e as "confianças" de cada uma delas, queres escolher a hipótese com maior confiança.»

    Concordo que é o que interessa. O meu ponto não é acerca do que interessa mas acerca da grande diferença entre os dois conceitos: o da confiança que temos numa hipótese e o da frequência de um valor de uma variável aleatória na população.

    ResponderEliminar
  5. Ludwig,

    "Discordo que esse parâmetro seja aleatório. É desconhecido mas constante para todos os lançamentos da moeda. Logo não é aleatório nesse contexto. Certo?"

    Não sei. Acho que podemos estar a falar de coisas diferentes.

    Uma coisa é certa: uma moeda ou tem inrente a si uma probabilidade de sair cara de exactamente 0.5 ou não. Nesse sentido tens razão em dizer que a moeda ou é equilibrada ou então não é.

    No entanto, o parâmetro é, de facto, aleatório. O que consegues com a estatística bayesiana é calcular a distribuição desse parâmetro e toda a teoria assenta na premissa que o parâmetro é uma variável aleatória. Olha aqui:

    "In frequentist statistics, parameters are not repeatable random things but are fixed (albeit unknown) quantities, which means that they cannot be considered as random variables. In contrast, in Bayesian statistics anything about which we are uncertain, including the true value of a parameter, can be thought of as being a random variable to which we can assign a probability distribution, known specifically as prior information."

    Neste framework inferencial, o parâmetro é aleatório e tem uma densidade de probabilidade associada. No fundo, essa densidade de probabilidade do parâmetro expressa o que nós conhecemos sobre esse parâmetro.

    Confesso que não sou um expert nesta área (nunca a explorei a fundo) mas lembro-me de inúmeros exercícios que fiz no Mestrado onde o que se pretendia era estimar a densidade de probabilidade de um parâmetro de uma certa distribuição.

    "A fé é atribuir probabilidades iniciais de 0 ou 1."

    EXACTAMENTE! Nunca tinha pensado nessa...

    Há um teorema que mostra que se partes de uma certeza absoluta, por mais evidência em contrário, nunca sairás da cepa torta: continuarás a dizer o mesmo disparate que dizias a priori... Partir de uma probabilidade a priori de 1 é o pôr os dedos nos ouvidos e dizer bem alto "lá lá lá lá lá lá...." :D

    ResponderEliminar
  6. AInda me estou a rir com o teorema de Bayes e uma distribuição a priori de 1.

    Informação a priori: "Somos filhos da Eva com probabilidade 1". + Evidências a rodos sobre a implausibilidade dessa hipótese -> Teorema de Bayes ->( "lá lá lá lá lá lá....") = "somos todos descendentes da Eva..." :D

    Se o Mats ou o perspectiva descobrem o teorema de Bayes, vamos ter de aturar mais um chorrilho enorme de disparates a juntar aos habituais...

    ResponderEliminar
  7. Pedro,

    A diferença é que na definição bayesiana "aleatório" é sinónimo de "desconhecido" porque o valor de probabilidade não exprime uma frequência no limite mas apenas uma incerteza. Ou seja, a probabilidade bayesiana é acerca de nós e não do parâmetro. Pode ser uma para ti e outra para mim.

    Na frequentista, se dizes que algo tem p=0.2 queres dizer que ocorre um quinto das vezes. E se tens razão é aquela e mais nenhuma. Na bayesiana, p=0.2 quer dizer que só tens 20% de confiança naquilo, e outra pessoa qualquer pode ter 30% ou 10%. É mesmo esta diferença que quero salientar.

    «Bayesian probability interprets the concept of probability as "a measure of a state of knowledge",[1] in contrast to interpreting it as a frequency or a physical property of a system.» (wikipedia)

    Por mim deviam fazer como nos teoremas de Cox e chamar plausibilidade à probabilidade bayesiana. Dava menos confusão... É que são coisas muito diferentes.

    ResponderEliminar
  8. Ludwig:

    A incerteza acaba por ser uma probabilidade se conheces a população de alternativas.

    Repara que não sabes se estas perante uma moeda equilibrada ou não e podes comparar os resultados das hipoteses uns com os outros.

    E admitir que tens mais hipoteses de acertar se escolheres uma hipotese para uma moeda que se adequa aos resultados que se não se adequar.

    A moeda é a mesma. Tal como o rebuçado dentro de uma mão fechada e tu tens de adivinhar se esta na direita ou na esquerda. Como tens uma informação à priori de que há duas mãos tens 50% de hipoteses de acertar. Mas o facto de teres a certeza de acertar uma hipotese em duas em infnitas tentativas continua a não te dizer exactamemte onde esta o rebuçado. Nem o muda de mão para que se adeque à estatica o problema. Ele esta onde estiver.

    A questão da moeda é a mesma. A moeda ou é equilibrada ou não é e ao contrario do que pensam alguns comentadores deste blogue, ela não vai deixar de ser como é por causa das nossas conjecturas. Mas isso esta salvaguardado, uma vez que será sempre possivel que seja a hipotese mesmo provavel ou outra qualquer. É uma hipotese.

    Se a moeda X em 1000 lançamentos te der 940 caras. E a moeda Y em 1000 lançamentos te der 521 caras, qual delas te da mais probabilidade de acertar no prémio Z oferecido a quem souber detectar a moeda equilibrada entre as duas?

    Se puderes responder a esta pergunta eu tenho razão. Se não puderes tu tens razão.

    PS: Ora aí esta a definição matematica de fé. É a atribuiçãio "à priori" para 0 ou 1 em estatistica baesiana.

    PS2: Em testes medicos quando se conhece a frequencia de uma doença com elevado rigor, a estatistica baesiana é menos subjectiva. Ou noutros casos em que queiras saber probabilidades individuais em contextos muito bem conhecidos.

    ResponderEliminar
  9. A noção Bayesiana é a adequada para tentar aferir o desconhecido.

    Seria igual à frequencista apenas de uma forma muito abstracta "em diferentes universos em que estivessemos perante esses dados, teríamos razão em assumir este parâmetro X por cento das vezes".
    Não obstante esta ligação indirecta, essa é a forma adequada de lidar com o desconhecido.
    Como diz o Pedro Ferreira, se a moeda for ligeiramente desequilibrada e tu simplesmente assumires que ela é equilibrada, então nunca falsificarás a tua hipótese (o tal "lá lá lá lá lá").

    ResponderEliminar
  10. João,

    A probabilidade implica incerteza, mas não o inverso, no sentido frequentista. Por exemplo, não temos a certeza acerca da hora a que D. Afonso Henriques nasceu, mas não faz sentido atribuir uma distribuição de probabilidade a isso, no sentido frequentista, porque não há uma população de valores e uma variável aleatória que seja uma amostra dessa população. O valor é só um.

    Na definição bayesiana é que probabilidade é incerteza. Mas nota que a incerteza não é uma propriedade da coisa em si mas da nossa opinião acerca dela. Por isso a definição bayesiana é fundamentalmente subjectivista (há uma vertente objectivista que defende a abordagem bayesiana como derivando de princípios lógicos, mas essa também é subjectivista no sentido em que a probabilidade é à mesma um atributo daquilo que o sujeito pensa acerca do objecto).

    ResponderEliminar

Se quiser filtrar algum ou alguns comentadores consulte este post.