Comparações múltiplas: como evitar conclusões erradas?

Quando fazemos uma análise de variância (ANOVA) para comparar grupos, o teste F nos diz se existe diferença entre médias — mas não   diz entre quais grupos está a diferença. Por isso, quando o teste F rejeita a hipótese de que todas as médias são iguais, o pesquisador quer um teste para comparar as médias, duas a duas, ou em grupos de seu interesse. É aí que entram os testes a posteriori (post hoc).

Mas para escolher o teste, o pesquisador precisa tomar uma decisão importante: o que ele quer?

🔺   Controlar o risco de erro em cada comparação de duas médias?
                                       (comparisonwise error rate)

🔺  Controlar o risco de erro no conjunto de comparações feitas?

(experimentwise error rate)

Vamos entender este dilema com exemplos.

                                         Exemplo: 3 grupos (A, B e C)

Imagine que queremos comparar três tratamentos(grupos). São possíveis 3 comparações de médias: A e B, A e C e B e C. Vamos repetir esse experimento 10 vezes. Então, no total, serão feitas 30 comparações, como mostra a Tabela 1.

Tabela 1

   

Vamos supor que todas as médias populacionais são iguais (não sabemos disso quando fazemos o experimento). Para comparar médias, podemos escolher:

🔺    Um teste que controle o risco de erro Tipo I em cada comparação de médias. Neste caso, se – para cada comparação de duas médias – for estabelecido um nível de significância de 10%, espera-se que cerca de 10% das 30 comparações (ou seja, 3) indiquem, erradamente (erro tipo I), diferença que não existe. Note bem: essas 3 comparações erradamente significantes podem estar em só. ou em 3 dos 10 experimentos.

🔺  Um teste que controle o risco de erro Tipo I por experimento. Neste caso, se – para cada experimento – for estabelecido o nível de significância de 10%, espera-se que apenas 1 dos 10 experimentos (ou seja, 10%) indique, erradamente (erro tipo I), diferença que não existe.

                                  Exemplo: 20 grupos

Vamos pensar agora em um cenário maior: vamos comparar 20 tratamentos (grupos) dois a dois. São possíveis combinação de 20, dois a dois, que é (20x19) /2 = 190 comparações de médias. Vamos repetir esse experimento 10 vezes. Então, no total, serão feitas 190 x 10 = 1.900 comparações de médias. Novamente, vamos supor que as médias são todas iguais. Não sabemos disso, mas podemos escolher:

🔺 Um teste que controle o erro tipo I em cada comparação de médias. Se for estabelecido o nível de 10% de significância podem ocorrer até 190 falsos positivos (10% das 1.900 comparações de médias). Então quase todo experimento teria erros. O nível de erro se aproximaria, portanto, de 100%!

🔺  Um teste que controle o risco de erro Tipo I por experimento. Se for estabelecido o nível de significância de 10%, espera-se que ocorra erro tipo I em apenas 1 experimento, mesmo com 1.900 comparações no total.

                                       Comparação entre os testes

O teste DMS de Fisher e o teste das amplitudes múltiplas de Duncan não controlam o nível de significância de experimentos. São testes liberais, pois apontam significância com muita facilidade. Mas têm grande poder, pois nível de significância e poder do teste crescem juntos. De qualquer modo, é preciso evitar o "fishing for significance". Comparar muitas médias sem controle aumenta o risco de achar diferenças que não existem.

 

Já o teste DHS de Tukey, o teste de Dunnet e o teste S de Scheffé são conservadores, pois controlam o nível de significância de experimentos. Se o nível de significância para experimentos for 5%, o nível de significância para comparação de médias será menor do que 5%. Conclusões baseadas em experimentwise α são mais confiáveis em estudos com múltiplos grupos.

 

No entanto, quando se comparam apenas dois grupos, o nível de significância para experimentos é igual ao nível de significância para comparação de médias. Mas é preciso cuidado quando se comparam vários grupos, pois pode haver diferença nas conclusões.

                                                    ✅ Conclusão

     🔺  Testes liberais (como DMS e Duncan) têm maior poder, mas também maior risco de erro tipo I.

     🔺  Testes conservadores (como Tukey, Dunnett e Scheffé) protegem melhor contra erros, mas podem deixar de detectar diferenças reais.

    🔺  Em poucas comparações, a diferença entre os erros é pequena.

  🔺 Em muitas comparações, o controle do erro por experimento é essencial.