Comparisonwise ou experimentwise?

Quando, na análise de um experimento inteiramente ao acaso, o teste F rejeita a hipótese de igualdade de médias, a conclusão de que as médias populacionais não são iguais não basta ao pesquisador. Ele sai em busca de métodos que permitam fazer novas inferências sobre as médias populacionais, ou seja, dos chamados testes post hoc ou a posteriori. Quais qualidades esses testes devem ter?

O pesquisador precisa escolher entre:
 a) um teste que mantenha o nível de significância para comparações de médias   (comparisonwise Type I error rate) ou
 b) um teste que mantenha o nível de significância para experimentos       (experimentwise Type I error rate ou familywise Type I error rate).

 Vamos entender isso com um exemplo.

Considere um ensaio para comparar três grupos, A, B, e C. São possíveis três hipóteses para a comparação de médias duas a duas (pairwise comparison):

H₀: m_A = m_B

H₀: m_A = m_C

H₀: m_B = m_C

Se forem conduzidos dez ensaios com o mesmo delineamento (inteiramente ao acaso) para testar essas hipóteses, serão possíveis 10 x 3 = 30 testes. Vamos imaginar que as médias populacionais dos três grupos são iguais. Nesse caso, o teste que der resultado significante levará a conclusão errada. Lembre-se de que:

Nível de significância é a probabilidade de rejeitar

 a hipótese de que as médias são iguais,

 quando as médias são iguais.

Um teste que mantenha o nível de significância para comparação de médias (comparisonwise Type I error rate) em 10%,  tem probabilidade de apontar como significantes até três das trinta comparações de médias (10%).

Por outro lado, um teste que mantenha o nível de significância para experimentos (experimentwise Type I error rate) em 10%, tem probabilidade de apontar significância em um experimento (10%), podendo ser significantes  uma, duas ou três comparações de médias nesse experimento.

Imagine que você tem um ensaio com 20 grupos. São possíveis (20 X 19)/2 =190 comparações de médias, duas a duas. Se forem conduzidos 10 ensaios com o mesmo delineamento para comparar esses mesmos 20 grupos, podem ser feitas 1900 comparações de médias, duas a duas.

Vamos imaginar que as médias populacionais são iguais.

Um teste que mantiver o nível de significância para comparação de médias (comparisonwise Type I error rate) em 10%, tem probabilidade de apontar como significantes 190 comparações de médias (10%), que podem estar distribuídas em até 10 dos 10 experimentos. Então o nível de significância para experimentos poderá chegar a 100%.

No entanto, um teste de comparação de médias com nível de significância para experimentos (experimentwise Type I error rate) em 10%, tem a probabilidade de apontar um experimento com comparação de médias significante (10%).

Fixar o nível de significância para experimentos é procedimento mais conservador do que fixar o nível de significância para comparação de médias.  É verdade que, quando se comparam apenas dois grupos, o nível de significância para experimentos é igual ao nível de significância para comparação de médias. Mas quando se comparam vários grupos, pode haver diferença nas conclusões.

Em postagens anteriores, mostramos o procedimento para alguns testes de médias. Mas é importante saber se esses testes mantêm ou o nível de significância para experimentos ou nível de significância para comparação de médias.

O teste DMS de Fisher e o teste das amplitudes múltiplas de Duncan não controlam o nível de significância de experimentos. São testes liberais, pois apontam significância com muita facilidade. Mas têm grande poder, pois nível de significância e poder do teste crescem juntos.

Poder do teste é a probabilidade de rejeitar

 a hipótese de que as médias são iguais,

 quando as médias são diferentes.

Já o teste DHS de Tukey, o teste de Dunnet  e o teste S de Scheffé são conservadores, pois controlam o nível de significância de experimentos. Se o nível de significância para experimentos for 5%, o nível de significância para comparação de médias será menor do que 5%. Esses testes têm, portanto, menor poder.