Teste de Tukey-Kramer

Em geral, o pesquisador busca testes pos-hoc para comparar médias de grupos quando já obteve resultado significante na ANOVA (análise de variância) e seu ensaio tem três ou mais grupos.

Diversos são os testes que estão à disposição do pesquisador, alguns dos quais já discutimos em postagens anteriores. Vamos tratar aqui o método de Tukey-Kramer, que foi desenvolvido para os casos em que os grupos em comparação têm tamanhos diferentes. A literatura sobre os testes pos-hoc em geral considera grupos de mesmo tamanho. Mas se o pesquisador tiver grupos de tamanhos diferentes, precisa ajustar o procedimento à situação (substituir r por r_i e r_j).O teste de Tukey-Kramer assume que as populações têm variâncias iguais e, portanto, continua a usar o quadrado médio do resíduo (QMR), obtido na ANOVA, como estimativa de variância da variável.

Para obter o valor de diferença mínima significante (d_ij) entre as médias de dois grupos de tamanhos r_i e r_j  (d_ij) pelo teste de Tukey-Kramer é preciso calcular:

                                    

O valor q_(k,gl,a) , denominado amplitude estudentizada é encontrado na tabela de amplitude estudentizada q ao nível de significância a, para k grupos e os graus de liberdade do resíduo da análise de variância, que no caso de um critério de classificação é (n-k), ou seja, o tamanho da amostra (n) menos o número de grupos (k). QMR é o quadrado médio do resíduo da análise de variância e r_i e r_j  são os números de repetições de cada um dos grupos em comparação.

Veja um exemplo. A Tabela 1 apresenta os dados de um ensaio com quatro grupos (marcas de chá).As médias dos grupos estão no rodapé. A Tabela 2 apresenta a análise de variância para esses dados. As comparações de médias de marcas estão apresentadas abaixo das tabelas. Utilizou-se, para o teste de Tukey-Kramer, o valor de q ao nível de 5%, considerando k=4 marcas e n-k-24-4=20 graus de liberdade do resíduo.

Tabela 1 - Conteúdo de ácido fólico (vitamina B) em folhas de

 chá verde selecionadas ao acaso de quatro marcas (1) 

 Tabela 2 - Análise de variância dos dados da Tabela 1

Para comparar a média da marca 1 com a média da marca 2, com a = 5%, é preciso calcular:

Para comparar a média da marca 1 com a média da marca 3, com a = 5%, é preciso calcular:

                               

Procedendo da mesma maneira, são obtidos os valores de d_ij para as demais comparações. A Tabela 3 apresenta, com as diferenças das médias estimadas, os valores das d_ij. Toda vez que o valor absoluto da diferença entre duas médias for maior do que a respectiva d_ij, rejeita-se a hipótese de igualdade de médias.

Tabela 3 – Comparação de médias pelo teste de Tukey -Kramer

A interpretação dos resultados apresentados na Tabela 3 é a de que, em média, o conteúdo de ácido fólico no chá da marca 1 é maior do que o conteúdo de ácido fólico no chá da marca 4.

Obter as diferenças mínimas significantes pelo teste de Tukey-Kramer é trabalhoso porque cada comparação de médias exige um cálculo. Claro que os programas para computadores fazem a análise estatística rapidamente, mas nem sempre foi assim. Então, já se propôs, quando os tamanhos de grupos não são muito diferentes, calcular a diferença mínima significante na forma tradicional, proposta por Tukey, mas usar, em lugar de r (que seria o número de repetições em todos os grupos) a média harmônica H dos tamanhos de grupos. O nível de significância não fica, porém, exato. A fórmula fica como segue:

 

Vamos ver este procedimento usando os mesmos dados da Tabela 1. Verifique que os tamanhos dos grupos são 7, 5, 6, 6. Para calcular a média harmônica H, aplique a fórmula:

Para o exemplo:

 Então

É fácil verificar que, neste exemplo, a interpretação do teste permanece.

                             *****************

Veja a Tabela de amplitude estudentizada em

table of the studentized range - David Lane http://davidmlane.com/hyperstat/sr_table.html

Veja também

Multiple Comparisons With Unequal Sample Sizes https://www.uvm.edu/~dhowell/gradstat/.../labs/.../Multcomp.html
ANOVA & Tukey-Kramer test. https://www.youtube.com/watch?v=ZU1PgVWTXKY

ANOVA: erros são variáveis aleatórias independentes

Para fazer uma análise de variância, é preciso pressupor que os erros são variáveis aleatórias independentes. Isso acontece quando os dados são coletados de forma independente. Portanto, na maioria das vezes, a independência é determinada apenas pela estrutura da coleta de dados ¹.

Se as unidades são observadas ao longo do tempo, não se pode pressupor que os erros são independentes.  É razoável considerar que qualquer medida obtida em uma unidade em determinado instante (y_i+1) esteja correlacionada com a medida feita anteriormente nessa mesma unidade (y_i). Por exemplo, se você observar durante todos os dias de uma semana cada uma das pessoas que compõem sua amostra para estudar o efeito de uma droga terapêutica – os erros não podem ser considerados independentes. Eles têm correlação serial.

Medidas feitas em unidades agrupadas muito frequentemente estão correlacionadas. Por exemplo, observações feitas em cobaias da mesma gaiola ou em pessoas residentes na mesma casa têm, em geral, correlação.

Se os erros forem dependentes – porque foram tomadas observações na mesma unidade ou em unidades agrupadas – o resultado da análise de variância com um critério de classificação fica totalmente comprometido ². No entanto, a dependência dos erros é difícil de corrigir – porque ela acontece devido à maneira de coletar os dados.

De qualquer forma, diante de qualquer suspeita de não independência – é essencial proceder à análise dos resíduos.  Desenha-se um gráfico dos resíduos padronizados contra a ordem (no tempo ou no espaço) em que as observações foram coletadas.  Se a pressuposição de independência estiver satisfeita, os resíduos padronizados devem ficar dispersos em torno de zero, sem um padrão definido, como acontece no gráfico apresentado na Figura 1. Esse gráfico foi construído com os dados da Tabela 1, onde também é apresentada a ordem da tomada dos dados. As médias de grupos estão no rodapé da tabela. O quadrado médio do resíduo da análise de variância para esses dados é 7,00. Verifique. Os resíduos padronizados

foram apresentados no diagrama de dispersão da Figura 1.

Figura 1 - Exemplo de independência 

Tabela 1 - Exemplo de independência

Se os resíduos tiverem clara correlação com a ordem de tomada dos dados como é o caso do exemplo apresentado na Figura 2, não se pode pressupor independência. Os dados para desenhar a Figura 2 estão na Tabela 2. A partir dos dados foram calculados os desvios padronizados apresentados na Figura 2. O quadrado médio da análise de variância é QMR = 10,926.

Figura 2 - Exemplo de não-independência

Tabela 2 - Exemplo de não-independência 

A análise de resíduos é extremamente útil, mas é gráfica. Isto significa que não se pode associar um nível de probabilidade à conclusão de que os erros não são independentes. Mas a pressuposição de independência pode ser transformada em hipótese e essa hipótese pode ser colocada em teste. Quando existe forte suspeita de não independência (de que, por exemplo, um aumento dos valores está correlacionado com a ordem em as observações foram feitas), pode-se aplicar um teste estatístico como, por exemplo, o teste de Durbin Watson.

                                         
            Referências:

         1.    SCHEFFÉ, H. The analysis of variance. New York : Wiley, 1959.

                 2.  Do your data violate one-way ANOVA assumptions?                                www.basic.northwestern.edu/.../oneway_anova_ass_viol.htm

     

Resíduos padronizados e outliers

Dado discrepante (outlier) é o valor muito diferente dos demais valores em uma amostra aleatória da população. Em outras palavras, dado discrepante (outlier) é o valor que não se encaixa no padrão geral dos valores dos dados coletados.

Que critério você pode utilizar para dizer que um valor é “muito diferente” dos demais? Um critério conveniente – pois nem necessita de teste estatístico – é considerar discrepante (outlier) o ponto que cai acima do terceiro quartil, ou abaixo do primeiro quartil mais de 1,5 vezes a distância interquartílica.

Como exemplo, veja o conjunto de números da Tabela 1. Usando o Excel você obtém a mediana 3, primeiro quartil igual a 2 e terceiro quartil igual a 5. A distância interquartílica é 5 - 2 = 3. Usando o critério apresentado, números maiores do que 5 + 1,5 x 3 = 9,5, ou menores do que 2 - 1,5 x 3 = -2,5 são discrepantes. Por esse critério, 12 é discrepante.

Tabela 1 – Um conjunto de números

Quando tratamos dados coletados de uma população, a presença de outlier geralmente indica algum tipo de problema. Mas não se pode descartar um valor discrepante com uma desculpa qualquer: é preciso discutir a causa da discrepância: pode ser informação coletada de um caso que não se encaixa no modelo em estudo, ou seja, de um caso de outra população, mas também pode ser um erro de medição ou de digitação, que podem ser corrigidos.

De qualquer forma, para fazer uma ANOVA com um critério de classificação é melhor que não haja outliers, pois eles tendem a aumentar a estimativa da variância da amostra. A estatística F calculada para a ANOVA fica, portanto, menor, o que significa menor probabilidade de rejeitar a hipótese de nulidade.

É preciso analisar a presença de outliers, antes de proceder à ANOVA. Os erros são desconhecidos, mas temos suas estimativas, os resíduos. A análise gráfica dos resíduos por meio de um boxplot (e seus quartis, máximos e mínimos) é uma opção, como descrevemos acima. Também pode ser feito um histograma, como o mostrado na Figura 1, com os resíduos padronizados. Espera-se que 68% dos resíduos padronizados caiam no intervalo -1 e +1 e 95% caiam no intervalo -2 e +2. Valores fora do intervalo -3 e +3 são suspeitos. Todo valor suspeito deve ser discutido e, se houver erros – de registro ou de medida – eles devem ser corrigidos, quando possível.

                                                           Figura 1

Mas o que são desvios padronizados (standardized residuals)? Para obter os resíduos padronizados, dividem-se os resíduos (e_i) pela raiz quadrada do quadrado médio do resíduo (QMR) da análise de variância. Os resíduos padronizados, que indicaremos por z_i, são, portanto, obtidos pela fórmula:

Veja como exemplo os dados de um ensaio fictício apresentados na Tabela 2 e as respectivas estimativas das médias m₁, m₂, m₃ e m₄ no rodapé dessa tabela.

Tabela 2 – Valores obtidos em um ensaio

A Tabela 3 apresenta a análise de variância desses dados. A raiz quadrada do quadrado médio do resíduo, que é QMR = 7,00 é 2,6458.

                   Tabela 3 – Análise de variância dos dados da Tabela 2

Para o grupo A, a média (veja a Tabela 2) é 23. Então o resíduo para a primeira observação do grupo A, que é 25  é:

                                           25 – 23 = 2

e o resíduo padronizado é

Os demais resíduos padronizados estão apresentados na Tabela 4 e na Figura 2.

           Tabela 4 -  Resíduos padronizados dos dados apresentados na Tabela 2

 

Figura 2

Grupo

O gráfico de resíduos padronizados apresentado na Figura 2 não exibe valor discrepante. Quando ocorre um outlier, é preciso verificar se esse valor não está errado. Se o pesquisador – avisado da suspeita – não constatar que houve erro de medida ou de registro do dado, deve considerar a possibilidade de comportamento errático do grupo ou do tratamento dado a esse grupo. Seria possível um efeito paradoxal desse tratamento?

Se ocorrerem vários resíduos muito grandes, convém verificar se eles não estão associados a um grupo em particular. Se isso ocorrer, ou os dados relativos a esse grupo estão errados ou a variância desse grupo é maior que a dos demais. Cabe, então, uma discussão. Em geral, o pesquisador espera mudança do valor  a média (para maior ou menor) de um grupo para outro, mas não espera aumento de variância.

De qualquer forma, é o pesquisador – e não o analista – quem deve decidir se inclui ou descarta dados discrepantes da análise de variância. Para tomar esta decisão, recomendam-se duas análises: uma com os dados discrepantes, outra sem eles. Se as duas análises chegarem às mesmas as conclusões, é razoável manter o dado discrepante. Se as análises chegarem a conclusões diferentes, convém avaliar bem a situação: pode ser adotado outro procedimento para a análise dos dados,  como um teste não paramétrico. Mas também pode ser uma oportunidade  de o pesquisador rever suas hipóteses e seus objetivos.

******************************************************************
Fórmulas de cálculo

                  Graus de liberdade

de tratamentos: 4 -1= 3 

do total: 20 -1 = 19 

do resíduo: 19 - 3 = 16 

                   

Meus dados são normais?

É comum as pessoas confundirem erros com resíduos. Mas erro (error) significa a diferença de um dado valor da variável com um parâmetro muitas vezes “teórico”, enquanto resíduo (residual) significa a diferença de um valor observado da variável e uma estatística (uma estimativa do parâmetro) obtida da amostra. Numa análise de variância com um critério de classificação, erros e resíduos são dados, respectivamente, por

 Ninguém conhece os erros e_ij porque os parâmetros, ou seja, as médias verdadeiras m_i dos grupos são desconhecidas. No entanto, o pesquisador faz um ensaio exatamente para obter as estimativas dessas médias. Veja como exemplo os dados de um ensaio fictício, apresentados na Tabela 1. As estimativas das médias m₁, m₂, m₃ e m₄ estão no rodapé dessa tabela.

Tabela 1 - Valores obtidos em um ensaio

Podemos estimar os erros fazendo a diferença entre cada dado e a média (estimada) do grupo ao qual esse dado pertence. São os resíduos, apresentados na Tabela 2.

Tabela 2 - Resíduos (dados na Tabela 1)

O estudo das estimativas dos erros, ou seja, dos resíduos (residuals) é referido na literatura como análise de resíduos. Essa análise ajuda verificar se as pressuposições exigidas para proceder à análise de variância são plausíveis. Vamos discutir então a questão dos resíduos, dada à pressuposição de que, para proceder a uma ANOVA, os erros devem ter distribuição normal ou aproximadamente normal.

O gráfico da distribuição normal ou – como preferem os físicos, da curva de Gauss – tem aspecto típico: é uma curva em forma de sino, simétrica em torno da média como mostra a Figura 1. Mas como saber se os resíduos têm distribuição normal? Você pode recorrer à avaliação gráfica ou a um teste estatístico.

Figura 1- Distribuição normal

Os testes estatísticos apresentam a vantagem de serem objetivos. Você verifica a aderência (goodness off it) de seus dados à curva normal No entanto, os testes de normalidade são muito sensíveis ao tamanho da amostra ¹: se a amostra for pequena, os testes de normalidade têm pouco poder de rejeitar a hipótese de nulidade (de que a distribuição é normal). Isso significa que amostras pequenas passam mais facilmente pelo teste de normalidade. Por outro lado, uma amostra grande terá resultado significante no teste, mesmo que o desvio da normalidade seja pequeno. No entanto, desvios pequenos da normalidade não afetam os resultados do teste F (na ANOVA, um critério) quando a amostra é grande. Mas é possível fazer testes estatísticos. Há vários, mas os mais comuns são o Shapiro-Wilks e o Kolmogorov-Smirnov. Este último foi aplicado aos dados apresentados na Tabela 1, usando o programa SPSS. O resultado foi não-significante (p-valor = 0,200).

De qualquer forma, é sempre recomendável olhar os dados em gráfico. Usando poucas ferramentas, você pode obter muita informação. E – quando se pensa em não-normalidade – é conveniente lembrar os coeficientes de assimetria e de curtose. A distribuição dos dados pode ser assimétrica, isto é, ter mais unidades de um lado do que do outro. Veja a Figura 2. Também pode ter curtose (é pior para a análise quando a curtose é negativa). Veja a Figura 3. 

     Figura 3- Curtose

Mas que gráficos você pode fazer? Pense primeiro em um histograma. Com os resíduos apresentados na Tabela 2, você pode construir o histograma da Figura 3. Tenha ou não experiência, é difícil ver aí uma distribuição normal. Por outro lado, salta aos olhos que a distribuição é simétrica. Lembre-se de que a ANOVA é bastante robusta a violações da normalidade, ou seja, mesmo que esta pressuposição não seja atendida completamente, os resultados ainda assim permanecem válidos. Mais importante é a distribuição dos erros seja simétrica, que é o caso do exemplo ².

Figura 3 - Histograma

                         

Algumas estatísticas descritivas, como média, mediana, variância, desvio padrão, coeficiente de assimetria e coeficiente de curtose ajudam a entender a distribuição. A média dos resíduos é, evidentemente, zero e a mediana também é zero. O coeficiente de assimetria (no Excel está Distorção) é zero, porque a distribuição é perfeitamente simétrica. A curtose (no Excel está Curt), negativa, significa que a distribuição dos resíduos tem cauda mais leve e é mais achatada do que a distribuição normal. Mas o valor é pequeno. Então, nada indica ainda que não possamos aceitar a normalidade dos resíduos.

Tabela 3 – Estatísticas descritivas dos resíduos (dados na Tabela 1)

Você também pode desenhar o gráfico de ramo e folhas, que acaba sendo apenas um histograma colocado em posição horizontal. Mas um boxplot  (diagrama de caixa) é informativo. É um gráfico relativamente simples. Veja na Figura 4 o boxplot feito com os resíduos apresentados na Tabela 2. Você vê a simetria e a ausência de outliers, o que dá segurança para proceder a uma análise de variância. 

                                           Figura 4 - Boxplot

Dois outros gráficos também são muito úteis: P-P plot e Q-Q plot. Um gráfico Q-Q plot ou gráfico dos quartis-quartis (quantile-quantile plot) está apresentado na Figura 5. No eixo das abscissas estão os valores observados dos resíduos e no eixo das ordenadas estão os valores dos resíduos sob a hipótese de que a distribuição deles é normal. Quando os pontos estão sobre uma reta que faz 45º com o eixo das abscissas, a distribuição é normal. Pequenos desvios da normalidade são aceitáveis. Como não se ensina fazer esse gráfico em cursos introdutórios de estatística, será dado o procedimento em outra postagem.

 Figura 5

Referências

1.        Asghar Ghasemi and Saleh Zahedias. Normality Tests for Statistical Analysis: A Guide for Non-Statisticians.  Int J Endocrinol Metab. 2012 Spring; 10(2): 486–489

2.         SCHEFFÉ, H. The analysis of variance. New York : Wiley, 1959.

Veja Também:

*****************************************************************Um pouco mais:

Em um curso de análise de dados, a assimetria é informalmente definida em termos de comprimento da cauda ou da relação média, mediana, moda. Na ilustração clássica da relação entre assimetria, média, mediana e moda, a assimetria é à direita se a média está à direita da mediana e a mediana está à direita da moda. Veja a figura

Esta figura está em

Mean, Median, and Skew: Correcting a Textbook Rule

Paul T. von Hippel
The Ohio State University

Journal of Statistics Education Volume 13, Number 2 (2005),

ww2.amstat.org/publications/jse/v13n2/vonhippel.html

Mas há exceções.

(See http://www.amstat.org/publications/jse/v13n2/vonhippel.html for discussion of exceptions.)

De qualquer modo, a assimetria é definida em termos do 3º momento.

Stela me pergunta: Será que existe uma distribuição de dados em que a média é menor do que a mediana e o 1º momento está mais perto da mediana do que o 3º momento? Confira, por favor.