p-valor pequeno traz validade ao trabalho?

A grande maioria dos trabalhos em ciência experimental tem como objetivo testar o efeito de uma intervenção ou das diferenças entre os efeitos de diversas intervenções. Por exemplo, diante da pergunta: ”Esta nova droga tem efeito?”, quer você busque a resposta na literatura, quer conduza um experimento, a estatística certamente entrará na história. E como a estatística entra na história? Os estatísticos calculam a diferença estatisticamente significante que permite ao pesquisador tomar decisão em condições de incerteza. Vamos discutir isso.

Imagine que você quer testar uma nova droga para diminuir a duração de um resfriado. Para fazer isso, acha 100 pacientes com resfriado e, para 50 deles tomados ao acaso, fornece a nova droga (grupo tratado). Aos outros 50 fornece um placebo (grupo controle). Os pacientes serão examinados duas vezes ao dia para registrar o tempo de duração dos resfriados de cada um. Mas resfriados não têm a mesma duração: algumas pessoas têm resfriados com duração mais longa, outros com duração mais curta. É a variabilidade, que o estatísticos medem calculando o desvio padrão. De qualquer forma, imagine que, terminado o experimento você verifica que nos 50 pacientes do grupo tratado os resfriados perduram em média dois dias a menos que nos pacientes do grupo controle. Você pode dizer que a nova droga realmente funciona?

A resposta é dada por um teste de hipóteses, também conhecido como teste de significância. Aplicando o teste, você terá resposta para a pergunta: “Se a nova droga não tem efeito, qual é a probabilidade de o experimento ter chegado a um resultado igual, ou mais extremo do que o obtido?” É possível calcular essa probabilidade. Para isso, é preciso formalizar a hipótese da nulidade (H₀), que pode ser escrita como segue:

                    H₀: a nova droga não tem efeito.

Considerando verdadeira a hipótese da nulidade, calcula-se a probabilidade de serem obtidos resultados iguais, ou mais extremos dos que o que foram obtidos. É o que se chama p-valor. Pense bem: p-valor muito pequeno significa que:

1)     Ou você obteve um resultado extremamente improvável

2)    Ou a nova droga tem efeito, logo a hipótese de nulidade deve ser rejeitada.

Entenda, por favor: o p-valor não mede “quão certo você está” nem mede “quão importante é a diferença”. O p-valor mede apenas a probabilidade de você errar dizendo que uma  droga tem efeito quando não tem.  Então os pesquisadores querem um p-valor pequeno. Quão pequeno deve ser o p-valor para que você rejeite a hipótese da nulidade? Se p-valor for menor que 0,05, a regra é dizer que o efeito da droga é estatisticamente significante. A escolha do valor 0,05 de probabilidade para rejeitar uma hipótese da nulidade não tem qualquer razão matemática; é apenas um valor que se tornou convencional depois de décadas e décadas de uso.

Vamos pensar mais um pouco: se você tivesse testado a nova droga em uma única pessoa, o fato de ela ter um resfriado de curta duração não provaria nada, mas se o experimento descrito tivesse sido feito com 1.000 pessoas e aquelas que receberam a nova droga tivessem tido resfriados com duração mais curta que os controles, seria razoável acreditar que a nova droga realmente tem efeito sobre  um resfriado.

   Então - como você já deve estar pensando - o p-valor depende tanto do tamanho da amostra como do tamanho do efeito. Portanto, o p-valor tem limitações.  Quanto maior é a amostra, mais seguro é o resultado. Quanto maior é o efeito da intervenção que você está estudando, mais fácil é detectar a significância.

Mas significância estatística não quer dizer resultado verdadeiro, isto é, somente um p-valor pequeno não basta para conferir validade a um trabalho. Um trabalho precisa ter, além da competente análise estatística, bons dados e boas hipóteses em teste. Se a métrica da sua pesquisa estiver errada ou mesmo inadequada, a análise estatística só irá conferir a ela um ar espúrio de respeitabilidade, nada mais. 

Aliás, cabe lembrar que, se os dados são bons e as hipóteses são pertinentes, mesmo com estatísticas inadequadas eles podem ter valor: basta refazer as estatísticas. Isto se faz com artigos publicados em revistas internacionais, quando se suspeita das conclusões. Buscam-se os dados (que devem estar arquivados) e se refazem as estatísticas. Mas nada se pode fazer com dados  incorretos: a boa métrica é crucial.  De qualquer forma, um trabalho só é valido se for válido por inteiro.

Alfa de Cronbach usando SPSS

Pesquisadores que levantam dados por meio de questionários são instados a analisar a confiabilidade do instrumento de medida que utilizaram. Se você aplicou um questionário uma única vez e foi o único entrevistador, para analisar a confiabilidade de seu questionário calcule o alfa de Cronbach.  

Comece transformando as respostas em números – não importa quantas opções de resposta você ofereceu em cada item (ou questão) de seu questionário. A fórmula para calcular do alfa de Cronbach é a mesma, quer o questionário peça respostas binárias (como “sim” e “não”), ou peça respostas escalonadas.

 Para respostas binárias, você pode atribuir valor 1 à resposta “sim” e valor zero à resposta “não”. Para respostas escalonadas, use a escala de Likert. Lembre-se de que a escala Likert é um método de atribuir valores quantitativos a dados qualitativos, para facilitar a análise estatística. A cada opção de resposta é atribuído um número. No final, é calculado um resultado único para todas as respostas de cada respondente.

Diversos programas para computador calculam o alfa de Cronbach. Vamos mostrar aqui como se calcula tanto essa estatística como algumas outras, complementares, usando o SPSS. Para isso, vamos usar o exemplo de Charles Zaiontz, em Cronbach’s Alpha, que já apresentamos e discutimos em outra postagem, intitulada Alfa de Cronbach: questionários com respostas escalonadas. A razão de repetirmos o exemplo é porque lá são apresentados os cálculos e aqui é mostrado apenas o uso do programa.

EXEMPLO

As etapas dadas em seguida mostram como analisar dados usando regressão linear múltipla no SPSS quando nenhuma das pressuposições foi violada. No final dessas etapas, mostramos como interpretar os resultados da sua regressão múltipla. Seus dados devem estar no arquivo. 

1. Clique em Analisar, Escala, Análise de confiabilidade

                   2.  Você será apresentado à seguinte caixa de diálogo:

   3.Transfira as variáveis Qu1, Qu2,..., Qu3 para a caixa “itens” usando o botão 

       ou copie todas de uma vez e as transfira para a caixa “Itens”. Veja: 

4. Em Modelo, clique em "Alfa", que representa o alfa de Cronbach no SPSS. Se você quiser fornecer um título para esta análise, digite-o na caixa Rótulo da escala. O título digitado fica impresso na parte superior da saída do SPSS. Só isso, então você não precisa colocar título (no nosso exemplo, deixamos em branco). Depois, clique em Estatísticas. Você será apresentado à caixa de análise de confiabilidade estatística:

5. Você pode selecionar vários fatores, mas nem pense em selecionar todos. Clique em Resumos, "Médias" e "Correlações". O mais importante, porém, e o "Escalar se o item foi excluído". Clique em "Continuar. Você retornará à caixa inicial.

6. Clique em OK. Você terá a Saída. 

INTERPRETAÇÃO

São 15 participantes, todos responderam a todas as questões. São, portanto, 15 casos válidos (100%), nenhum excluído. O alfa de Cronbach para 10 ítens é 0,592, valor baixo, mas já discutido na postagem anteriormente citada. A maioria das correlações calculadas entre itens, dois a dois, é baixa, o que só evidencia o fato de a confiabilidade ser pequena. Para as médias dos 10 itens, são dadas diversas estatísticas descritivas.

A coluna “Alfa de Cronbach se o item for excluído” apresenta o valor que alfa teria se esse item específico (na linha) fosse excluído. Quando o questionário é confiável, todos os valores de alfa são semelhantes. Nenhum item (nenhuma questão) deve fazer com que o valor de alfa diminua.

A coluna "Correlação de Itens Total Corrigida" apresenta as correlações entre cada item e o escore total do questionário. Em geral, essas correlações não devem ser menores do que 0,3, para que haja confiabilidade. Itens que não se correlacionam com o total diminuem a confiabilidade do questionário.

No nosso exemplo, veja que as questões 5, 6 e 8 não medem o mesmo que as demais: têm pouca correlação de item total corrigida (até negativa) e excluí-las faria aumentar o valor de alfa.

         Veja também

    Charles Zaiontz, em Cronbach’s Alpha http://www.real-statistics.com/reliability/cronbachs-alpha/

       Cronbach's Alpha (α) using SPSS Statisticsh ttps://statistics.laerd.com/spss-tutorials/cronbachs-alpha-using-spss-statistics.php        soniavieira.blogspot.com

Regressão linear múltipla: interpretando a saída do SPSS

O SPSS gera muitas tabelas de saída para uma análise de regressão linear múltipla. Mostramos aqui apenas as três tabelas principais, que precisam ser entendidas por quem deve discutir os resultados do ajuste de uma regressão múltipla. 

A saída completa do SPSS para a regressão linear múltipla permite verificar se as pressuposições básicas para a análise estão satisfeitas. Mas vamos supor aqui que você já verificou que seus dados atendem às premissas necessárias para fornecer um resultado válido.

Procedendo ao cálculo da regressão linear múltipla usando o exemplo dado na postagem anterior (Regressão linear múltipla no SPSS), obtemos a primeira tabela de interesse, isto é, a tabela Resumo do Modelo. Esta tabela fornece R, R², R² ajustado e o erro padrão da estimativa, que pode ser usado para determinar quão bem um modelo de regressão se ajusta aos dados.

O valor R é o coeficiente de correlação múltipla. É uma medida da qualidade da previsão da variável dependente, que neste exemplo é o peso da criança, (WGT), dado em libras. Um valor de 0,883 indica bom nível de previsão.

 O valor R² é o coeficiente de determinação. É a proporção de variação na variável dependente explicada pelas variáveis ​​independentes. O valor R² = 0,780 mostra que as variáveis ​​independentes explicam 78,0% da variação da variável dependente, WGT (peso). Você também precisa saber interpretar "R² ajustado", mas vamos explicar isso em próxima postagem.

A segunda tabela de interesse é a tabela de análise de variância, ou tabela de ANOVA (do inglês, ANOVA table), mostrada em seguida. 

O teste F (Z na tabela de ANOVA) testa o ajuste do modelo de regressão. A tabela mostra que as variáveis ​​independentes (AGE, HGT) preveem a variável dependente (WGT) de forma significativa porque p e menor que 0,05. Em outras palavras, o modelo de regressão se ajusta bem aos dados.

A terceira tabela de interesse é aquela que apresenta os coeficientes de regressão. Veja em seguida.

Coeficientes não padronizados indicam quanto a variável dependente varia com uma variável independente, quando as outras variáveis ​​independentes são mantidas constantes. Considere o efeito da idade, neste exemplo. Como mostra a tabela, o coeficiente não padronizado para idade (AGE) é igual a 2,050. Isso significa que, para cada aumento de um ano na idade, há um aumento no peso (WGT) de 2,050 libras (lembre-se de que peso está medido em libras).

O teste t, apresentado na tabela, testa se os coeficientes não padronizados (ou padronizados) são iguais a zero na população. Se p < 0,05, você pode concluir que os coeficientes são significantemente diferentes de zero. O valor t, e o valor p correspondente estão localizados nas colunas "t" e "Sig", respectivamente. Verifique que o coeficiente de altura (HGT) é significante.

Agora, com base nos dados de peso, altura e idade de 12 crianças, você pode escrever:

 Foi ajustada uma regressão linear múltipla para prever o peso em função da altura e da idade de crianças. Obteve-se:

Somente a variável altura (HGT) foi significante ao nível de 5%, mas a variável idade (AGE) pode ser entendida como significante ao nível p =0,056, valor muito próximo de 5% de significância, usado convencionalmente.

NOTA: A amostra é muito pequena e constituída por dados fictícios. Portanto, a conclusão não é válida na prática. Foi usada aqui apenas para facilitar os cálculos e dar, a quem lê, uma referência importante (KLEINBAUM E KUPPER). Os dados não foram transformados no sistema decimal porque não dariam valores inteiros, o que dificultaria a digitação. 

Regressão linear múltipla no SPSS

A análise de regressão permite estabelecer um modelo para a relação entre duas ou mais variáveis. Uma regressão é, portanto, uma função que permite fazer previsões sobre uma variável – que chamaremos de variável resposta (dependente) – com base nas informações obtidas de outras variáveis – que chamaremos de variáveis explicativas, explanatórias ou preditoras (independentes).

 A regressão linear simples é dita linear porque o modelo ajustado é uma reta, e simples porque há apenas uma variável explicativa. A regressão linear simples é definida pelo modelo

Nesse modelo, os pares de variáveis Y_i e X_i (i=1,2,...,n) são a variável resposta e a variável explicativa, respectivamente; b₀ e b₁ são parâmetros a serem estimados para um conjunto de dados e e_i  (i=1,2,...,n) são erros aleatórios.

Se você tiver, por exemplo, um conjunto de dados de peso e altura de jovens que se apresentaram para o serviço militar e considerar que peso é função linear da altura, pode ajustar uma reta aos dados, para obter as estimativas b₀ e b₁ dos parâmetros b₀  e b_1.

 O termo b₀ é o coeficiente linear, também conhecido como intercepto (em inglês, intercept) e o termo b₁ é o coeficiente angular, também conhecido como inclinação (em inglês, slope). A melhor reta ajustada  aos dados (melhor, no sentido que tem as propriedades estatísticas desejáveis) recebe o nome de reta de regressão. Muitos autores referem-se à reta de regressão como reta de mínimos quadrados porque esse é o método estatístico aplicado para chegar às fórmulas que permitem calcular as estimativas.

A regressão linear múltipla (multiple linear regression) é uma técnica estatística que usa diversas variáveis ​​explicativas para prever a variável resposta. Logo, a regressão linear múltipla estabelece o modelo para uma relação linear entre a variável resposta (dependente) e diversas variáveis ​​explicativas (independentes).

  A regressão linear múltipla é definida pelo modelo

Nessa fórmula, Y_i (i =1, 2,...,n) são as n observações da variável resposta (dependente) e X_i1, X_i2,...,X_ik  são as n observações das k variáveis explicativas (independentes).

Ainda, b₀ é coeficiente linear (intercepto) e b₁, b₂,..., b_k  são coeficientes angulares para cada variável explicativa (slopes); e_i são termos de erros do modelo.

Para ajustar um modelo de regressão linear múltipla a um conjunto de dados, é preciso pressupor que:

• ·     A variável resposta (dependente) seja contínua.
• ·     Exista uma relação linear entre a variável resposta e cada uma das variáveis explicativas.
• ·   As variáveis-resposta, selecionadas ao acaso na população, sejam independentes.
• ·     Os resíduos tenham distribuição normal de média zero e variância s².

Vamos mostrar aqui, por meio de um exemplo, como se ajusta uma regressão linear múltipla a um conjunto de dados, usando o SPSS (um software estatístico chamado Statistical Package for Social Sciences). Daremos também breves explicações de como interpretar os dados em uma próxima postagem.

                                                         Exemplo

Imagine uma amostra aleatória de 12 crianças que estão em uma clínica. O peso, a altura e a idade dessas crianças são dados abaixo, já na forma como você deve colocar em arquivo. O peso (weight) é dado em libras, a altura (height) em pés e a idade (age) em anos completos. Você quer estudar o peso em função da altura e da idade.

As etapas dadas em seguida mostram como analisar dados usando regressão linear múltipla no SPSS quando nenhuma das pressuposições foi violada. No final dessas etapas, mostramos os resultados da sua regressão múltipla. Seus dados devem estar no arquivo. 

•  Clique Analisar, Regressão, Linear no menu principal.

•  Você será apresentado à caixa de diálogo:

• Transfira a variável dependente peso (WGT) para a caixa “dependente” e as variáveis independentes altura (HGT) e idade (AGE) para a caixa “independente” usando o botão 

• Clique em Estatísticas. Você verá a caixa de diálogo Regressão linear Estatísticas. Clique em Estimativas e Ajuste do Modelo.

• Clique em Continuar. Você voltará à caixa de diálogo Regressão linear. 

• Clique em OK. Você terá a Saída. Veremos como interpretar os resultados na próxima postagem.

Estudos longitudinais

    Estudos longitudinais ou prospectivos fazem medições repetidas das mesmas pessoas ao longo do tempo, enquanto estudos transversais coletam dados em apenas determinado momento. Os estudos longitudinais são mais informativos, mas têm limitações. A maior dificuldade está na perda de observações. Nem todos os participantes de pesquisa estão presentes em todas as sessões que foram inicialmente planejadas na pesquisa.

Ocorrem muitas desistências, principalmente nos estudos longitudinais de longa duração. Desistências prejudicam os resultados. Participantes que permanecem até o final do estudo podem ser diferentes daqueles que se retiram em diferentes momentos. Também ocorrem perdas mesmo quando não há desistências. Se as pessoas puderem faltar em uma ou mais sessões, o número de participações de cada uma pode variar ao longo do estudo. Ainda, as medições podem não ficar igualmente espaçadas porque nem todos os participantes têm tempo disponível na mesma ocasião.

As dificuldades para análise não param, porém, por aqui. Existe correlação entre medidas sucessivas tomadas na mesma pessoa. A análise estatística precisa, portanto, considerar a auto correlação dos resíduos, para que as conclusões não fiquem prejudicadas. Mas além da correlação que aparece devido às medidas feitas repetidamente nas mesmas pessoas, há, ainda, a correlação explicada pelo agrupamento de pessoas em escolas, clínicas, hospitais, cidades. Embora a correlação produzida pelo agrupamento seja bem menor do que aquela produzida pela repetição de medidas no mesmo participante, ainda assim pode levar a subestimação da variância, se o efeito do agrupamento não for levado em conta na análise.

De qualquer modo, estudos longitudinais são comuns na literatura. No entanto, os procedimentos estatísticos para a análise desse tipo de estudo não aumentaram na mesma velocidade. Algumas maneiras de tratar os dados, que deveriam ter apenas interesse histórico, continuam na prática e métodos que apenas reduzem estudos longitudinais a estudos transversais também continuam em uso.

Algumas vezes, é feita uma “análise completa” (complete analysis), isto é, uma análise em que são considerados somente dados de participantes que completaram o estudo. Na maioria das vezes, porém, a amostra analisada é diferente da amostra de participantes que iniciaram o estudo. Se apenas participantes cooperativos completarem o estudo, os resultados podem ser tendenciosos.   

Outra maneira de contornar o problema é considerar que medidas que seriam obtidas depois de o participante deixar de comparecer seriam iguais à medida feita em sua última visita. Essa abordagem é denominada “última observação levada adiante” (last observation carried forward - LOCF). Assumimos assim que, uma vez que o participante abandonou o estudo, seu nível de resposta permanecerá inalterado por longo tempo. Mas não há lógica em acreditar nisso. No entanto, a abordagem LOCF continua a ser usada porque é conservadora. Uma crítica ao uso da LOCF é a de que ela pode dar a falsa impressão de que essa é a forma adequada de contornar ao problema dos dados perdidos. Então os pesquisadores podem deixar de se preocupar com a falta de adesão à pesquisa científica e deixar de trabalhar contra isso. E, ainda, cumpre lembrar que uma medida da qualidade do trabalho clínico é o número de participantes que se apresentaram em todas as visitas.

 Na análise de dados longitudinais também é aplicada uma ANOVA de modelo misto, ou seja, uma análise de variância em que cada participante da pesquisa é tomado como um critério de classificação de efeitos aleatórios. Esse tipo de análise é muitas vezes identificado como ANOVA para medidas repetidas. Aqui, a pressuposição implícita é a de que a variação entre indivíduos é constante ao longo do tempo. No entanto, parece mais razoável considerar que a variação entre indivíduos mude ao longo do tempo. Considerando essa observação como limitação, a ANOVA para medidas repetidas não deveria ser usada para análise de dados longitudinais.

Foram desenvolvidas algumas abordagens mais rigorosas para tratar dados longitudinais, com suposições mais realistas sobre o processo de resposta longitudinal e com procedimentos mais adequados para tratar dados perdidos. Entre elas, estão os modelos de equações de estimativa generalizada (GEE). Você pode usar softwares como R e SAS se quiser aplicar GEE em estudos que acompanham pessoas ao longo do tempo.

               VEJA:

 

 

              1.  Laird NM. Missing data in longitudinal studies. Stat Med. 1988; 7:305–15. [PubMed] [Google Scholar]

        2. Gibbons R D,  Hedeker D, DuToit S. Advances in Analysis of Longitudinal  Data.  Annu Rev Clin Psychol. 2010 Apr 27; 6: 79–107.