CONFIABILIDADE DE QUESTIONÁRIOS

   Confiabilidade de um instrumento de medição (reliability of a measurement instrument) é a extensão em que o instrumento produz resultados reprodutíveis.

Um instrumento de medição pode ser confiável e não ser válido. No entanto, um instrumento de medição só será válido se for confiável.

Vamos discorrer aqui sobre a confiabilidade de um questionário. Um questionário é confiável se fornecer resultados consistentes quando replicado em condições similares. Existem dois tipos de confiabilidade: a interna e a externa.

Confiabilidade externa (external reliability) refere-se à extensão com que os resultados de um questionário variam quando aplicados em ocasiões diferentes (estabilidade) ou por examinadores diferentes (equivalência), aos mesmos participantes de pesquisa.

Dizemos, então, que o questionário tem estabilidade se forem obtidos os mesmos resultados quando aplicado duas ou mais vezes às mesmas pessoas. Para medir a estabilidade, usamos o método do teste re-teste.

Dizemos que o questionário apresenta equivalência se dois ou mais examinadores obtiverem os mesmos resultados, quando o administrarem às mesmas pessoas. Para medir equivalência, calculamos a confiabilidade entre examinadores.

Método de teste re-teste (test-retest method): avalia a estabilidade, ou seja, a extensão com que as pessoas respondem as mesmas perguntas da mesma forma, depois de certo tempo. Para isso, o questionário é administrado duas vezes (primeiro o teste, depois o re-teste), para o mesmo grupo de pessoas. A aplicação do método exige, porém, duas pressuposições, nem sempre realistas: primeiramente, nada deve acontecer no período que decorre entre o teste e o re-teste que modifique a opinião dos respondentes e, segundo, eles não devem estar lembrados,quando fazem o re-teste, das respostas dadas no teste.

Uma medida estatística da estabilidade das respostas no teste e re-teste de um questionário é o coeficiente de correlação de Pearson. Calcula-se a correlação entre o escore (total) dos respondentes no “teste” e o escore (total) quando o questionário foi aplicado pela segunda vez – o “re-teste”. O coeficiente de correlação é usado como índice da confiabilidade do questionário.

Exemplo

MESQUITA e VIEIRA (2009)¹ administraram o questionário conhecido como Perfil do Impacto de Saúde Oral, conhecido como OHIP, (Oral Health Impact Profile) para 916 funcionários e professores da rede estadual de ensino de Montes Claros, MG (2). Os questionários estavam numerados, mas foram distribuídos aleatoriamente e respondidos anonimamente. Quando distribuiu os questionários, a pesquisadora explicou aos respondentes que deveriam memorizar o número escrito no questionário, embora esse número não os identificasse. Isto porque eles seriam chamados novamente para responder o mesmo questionário. Os que aceitassem o convite deveriam então colocar, no segundo questionário, o número do primeiro, pois seria o re-teste do questionário.  

Confiabilidade entre examinadores (Inter-rater reliability): Se o mesmo questionário puder ser aplicado aos mesmos respondentes por dois ou mais pesquisadores, é possível obter uma medida da confiabilidade entre examinadores, de duas maneiras diferentes:

          ·      Calculando a proporção de escores que estão em perfeita concordância;

        ·     Calculando o coeficiente de correlação entre os escores obtidos pelos participantes com os dois entrevistadores. Se forem mais de dois examinadores, calcule a média dos coeficientes de correlação dos escores obtidos por participante com cada par de entrevistadores.

Exemplo

Lobbestael, J; Leurgans M; Arntz (2011)² administraram o questionário conhecido como Manual de Entrevista Clínica Estruturada para o Diagnóstico e a Estatística de Transtornos Mentais a 151 pacientes internados e ambulatoriais e controles, não-pacientes. Os examinadores administravam os questionário independentemente, sem saber os resultados obtidos pelos outros. Depois, analisaram os resultados, que revelaram concordância entre os examinadores.

Confiabilidade interna ou consistência interna de um questionário ¹ é a extensão em que os diversos itens que o compõem o questionário conduzem às mesmas respostas.

Existem vários métodos para estimar a confiabilidade interna de um questionário, mas os mais conhecidos são:

                     ·       Método da divisão em metades

                     ·       Alfa de Cronbach

                         

Método da divisão em metades (split-half method): para usar este método, divide-se o questionário em duas partes iguais: por exemplo, a metade superior e a metade inferior, ou o conjunto dos itens de número par e o conjunto dos itens de número impar. Calcula-se, então, a correlação entre “o somatório dos escores obtidos pelos respondentes quando se aplicou a primeira metade do questionário” e “o somatório dos escores obtidos pelos respondentes quando se aplicou a segunda metade do questionário”. O coeficiente de correlação, nesse caso, ajustado para o tamanho inicial do questionário, é um indicador da confiabilidade.

Exemplo

O diretor de uma escola quer saber se um professor mostra conhecer a disciplina que leciona. Fez então um questionário de auto-aplicação para os alunos. Para estudar a confiabilidade pelo método da divisão em metades, o diretor deve aplicar o questionário e depois dividir em dois, com metade das questões em cada parte. Calcula, então, a correlação (que deve ser alta) entre os pontos obtidos nas duas metades.

Alfa de Cronbach: é uma medida da consistência interna de um questionário – um dos aspectos de confiabilidade. Definitivamente, é a medida mais usada, não só por ser fácil de calcular como também poder ser calculada mesmo quando se aplica o questionário uma única vez. Mas nem sempre é bem entendida nem bem interpretada. Veja mais sobre o alfa de Cronbach em outra postagem, deste mesmo blog.

Referências

1.     Mesquita FAB, Vieira S. Impacto da condição auto-avaliada de saúde bucal na qualidade de vida: um estudo em Montes Claros. RGO. 2009.

2.       Lobbestael, J; Leurgans M; Arntz, A Inter-rater reliability of the Structured Clinical Interview for DSM-IV Axis I Disorders (SCID I) and Axis II Disorders (SCID II). Clinical Psychology & Psychotherapy. Volume 18, Issue 1, pages 75–79, January/February 2011